C Oracle Big Data SQLインストールの例
Oracle Big Data SQLインストールのコンソール出力のサンプルを次に示します。
-
例1は、Oracle Big Data Applianceでのインストールの出力を示しています。
-
例2は、Hortonworks HDPでのパラレル・インストールを示しています。
インストールのデータベース側は、Exadata Database MachineおよびすべてのコモディティOracle Databaseプラットフォームで同じです。
これらのデータベース側のスクリプトは、Oracle Database 12.1を実行しているシステムへのインストールを示しています。出力は、Oracle Database 18cおよび12.2のシステムにインストールする場合と同じですが、マイナー・パスが異なります。
例1: Oracle Big Data Applianceでのインストール
この例では、HadoopシステムがOracle Big Data ApplianceであるHadoop側のインストールを示しています。HDPのインストールも同様です。
この例について注意する点は次のとおりです。
- この場合のBig Data Applianceは、Oracle Big Data Applianceリリース4.10を実行しています。他のリリースでは出力が多少異なる場合があります。
- Oracle Linux 6または7が実行されているOracle Big Data Applianceシステムでは、必要に応じてJaguarが自動的に
sclを使用するため、このシステムではsclを使用しません。 --requestdbパラメータは、Hadoop側のインストールの完了後にインストールされる、Oracle Big Data SQLのもう一方の側をインストールするデータベースの名前を使用します。この場合のデータベース名はorclです。このパラメータがコマンドに含まれていると、Jaguarはデータベース側のインストール・バンドルとともにリクエスト・キーを生成します。このキーは、データベースへのアクセスを認可するプロセスの一部です。--requestdbおよびデータベース認可プロセスの詳細は、重要な用語と概念を参照してください。- デフォルトの
bds-config.jsonファイルを使用しているため、コマンドラインでJSON構成ファイルは指定されていません。別の構成ファイルを使用した場合は、そのファイル名をコマンドに明示的に含める必要があります。 - 出力ファイル名には、クラスタ名、ファイルが生成されるノードの完全修飾ドメイン名およびタイムスタンプが付けられます。この例のクラスタ名はafghsecです。
BigDataSQL: Object Store support: Enabledという行は、Oracle Big Data SQLがAmazon S3またはOracle OCIにアクセスできるようにbds-config.json構成ファイルが設定されていることを示します。同様に、DB version support: 18は、Oracle Database 18cおよび12cとの互換性を有効にするようにbds-config.jsonが設定されていることを示します。WARNING: If there are services in the stale state, they will be restarted !!!という行は、構成ファイルのデフォルトの選択を表しています。失効したサービスの再起動をバイパスするようにインストールを構成できます。ネットワーク接続タイプBigDataSQL: Connection type: Infinibandなど、その他の構成ファイルの設定は出力にレポートされます。構成オプションの完全なリストについては、このガイドのJaguar構成パラメータおよびコマンド・リファレンスを参照してください。- この例では、大カッコ内のプレースホルダを使用して、ホスト名およびIPアドレスを入力しています
- これらのコマンドは、
oracleユーザーとして実行できます。ただし、データベース・サーバーに安全にファイルのコピーを実行するために、rootパスワードの入力を求められます。
[root@scaj41bda18 BDSJaguar]# ./jaguar --requestdb orcl install
BigDataSQL: =======================================================================.
BigDataSQL: Oracle Big Data SQL 4.0.0.
BigDataSQL: Starting execution on: Mon May 20 16:52:37 2019.
BigDataSQL: in directory: /opt/oracle/BDSJaguar.
BigDataSQL: and hostname: <node.domain.com>.
BigDataSQL: IP address: <IP address>.
BigDataSQL: DB version support: 18.
BigDataSQL: Object Store support: Enabled.
BigDataSQL: API url: https://<node.domain.com>:7183.
BigDataSQL: Waiting for management server to respond...
BigDataSQL: Configuration json file name: bds-config.json.
BigDataSQL: WARNING: If there are services in the stale state, they will be restarted !!!.
Cloudera Manager user: admin
Password:
BigDataSQL: Authentication succeeded.
BigDataSQL: API version: 17.
BigDataSQL: Cluster name : afghsec.
BigDataSQL: Cluster type : BDA.
BigDataSQL: Cluster version: CDH5.
BigDataSQL: full version: 5.12.1.
BigDataSQL: BDA version : 4.10.0-9.
BigDataSQL: Cluster health check..
BigDataSQL: Service: BIGDATASQL.
BigDataSQL: Verifying service configuration..
BigDataSQL: Connection type: Infiniband.
BigDataSQL: Initialization completed..
BigDataSQL: Copying CSD to Cloudera Manager..
BigDataSQL: Restarting management server...
BigDataSQL: Waiting for management server to respond...
BigDataSQL: Restarting Cloudera Management service..
BigDataSQL: Starting deployment server..
BigDataSQL: Analyzing cluster ....
BigDataSQL: Checking for Big Data SQL requirements..
BigDataSQL: Preparing installation..
BigDataSQL: Installing Big Data SQL agents..
BigDataSQL: Installing Big Data SQL servers..
BigDataSQL: Starting bigdatasql service..
BigDataSQL: reqkey file created: /opt/oracle/BDSJaguar/dbkeys/orcl.reqkey.
BigDataSQL: Restarting stale services..
BigDataSQL: Restarting Cloudera Management service..
BigDataSQL: Big Data SQL task completed..
BigDataSQL: Creating database side bundle..
BigDataSQL: Creating bundle file.
BigDataSQL: Bundle file created: /opt/oracle/BDSJaguar/db-bundles/bds-4.0.0-db-afghsec-190520.1652.zip.
BigDataSQL: INSTALL workflow completed.
データベース側のインストール・バンドルをデータベース・ノードにコピーします。
[oracle@scaj22bda08 ~]$ scp root@<database host>:/opt/oracle/BDSJaguar/db-bundles/bds-4.0.0-db-afghsec-190520.1652.zip .
root@<host name>'s password:
bds-4.0.0-db-afghsec-190520.1652.zip 100% 870MB 232.9MB/s 00:03バンドルを解凍し、実行ファイルを実行し、実行ファイルによって作成されるインストール・ディレクトリにリクエスト・キー・ファイルをコピーします。
$ unzip bds-4.0.0-db-afghsec-190520.1652.zip
Archive: bds-4.0.0-db-afghsec-190520.1652.zip
inflating: bds-4.0.0-db-afghsec-190520.1652.run
$ ./bds-4.0.0-db-afghsec-190520.1652.run
bds-4.0.0-db-afghsec-190520.1652.run: platform is : Linux
bds-4.0.0-db-afghsec-190520.1652.run: script started at : Mon May 20 17:07:32 PDT 2019
bds-4.0.0-db-afghsec-190520.1652.run: running location : /home/oracle
bds-4.0.0-db-afghsec-190520.1652.run: ORACLE_SID : orcl
bds-4.0.0-db-afghsec-190520.1652.run: ORACLE_HOME : /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database
bds-4.0.0-db-afghsec-190520.1652.run: install directory : /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/BDSJaguar-4.0.0/afghsec-3-<host FQDN>
bds-4.0.0-db-afghsec-190520.1652.run: extracting...
bds-4.0.0-db-afghsec-190520.1652.run: installer extracted successfully
$ cd $ORACLE_HOME/BDSJaguar-4.0.0/afghsec-3-<FQDN of this Hadoop node>
$ scp root@scaj41bda18:/opt/oracle/BDSJaguar/dbkeys/orcl.reqkey .
root@<host name>'s password:
orcl.reqkey 100% 251 425.6KB/s 00:00
インストール・ディレクトリに移動し、bds-database-install.shのインストール操作を実行します。
この例では、デフォルトのパッチ・チェックで、インストールされていない前提条件のデータベース・パッチがあることがレポートされています。これにより、インストールを完了できませんでした。
$ ./bds-database-install.sh --install --restart-db=yes
bds-database-install: platform is : Linux
bds-database-install: script started at : Mon May 20 17:08:24 PDT 2019
bds-database-install: running location : /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/BDSJaguar-4.0.0/afghsec-3-<FQDN of Hadoop node>
bds-database-install: ORACLE_SID : orcl
bds-database-install: ORACLE_HOME : /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database
bds-database-install: Validating Database Patches in /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database
bds-database-install: ERROR: Proactive Patches and/or one-off patches are missing.
For more information, please check MOS note:
Oracle Big Data SQL Master Compatibility Matrix (Doc ID 2119369.1)
bds-database-install: log files in /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/install
bds-database-install: bds-database-install-16055-* files for more detailed info
bds-database-install: full log in bds-database-install-16055-main-script.log
データベースのパッチ・チェックを一時的にバイパスできます
--skip-db-patches-checkパラメータを含めると、インストーラはパッチ・チェックをバイパスします。Big Data SQLを使用できるようにするには、後でパッチをインストールする必要があります。
データベース側のインストールの一部は、rootとして実行する必要があります。インストーラによってスクリプトが生成され、それをrootとして実行するように求められます。
$ ./bds-database-install.sh --install --restart-db=yes --skip-db-patches-check
bds-database-install: platform is : Linux
bds-database-install: script started at : Mon May 20 17:08:52 PDT 2019
bds-database-install: running location : /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/BDSJaguar-4.0.0/afghsec-3-<Hadoop node FQDN>
bds-database-install: ORACLE_SID : orcl
bds-database-install: ORACLE_HOME : /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database
bds-database-install: Install will affect all pdbs.
bds-database-install: configuration spfile : spfileorcl.ora
bds-database-install: Grid home : not detected
bds-database-install: db resource : orcl
bds-database-install: mta extproc sid : bds_orcl_afghsec
bds-database-install: use of crsctl : false
bds-database-install: Kerberos variables file : /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/bigdatasql/clusters/afghsec/bds_kerberos_variables.env
bds-database-install: root shell script : /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/install/bds-database-install-17056-root-script-afghsec.sh
please run as root:
/u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/install/bds-database-install-17056-root-script-afghsec.sh
waiting for root script to complete, press <enter> to continue checking.. q<enter> to quitスクリプトが終了すると、bds-database-install-17056-root-script-afghsec.sh: afghsec: root script finished successfully.などの成功メッセージが表示されます
これは、rootスクリプトの実行後に再開されたインストールの出力です。
最後に、スクリプトは、データベース確認応答キーを含む生成されたzipファイルをHadoopクラスタにコピーしてから、./jaguar databaseackを実行してそのキーを処理するよう促します。
bds-database-install: root script seem to have succeeded, continuing...
bds-database-install: cluster type : bda
bds-database-install: connection type : Infiniband
bds-database-install: cluster name : afghsec
bds-database-install: cluster version : cdh5
bds-database-install: dictionary cluster name : afghsec
bds-database-install: Cluster Hadoop version : 2.6.0-cdh5.12.1
bds-database-install: Hadoop client version : hadoop-2.6.0-cdh5.12.1
bds-database-install: Hive client version : hive-1.1.0-cdh5.12.1
bds-database-install: HBase client version : Not available on the cluster
bds-database-install: BDSQL version : 4.0.0
bds-database-install: BDSQL install date : Mon May 20 17:05:23 2019
bds-database-install: bd_cell version : bd_cell-12.2.1.1.0_LINUX.X64_190515.1-1.x86_64
bds-database-install: cp2hadoop kit version : orahivedp-5.0.0
bds-database-install: ohsh kit version : ohsh-5.0.0
bds-database-install: cell config dir : /etc/oracle/cell/network-config
bds-database-install: hybrid cell model : false
bds-database-install: cellinit.ora : missing
bds-database-install: cellaffinity.ora file : missing
bds-database-install: listener end point : EXTPROC1521
bds-database-install: installing JDK : jdk1.8.0_171
bds-database-install: creating cellinit backup files
bds-database-install: action : setup
bds-database-setup: validating <IP Address>/21 against network interfaces
bds-database-setup: found <IP Address>/21 at bondib0
bds-database-setup: ping to cluster nodes from <IP Address> (standard frame)
bds-database-setup: response ok from <IP Address>
bds-database-setup: response ok from <IP Address>
bds-database-setup: response ok from <IP Address>
bds-database-setup: ping to cluster nodes from <IP Address> (Jumbo frame)
bds-database-setup: response ok from <IP Address>
bds-database-setup: response ok from <IP Address>
bds-database-setup: response ok from <IP Address>
bds-database-setup: installing cluster configuration files
bds-database-setup: unpacking hadoop-2.6.0-cdh5.12.1.tar.gz
bds-database-setup: unpacking hadoop-2.6.0-nativelib-ol7.tar.gz
bds-database-setup: unpacking hive-1.1.0-cdh5.12.1.tar.gz
bds-database-setup: unpacking sentry-1.5.1-cdh5.12.1.tar.gz
bds-database-setup: creating database objects
catcon::set_log_file_base_path: ALL catcon-related output will be written to [/u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/install/bds-database-install-17056-directory-creation_catcon_20018.lst]
catcon::set_log_file_base_path: catcon: See [/u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/install/bds-database-install-17056-directory-creation*.log] files for output generated by scripts
catcon::set_log_file_base_path: catcon: See [/u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/install/bds-database-install-17056-directory-creation_*.lst] files for spool files, if any
catcon.pl: completed successfully
bds-database-setup: mta will be setup
bds-database-setup: creating /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/hs/admin/initbds_orcl_afghsec.ora
bds-database-setup: mta shutdown bds_orcl_afghsec
bds-database-setup: removing existing mta parameter settings
bds-database-setup: setting performance parameters for mta
bds-database-setup: setting listener_address to EXTPROC1521
bds-database-setup: starting extproc bds_orcl_afghsec
bds-database-setup: waiting upto 100 seconds for extproc to register with listener
................................ok
bds-database-setup: patching view LOADER_DIR_OBJS
catcon::set_log_file_base_path: ALL catcon-related output will be written to [/u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/install/bds-database-install-17056-patch-view_catcon_21550.lst]
catcon::set_log_file_base_path: catcon: See [/u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/install/bds-database-install-17056-patch-view*.log] files for output generated by scripts
catcon::set_log_file_base_path: catcon: See [/u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/install/bds-database-install-17056-patch-view_*.lst] files for spool files, if any
catcon.pl: completed successfully
bds-database-setup: creating mta dblinks
catcon::set_log_file_base_path: ALL catcon-related output will be written to [/u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/install/bds-database-install-17056-create-links_catcon_21746.lst]
catcon::set_log_file_base_path: catcon: See [/u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/install/bds-database-install-17056-create-links*.log] files for output generated by scripts
catcon::set_log_file_base_path: catcon: See [/u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/install/bds-database-install-17056-create-links_*.lst] files for spool files, if any
catcon.pl: completed successfully
catcon::set_log_file_base_path: ALL catcon-related output will be written to [/u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/install/bds-database-install-17056-alter-system_catcon_21936.lst]
catcon::set_log_file_base_path: catcon: See [/u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/install/bds-database-install-17056-alter-system*.log] files for output generated by scripts
catcon::set_log_file_base_path: catcon: See [/u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/install/bds-database-install-17056-alter-system_*.lst] files for spool files, if any
catcon.pl: completed successfully
bds-database-setup: installing cp2hadoop
bds-database-setup: installing ohsh
bds-database-setup: enabling TLS encrytion
bds-database-setup: reconfiguring database instance orcl
bds-database-setup: adding parameter _bigdata_external_table=true
bds-database-setup: adding parameter _dskm_single_instance=true
bds-database-setup: setup cell contiguration
bds-database-setup: creating cellinit.ora
bds-database-setup: cellaffinity.ora already disabled
bds-database-setup: verifying pdbs status
bds-database-setup: saving pdbs open states
bds-database-setup: restarting database instance
bds-database-setup: Object Store scripts templates have been created:
bds-database-setup: set_parameters_cdb.sql should be executed in CDB
bds-database-setup: allow_proxy_pdb.sql should be executed on required PDBs
/u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/BDSJaguar-4.0.0/afghsec-3-scaj41bda18.us.oracle.com/set_parameters_cdb.sql
/u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/BDSJaguar-4.0.0/afghsec-3-scaj41bda18.us.oracle.com/allow_proxy_pdb.sql
bds-database-setup: please review and update them if requiered
bds-database-setup: activation zip file created: afghsec-3-scaj41bda18.us.oracle.com-scaj22bda08.us.oracle.com.zip
# /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/BDSJaguar-4.0.0/afghsec-3-scaj41bda18.us.oracle.com/afghsec-3-scaj41bda18.us.oracle.com-scaj22bda08.us.oracle.com.zip
bds-database-setup: copy this file to root@scaj41bda18.us.oracle.com:/opt/oracle/DM/databases/conf
bds-database-setup: and run:
./jaguar databaseack
bds-database-setup: configuration successful for cluster afghsec
bds-database-setup: log files in /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/install
bds-database-setup: bds-database-install-17056-* files for more detailed info
bds-database-setup: full log in bds-database-install-17056-main-script.log
bds-database-install.shによって生成されたzipファイルをHadoopクラスタ管理サーバーにコピーします。このzipファイルには、データベース認証の設定を完了するために必要な.ackkeyファイルが含まれています。
$ scp afghsec-3-<node name>.us.oracle.com-<node name>.us.oracle.com.zip root@<Hadoop node FQDN>:/opt/oracle/DM/databases/conf
root@<Hadoop node FQDN>'s password:
afghsec-3-<node name>.us.oracle.com-<node name>.us.oracle.com.zip 100% 789 0.8KB/s 00:00Hadoopクラスタ管理サーバーのrootとして、Jaguarのデータベース確認応答操作を実行します。これで、インストールが完了します。
Jaguar構成ファイルの名前がbds-config.jsonでない場合は、./jaguar databaseack myjagconf.jsonのように、コマンドにファイル名を含めます。
[root@scaj41bda18 BDSJaguar]# ./jaguar databaseack
BigDataSQL: =======================================================================.
BigDataSQL: Oracle Big Data SQL 4.0.0.
BigDataSQL: Starting execution on: Mon May 20 17:15:06 2019.
BigDataSQL: in directory: /opt/oracle/BDSJaguar.
BigDataSQL: and hostname: <Hadoop node FQDN>>.
BigDataSQL: IP address: <IP Address>.
BigDataSQL: DB version support: 18.
BigDataSQL: Object Store support: Enabled.
BigDataSQL: API url: https://<Hadoop node FQDN>>:7183.
BigDataSQL: Waiting for management server to respond...
BigDataSQL: Configuration json file name: bds-config.json.
BigDataSQL: WARNING: If there are services in the stale state, they will be restarted !!!.
Cloudera Manager user: admin
Password:
BigDataSQL: Authentication succeeded.
BigDataSQL: API version: 17.
BigDataSQL: Cluster name : afghsec.
BigDataSQL: Cluster type : BDA.
BigDataSQL: Cluster version: CDH5.
BigDataSQL: full version: 5.12.1.
BigDataSQL: BDA version : 4.10.0-9.
BigDataSQL: Cluster health check..
BigDataSQL: Service: BIGDATASQL.
BigDataSQL: Verifying service configuration..
BigDataSQL: Connection type: Infiniband.
BigDataSQL: Initialization completed..
BigDataSQL: Starting deployment server..
BigDataSQL: Analyzing cluster ....
BigDataSQL: Checking for Big Data SQL requirements..
BigDataSQL: Database acknowledge..
BigDataSQL: Refreshing Big Data SQL database connections..
BigDataSQL: Starting bigdatasql service..
BigDataSQL: Setting database key for Big Data SQL..
BigDataSQL: Restarting stale services..
BigDataSQL: Restarting Cloudera Management service..
Big Data SQL setup finished !!!
run bdschecksw tool on database node for sanity verification
BigDataSQL: DATABASEACK workflow completed.
例2: HDPクラスタでのインストール
HDPシステムへのインストールは、CDHの場合とほぼ同じです。前の例と同様に、Oracle Big Data SQLはデータベース認可機能を使用するように構成されます。そのため、リクエスト・キー・ファイルを生成するために、Jaguarのインストール・コマンドに--requestdbパラメータが含まれています。
# ./jaguar --requestdb orcl install
BigDataSQL: =======================================================================.
BigDataSQL: Oracle Big Data SQL 4.0.0.
BigDataSQL: Starting execution on: Wed May 22 16:00:40 2019.
BigDataSQL: in directory: /opt/oracle/BDSJaguar.
BigDataSQL: and hostname: <Hadoop node FQDN>.
BigDataSQL: IP address: 10.128.17.167.
BigDataSQL: DB version support: 18.
BigDataSQL: Object Store support: Enabled.
BigDataSQL: API url: http://<node.domain.com>:8080.
BigDataSQL: Waiting for management server to respond...
BigDataSQL: Configuration json file name: bds-config.json.
BigDataSQL: WARNING: If there are services in the stale state, they will be restarted !!!.
Ambari user: admin
Password:
BigDataSQL: Authentication succeeded.
BigDataSQL: API version: 1.
BigDataSQL: Cluster name : afghhdp2.
BigDataSQL: Cluster type : HDP.
BigDataSQL: Cluster version: HDP2.
BigDataSQL: full version: 2.6.5.1100-53.
BigDataSQL: Cluster health check..
BigDataSQL: Service: BIGDATASQL.
BigDataSQL: Verifying service configuration...
BigDataSQL: Connection type: Ethernet.
BigDataSQL: Initialization completed..
BigDataSQL: Copying Stack to Ambari..
BigDataSQL: Restarting management server...
BigDataSQL: Waiting for management server to respond...
BigDataSQL: Starting deployment server..
BigDataSQL: Analyzing cluster ....
BigDataSQL: Checking for Big Data SQL requirements..
BigDataSQL: Preparing installation..
BigDataSQL: Installing Big Data SQL agents..
BigDataSQL: Installing Big Data SQL servers..
BigDataSQL: Starting bigdatasql service.
BigDataSQL: reqkey file created: /opt/oracle/BDSJaguar/dbkeys/orcl.reqkey.
BigDataSQL: Restarting stale services..
BigDataSQL: Starting hdfs service.
BigDataSQL: Starting yarn service.
BigDataSQL: Starting mapreduce2 service.
BigDataSQL: Starting hbase service.
BigDataSQL: Starting bigdatasql service.
BigDataSQL: Big Data SQL task completed..
BigDataSQL: Creating database side bundle..
BigDataSQL: Creating bundle file.
BigDataSQL: Bundle file created: /opt/oracle/BDSJaguar/db-bundles/bds-4.0.0-db-afghhdp2-190522.1600.zip.
BigDataSQL: INSTALL workflow completed.HDP側のインストールが完了したら、データベース側のインストール・バンドルおよびキー・ファイルをデータベースにコピーし、このバンドルを解凍して実行ファイルを実行します。次に、bds-database-install.shを実行して、確認応答キーを含む生成されたzipファイルをHDPにコピーし、最後に./jaguar databaseackを実行します。これらのステップはすべて、Big Data Applianceの例に示されているものと同じです。HadoopプラットフォームがCDHかHDPかに関係なく、インストールのデータベース側は同じです。