C Oracle Big Data SQLインストールの例
一般的なOracle Big Data SQL 4.1インストールのコンソール出力を次に示します。
この例は、Big Data Appliance上のHadoopからOracle Databaseシステムを経てHadoopに戻るインストール・ワークフローの一巡を示しています。インストールのHadoop側は、HDPシステムについては似ています。HDPシステムに接続しているデータベース側に違いはありません。
この例では、データベース側のインストールはOracle Database 12.2を実行しているシステムを使用しています。ただし、この出力は、12.1を除く19c、18cおよび12.2のbds-config.jsonファイルでサポートが有効になっていることを示しています。
BigDataSQL: DB version support: 19,18,12.2.出力は、Oracle Database 19c、18cおよび12.2のシステムにインストールする場合と同じですが、マイナー・パスが異なります。インストールのデータベース側は、Exadata Database MachineおよびすべてのコモディティOracle Databaseプラットフォームで同じです。
Oracle Big Data Applianceでのインストール
この例についてノートする点は次のとおりです。
- この場合のBig Data Applianceは、Oracle Big Data Applianceリリース4.10を実行しています。他のリリースでは出力が多少異なる場合があります。
- Oracle Linux 6または7が実行されているOracle Big Data Applianceシステムでは、必要に応じてJaguarが自動的に
sclを使用するため、このシステムではsclを使用しません。 --requestdbパラメータは、Hadoop側のインストールの完了後にインストールされる、Oracle Big Data SQLのもう一方の側をインストールするデータベースの名前を使用します。この場合のデータベース名はcdborclです。このパラメータがコマンドに含まれていると、Jaguarはデータベース側のインストール・バンドルとともにリクエスト・キーを生成します。このキーは、データベースへのアクセスを認可するプロセスの一部です。--requestdbおよびデータベース認可プロセスの詳細は、重要な用語と概念を参照してください。- デフォルトの
bds-config.jsonファイルを使用しているため、コマンドラインでJSON構成ファイルは指定されていません。別の構成ファイルを使用した場合は、そのファイル名をコマンドに明示的に含める必要があります。 - 出力ファイル名には、クラスタ名、ファイルが生成されるノードの完全修飾ドメイン名およびタイムスタンプが付けられます。
BigDataSQL: Object Store support: Enabledという行は、Oracle Big Data SQLがAmazon S3、Microsoft AzureまたはOracle OCIにアクセスできるようにbds-config.json構成ファイルが設定されていることを示します。- この例では、大カッコ内のプレースホルダを使用して、ホスト名およびIPアドレスを入力しています
- これらのコマンドは、
oracleユーザーとして実行できます。ただし、データベース・サーバーに安全にファイルのコピーを実行するために、rootパスワードの入力を求められます。
[root@<Hadoop node name> BDSJaguar]# ./jaguar --requestdb cdborcl install
BigDataSQL: =======================================================================.
BigDataSQL: Oracle Big Data SQL 4.1.0.
BigDataSQL: Starting execution on: Tue Apr 21 05:17:24 2020.
BigDataSQL: in directory: /opt/oracle/BDSJaguar.
BigDataSQL: and hostname: <Hadoop node>.<domain>.
BigDataSQL: IP address: <Hadooop node IP Address>.
BigDataSQL: DB version support: 19,18,12.2.
BigDataSQL: Object Store support: Enabled.
BigDataSQL: API url: https://<Hadoop node>.<domain>:7183.
BigDataSQL: Waiting for management server to respond...
BigDataSQL: Configuration json file name: bds-config.json.
BigDataSQL: WARNING: If there are services in the stale state, they will be restarted !!!.
Cloudera Manager user: admin
Password:
BigDataSQL: Authentication succeeded.
BigDataSQL: API version: 19.
BigDataSQL: Cluster name : <Hadoop cluster>.
BigDataSQL: Cluster type : BDA.
BigDataSQL: Cluster version: CDH5.
BigDataSQL: full version: 5.16.1.
BigDataSQL: BDA version : 4.14.0-1.
BigDataSQL: Cluster health check..
BigDataSQL: Service: BIGDATASQL.
BigDataSQL: Verifying service configuration..
BigDataSQL: Connection type: Infiniband.
BigDataSQL: Initialization completed..
BigDataSQL: Copying CSD to Cloudera Manager..
BigDataSQL: Restarting management server...
BigDataSQL: Waiting for management server to respond...
BigDataSQL: Restarting Cloudera Management service..
BigDataSQL: Starting deployment server..
BigDataSQL: Analyzing cluster ....
BigDataSQL: Checking for Big Data SQL requirements..
BigDataSQL: Preparing installation..
BigDataSQL: Installing Big Data SQL agents..
BigDataSQL: Installing Big Data SQL servers..
BigDataSQL: Starting bigdatasql service..
BigDataSQL: reqkey file created: /opt/oracle/BDSJaguar/dbkeys/cdborcl.reqkey.
BigDataSQL: Restarting stale services..
BigDataSQL: Restarting Cloudera Management service..
BigDataSQL: Big Data SQL task completed..
BigDataSQL: Creating database side bundle..
BigDataSQL: Creating bundle file.
BigDataSQL: Bundle file created: /opt/oracle/BDSJaguar/db-bundles/bds-4.1.0-db-<Hadoop cluster>-200421.0517.zip.
BigDataSQL: INSTALL workflow completed.
You have new mail in /var/spool/mail/root
[root@<Hadoop node name> BDSJaguar]#
データベース側のインストール・バンドルをデータベース・サーバーにコピーします。
[oracle@<Hadoop cluster>]$ scp root@<Oracle Database server>:/opt/oracle/BDSJaguar/db-bundles/bds-4.1.0-db-<Hadoop cluster>-200421.0517.zip ./
The authenticity of host '<Oracle Database server> (<Oracle DB IP Address>)' can't be established.
RSA key fingerprint is SHA256:<SHA>.
RSA key fingerprint is MD5:<fingerprint>.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '<Oracle Database server>' (RSA) to the list of known hosts.
root@<Oracle Database server>'s password:
bds-4.1.0-db-<Hadoop cluster>-200421.0517.zip 100% 917MB 268.7MB/s 00:03
[oracle@<Hadoop cluster>]$
Oracle Databaseサーバーにログオンし、インストール・バンドルを解凍して、実行ファイルを実行します(ステージング・ディレクトリが作成されます)。実行ファイルによって作成されたインストール・ディレクトリにリクエスト・キー・ファイルをコピーします。次に、ステージング・ディレクトリに移動して、インストーラを実行します。インストーラのプロンプトに従って、生成されたrootスクリプトを実行します。
[oracle@<some dir>]$ unzip bds-4.1.0-db-<Hadoop cluster>-200421.0517.zip
Archive: bds-4.1.0-db-<some dir>-200421.0517.zip
inflating: bds-4.1.0-db-<some dir>-200421.0517.run
[oracle@<some dir>]$ ./bds-4.1.0-db-<Hadoop cluster>-200421.0517.run
bds-4.1.0-db-<Hadoop cluster>-200421.0517.run: platform is : Linux
bds-4.1.0-db-<Hadoop cluster>-200421.0517.run: script started at : Mon Apr 20 22:44:28 PDT 2020
bds-4.1.0-db-<Hadoop cluster>-200421.0517.run: running location : /home/oracle/bds_rc_7_<logs>
bds-4.1.0-db-<Hadoop cluster>-200421.0517.run: ORACLE_SID : cdborcl
bds-4.1.0-db-<Hadoop cluster>-200421.0517.run: ORACLE_HOME : /home/oracle/db_home2
bds-4.1.0-db-<Hadoop cluster>-200421.0517.run: install directory : /home/oracle/db_home2/BDSJaguar-4.1.0/<Hadoop cluster>-3-node03.<domain>
bds-4.1.0-db-<Hadoop cluster>-200421.0517.run: extracting...
bds-4.1.0-db-<Hadoop cluster>-200421.0517.run: installer extracted successfully
cd $ORACLE_HOME/BDSJaguar-4.1.0/<Hadoop cluster>-3-node03.<domain>
bds-4.1.0-db-<Hadoop cluster>-200421.0517.run: for setup Big Data SQL on this database instance
[oracle@<Hadoop cluster>]$
[oracle@<Hadoop cluster>-3-node03.<domain>]$ ./bds-database-install.sh crs=false cdb=true --install --restart-db=yes --skip-db-patches-check --alternate-principal="<primary/<instance>@<REALM>"
bds-database-install: platform is : Linux
bds-database-install: script started at : Mon Apr 20 22:54:24 PDT 2020
bds-database-install: running location : /home/oracle/db_home2/BDSJaguar-4.1.0/<Hadoop cluster>-3-node03.<domain>
bds-database-install: ORACLE_SID : cdborcl
bds-database-install: ORACLE_HOME : /home/oracle/db_home2
bds-database-install: Using alternate principal : <primary>/<instance>@<REALM> in bds_<primary>.keytab
bds-database-install: Install will affect all pdbs.
bds-database-install: configuration spfile : spfilecdborcl.ora
bds-database-install: Grid home : not detected
bds-database-install: db resource : cdborcl
bds-database-install: mta extproc sid : bds_cdborcl_<Hadoop cluster>
bds-database-install: use of crsctl : false
bds-database-install: Kerberos variables file : /home/oracle/db_home2/bigdatasql/clusters/<Hadoop cluster>/bds_kerberos_variables.env
bds-database-install: root shell script : /home/oracle/db_home2/install/bds-database-install-28651-root-script-<Hadoop cluster>.sh
please run as root:
/home/oracle/db_home2/install/bds-database-install-28651-root-script-<Hadoop cluster>.sh
waiting for root script to complete, press <enter> to continue checking.. q<enter> to quit
bds-database-install: root script seem to have succeeded, continuing...
bds-database-install: cluster type : bda
bds-database-install: connection type : Infiniband
bds-database-install: cluster name : <Hadoop cluster>
bds-database-install: cluster version : cdh5
bds-database-install: dictionary cluster name : <Hadoop cluster>
bds-database-install: Cluster Hadoop version : 2.6.0-cdh5.16.1
bds-database-install: Hadoop client version : hadoop-2.6.0-cdh5.16.1
bds-database-install: Hive client version : hive-1.1.0-cdh5.16.1
bds-database-install: HBase client version : Not available on the cluster
bds-database-install: BDSQL version : 4.1.0
bds-database-install: BDSQL install date : Tue Apr 21 05:30:57 2020
bds-database-install: bd_cell version : bd_cell-12.2.1.1.0_LINUX.X64_200417.1-1.x86_64
bds-database-install: cp2hadoop kit version : orahivedp-5.0.0
bds-database-install: ohsh kit version : ohsh-5.0.0
bds-database-install: orakafka kit version : orakafka-1.1.0
bds-database-install: kvclient version : kv-ee-19.5.19
bds-database-install: cell config dir : /home/oracle/oss/deploy/config
bds-database-install: hybrid cell model : false
bds-database-install: cellinit.ora : missing
bds-database-install: cellaffinity.ora file : missing
bds-database-install: listener end point : EXTPROC1521
bds-database-install: installing JDK : jdk1.8.0_231
bds-database-install: Installing enterprise kvclient driver
bds-database-install: creating cellinit backup files
bds-database-install: action : setup
bds-database-setup: validating <IP Address>/21 against network interfaces
bds-database-setup: found <IP Address>/21 at bondib0
bds-database-setup: ping to cluster nodes from <IP Address> with 1000 bytes
bds-database-setup: response ok from <IP Address>
bds-database-setup: response ok from <Oracle DB IP Address>
bds-database-setup: response ok from <IP Address>
bds-database-setup: Validating network mask and MTU for IB connection...
bds-database-setup: Network mask (255.255.248.0) and MTU (65520) matched for IB
bds-database-setup: ping to cluster nodes from <IP Address> with 60278 bytes
bds-database-setup: response ok from <IP Address>
bds-database-setup: response ok from <IP Address>
bds-database-setup: response ok from <IP Address>
bds-database-setup: installing cluster configuration files
bds-database-setup: unpacking hadoop-2.6.0-cdh5.16.1.tar.gz
bds-database-setup: unpacking hadoop-2.6.0-cdh5.16.1.tar.gz
bds-database-setup: unpacking hadoop-2.6.0-nativelib-ol7.tar.gz
bds-database-setup: unpacking hive-1.1.0-cdh5.16.1.tar.gz
bds-database-setup: unpacking sentry-1.5.1-cdh5.16.1.tar.gz
bds-database-setup: creating database objects
catcon::set_log_file_base_path: ALL catcon-related output will be written to [/home/oracle/db_home2/install/bds-database-install-28651-directory-creation_catcon_31596.lst]
catcon::set_log_file_base_path: catcon: See [/home/oracle/db_home2/install/bds-database-install-28651-directory-creation*.log] files for output generated by scripts
catcon::set_log_file_base_path: catcon: See [/home/oracle/db_home2/install/bds-database-install-28651-directory-creation_*.lst] files for spool files, if any
catcon.pl: completed successfully
bds-database-setup: mta will be setup
bds-database-setup: creating /home/oracle/db_home2/hs/admin/initbds_cdborcl_<Hadoop cluster>.ora
bds-database-setup: mta shutdown bds_cdborcl_<Hadoop cluster>
bds-database-setup: removing existing mta parameter settings
bds-database-setup: setting performance parameters for mta
bds-database-setup: setting listener_address to EXTPROC1521
bds-database-setup: starting extproc bds_cdborcl_<Hadoop cluster>
bds-database-setup: waiting upto 100 seconds for extproc to register with listener
..ok
bds-database-setup: patching view LOADER_DIR_OBJS
catcon::set_log_file_base_path: ALL catcon-related output will be written to [/home/oracle/db_home2/install/bds-database-install-28651-patch-view_catcon_32552.lst]
catcon::set_log_file_base_path: catcon: See [/home/oracle/db_home2/install/bds-database-install-28651-patch-view*.log] files for output generated by scripts
catcon::set_log_file_base_path: catcon: See [/home/oracle/db_home2/install/bds-database-install-28651-patch-view_*.lst] files for spool files, if any
catcon.pl: completed successfully
bds-database-setup: creating mta dblinks
catcon::set_log_file_base_path: ALL catcon-related output will be written to [/home/oracle/db_home2/install/bds-database-install-28651-create-links_catcon_540.lst]
catcon::set_log_file_base_path: catcon: See [/home/oracle/db_home2/install/bds-database-install-28651-create-links*.log] files for output generated by scripts
catcon::set_log_file_base_path: catcon: See [/home/oracle/db_home2/install/bds-database-install-28651-create-links_*.lst] files for spool files, if any
catcon.pl: completed successfully
catcon::set_log_file_base_path: ALL catcon-related output will be written to [/home/oracle/db_home2/install/bds-database-install-28651-alter-system_catcon_1017.lst]
catcon::set_log_file_base_path: catcon: See [/home/oracle/db_home2/install/bds-database-install-28651-alter-system*.log] files for output generated by scripts
catcon::set_log_file_base_path: catcon: See [/home/oracle/db_home2/install/bds-database-install-28651-alter-system_*.lst] files for spool files, if any
catcon.pl: completed successfully
bds-database-setup: installing cp2hadoop
bds-database-setup: installing orakafka kit
Step1: Check for valid JAVA_HOME
--------------------------------------------------------------
Found /home/oracle/db_home2/bigdatasql/jdk/bin/java, JAVA_HOME path is valid.
Step1 succeeded.
Step2: JAVA version check
--------------------------------------------------------------
java version "1.8.0_231"
Java(TM) SE Runtime Environment (build 1.8.0_231-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.231-b11, mixed mode)
Java version >= 1.8
Step2 succeeded.
Step3: Creating configure_java.sh script
--------------------------------------------------------------
Wrote to /home/oracle/db_home2/bigdatasql/orakafka-1.1.0/bin/scripts/configure_java.sh
Step3 succeeded.
Successfully configured JAVA_HOME in /home/oracle/db_home2/bigdatasql/orakafka-1.1.0/bin/scripts/configure_java.sh
The above information is written to /home/oracle/db_home2/bigdatasql/orakafka-1.1.0/logs/set_java_home.log.2020.04.20-22.57.07
bds-database-setup: Big Data SQL includes Oracle SQL Access to Kafka which allows Oracle SQL to query Kafka topics.
bds-database-setup: For information please refer to /home/oracle/db_home2/bigdatasql/orakafka/README
bds-database-setup: installing ohsh
bds-database-setup: enabling TLS encrytion
bds-database-setup: reconfiguring database instance cdborcl
bds-database-setup: adding parameter _bigdata_external_table=true
bds-database-setup: adding parameter _bigdata_offload_flag=true
bds-database-setup: adding parameter _dskm_single_instance=true
bds-database-setup: setup cell contiguration
bds-database-setup: creating cellinit.ora
bds-database-setup: cellaffinity.ora already disabled
bds-database-setup: verifying pdbs status
bds-database-setup: saving pdbs open states
bds-database-setup: restarting database instance
+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+
bds-database-setup: Object Store scripts templates have been created:
bds-database-setup: set_parameters_cdb.sql should be executed in CDB$ROOT
bds-database-setup: allow_proxy_pdb.sql should be executed on required PDBs
+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+
/home/oracle/db_home2/BDSJaguar-4.1.0/<Hadoop cluster>-3-<Oracle Database server>.<domain>/set_parameters_cdb.sql
/home/oracle/db_home2/BDSJaguar-4.1.0/<Hadoop cluster>-3-<Oracle Database server>.<domain>/allow_proxy_pdb.sql
bds-database-setup: please review and update them if required
bds-database-setup: activation zip file created: <Hadoop cluster>-<Number nodes in the cluster>-<FQDN of the
cluster management server node>-<FQDN of this database node>.zip
bds-database-setup: copy this file to copy this file to root@<Hadoop node name>.<domain>.com:/opt/oracle/DM/databases/conf
bds-database-setup: and run:
./jaguar databaseack
bds-database-setup: configuration successful for cluster <Hadoop cluster>
bds-database-setup: log files in /home/oracle/db_home2/install
bds-database-setup: bds-database-install-28651-* files for more detailed info
bds-database-setup: full log in bds-database-install-28651-main-script.log
bds-database-install.shによって生成されたzipファイルをHadoopクラスタ管理ノード(通常はnode03)にコピーします。このzipファイルには、データベース認証の設定を完了するために必要な.ackkeyファイルが含まれています。
$ cd /home/oracle/db_home2/BDSJaguar-4.1.0/<Hadoop cluster>-3-<Oracle Database server>.<domain>
$ scp <Hadoop cluster>-3-<Oracle Database server>.<domain>-<Hadoop cluster><Hadoop node>.<domain>.zip root@<Hadoop node>.<domain>:/opt/oracle/DM/databases/conf
root@<Oracle Database server>.<domain>'s password:
<Hadoop cluster>-3-<Oracle Database server>.<domain>-<Hadoop cluster>bda04.<domain>.zip 100% 220KB 98.7MB/s 00:00
[oracle@<Hadoop cluster>bda04 <Hadoop cluster>-3-<Oracle Database server>.<domain>]$
Hadoopクラスタ管理ノードにrootとしてログオンし、Jaguarのデータベース確認応答操作を実行します。
[root@<Hadoop node name> BDSJaguar]# ./jaguar databaseack
BigDataSQL: =======================================================================.
BigDataSQL: Oracle Big Data SQL 4.1.0.
BigDataSQL: Starting execution on: Tue Apr 21 05:59:55 2020.
BigDataSQL: in directory: /opt/oracle/BDSJaguar.
BigDataSQL: and hostname: <Oracle Database server>.<domain>.
BigDataSQL: IP address: <Oracle DB IP Address>.
BigDataSQL: DB version support: 19,18,12.2.
BigDataSQL: Object Store support: Enabled.
BigDataSQL: API url: https://<Oracle Database server>.<domain>:7183.
BigDataSQL: Waiting for management server to respond...
BigDataSQL: Configuration json file name: bds-config.json.
BigDataSQL: WARNING: If there are services in the stale state, they will be restarted !!!.
Cloudera Manager user: admin
Password:
BigDataSQL: Authentication succeeded.
BigDataSQL: API version: 19.
BigDataSQL: Cluster name : <Hadoop cluster>.
BigDataSQL: Cluster type : BDA.
BigDataSQL: Cluster version: CDH5.
BigDataSQL: full version: 5.16.1.
BigDataSQL: BDA version : 4.14.0-1.
BigDataSQL: Cluster health check..
BigDataSQL: Service: BIGDATASQL.
BigDataSQL: Verifying service configuration..
BigDataSQL: Connection type: Infiniband.
BigDataSQL: Initialization completed..
BigDataSQL: Starting deployment server..
BigDataSQL: Analyzing cluster ....
BigDataSQL: Checking for Big Data SQL requirements..
BigDataSQL: Database acknowledge..
BigDataSQL: Refreshing Big Data SQL database connections..
BigDataSQL: Starting bigdatasql service..
BigDataSQL: Setting database key for Big Data SQL..
BigDataSQL: Restarting stale services..
BigDataSQL: Restarting Cloudera Management service..
Big Data SQL setup finished !!!
run bdschecksw tool on database node for sanity verification
BigDataSQL: DATABASEACK workflow completed.
You have new mail in /var/spool/mail/root
[root@<Oracle Database server> BDSJaguar]#