1. インストレーション・ガイド
  2. Oracle Big Data SQLインストールの例

C Oracle Big Data SQLインストールの例

一般的なOracle Big Data SQL 4.1.2インストールのコンソール出力を次に示します。

この例は、Big Data Appliance上のHadoopからOracle Databaseシステムを経てHadoopに戻るインストール・ワークフローの一巡を示しています。インストールのHadoop側は、HDPシステムについては似ています。HDPシステムに接続しているデータベース側に違いはありません。

この例では、データベース側のインストールはOracle Database 12.2を実行しているシステムを使用しています。ただし、この出力は、12.1を除く19c、18cおよび12.2のbds-config.jsonファイルでサポートが有効になっていることを示しています。 

BigDataSQL: DB version support: 19,18,12.2.

出力は、Oracle Database 19c、18cおよび12.2のシステムにインストールする場合と同じですが、マイナー・パスが異なります。インストールのデータベース側は、Exadata Database MachineおよびすべてのコモディティOracle Databaseプラットフォームで同じです。

Oracle Big Data Applianceでのインストール

この例についてノートする点は次のとおりです。

  • この場合のBig Data Applianceは、Oracle Big Data Applianceリリース4.10を実行しています。他のリリースでは出力が多少異なる場合があります。
  • Oracle Linux 6または7が実行されているOracle Big Data Applianceシステムでは、必要に応じてJaguarが自動的にsclを使用するため、このシステムではsclを使用しません。
  • --requestdbパラメータは、Hadoop側のインストールの完了後にインストールされる、Oracle Big Data SQLのもう一方の側をインストールするデータベースの名前を使用します。この場合のデータベース名はcdborclです。このパラメータがコマンドに含まれていると、Jaguarはデータベース側のインストール・バンドルとともにリクエスト・キーを生成します。このキーは、データベースへのアクセスを認可するプロセスの一部です。--requestdbおよびデータベース認可プロセスの詳細は、重要な用語と概念を参照してください。
  • 出力ファイル名には、クラスタ名、ファイルが生成されるノードの完全修飾ドメイン名およびタイムスタンプが付けられます。
  • BigDataSQL: Object Store support: Enabledという行は、Oracle Big Data SQLがAmazon S3、Microsoft AzureまたはOracle OCIにアクセスできるようにbds-config.json構成ファイルが設定されていることを示します。
  • この例では、大カッコ内のプレースホルダを使用して、ホスト名およびIPアドレスを入力しています
  • これらのコマンドは、oracleユーザーとして実行できます。ただし、データベース・サーバーに安全にファイルのコピーを実行するために、rootパスワードの入力を求められます。

この例のbds-config.jsonファイルは、次のとおりです。

{
    "cluster": {
        "database_compatibility" : [ "19" ]
    },
    "network" : {
        "use_infiniband"   : "false"
    },
    "security" : {
        "database_auth_enabled"   : "true",
        "impersonation_enabled"   : "true",
        "impersonation_usehosts"  : "true"
    },
    "kerberos" : {
        "principal" : "oracle/mycluster@MY.<DOMAIN>.COM",
        "keytab" : "/root/oracle.keytab",
        "hdfs-principal" : "hdfs/mycluster@MY.<DOMAIN>.COM",
        "hdfs-keytab" : "/root/hdfs.keytab"
    },

    "object_store_support" : {
        "enabled"             : "true",
        "cell_http_proxy"     : "http://my.proxy.server.com:80",
        "cell_no_proxy"       : "",
        "database_http_proxy" : "http://proxy2.server.com:80",
        "database_no_proxy"   : ""
    }
}

まず、Hadoop側でjaguarのインストールを実行します。

[root@scaj22bda17 BDSJaguar]# ./jaguar databasereq --requestdb orcl
BigDataSQL: =======================================================================.
BigDataSQL: Oracle Big Data SQL 4.1.2.
BigDataSQL: Starting execution on: Wed Oct 20 12:35:29 2021.
BigDataSQL:          in directory: /opt/oracle/BDSJaguar.
BigDataSQL:          and hostname: <Hadoop node>.<domain>.
BigDataSQL:            IP address: <Hadoop node IP Address>.
BigDataSQL:    DB version support: full.
BigDataSQL:  Object Store support: Enabled.
BigDataSQL: API url: https://<Hadoop node>.<domain>:7183.
BigDataSQL: Waiting for management server to respond...
BigDataSQL: Configuration json file name: bds-config.json.
BigDataSQL: WARNING: Cluster health will not be checked !!!.
BigDataSQL: WARNING: If there are services in the stale state, they will be restarted !!!.

Cloudera Manager user: admin
Password:

BigDataSQL: Authentication succeeded.
BigDataSQL: API version: 19.
BigDataSQL: Retrieving clusters...
BigDataSQL: One cluster found.
BigDataSQL: setting up cluster: <Hadoop cluster>.
BigDataSQL: Cluster name   : <Hadoop cluster>.
BigDataSQL: Cluster type   : BDA.
BigDataSQL: Cluster version: CDH5.
BigDataSQL:    full version: 5.14.2.
BigDataSQL: Service: BIGDATASQL.
BigDataSQL: Extracting cloudera manager configuration values.
BigDataSQL: verifying service configuration. .
BigDataSQL: Connection type: Ethernet.
BigDataSQL: Initialization completed..
BigDataSQL: Starting deployment server..
BigDataSQL: Checking for Big Data SQL requirements..
BigDataSQL: Requiring database keys only..
BigDataSQL: reqkey file created: /opt/oracle/BDSJaguar/dbkeys/orcl.reqkey.
BigDataSQL: Inspecting workflow on node scaj22bda16.us.oracle.com.
BigDataSQL: Inspecting workflow on node <Hadoop node>.<domain>.
BigDataSQL: Inspecting workflow on node scaj22bda15.us.oracle.com.
BigDataSQL: No error reported on feedback logs.
BigDataSQL: DATABASEREQ workflow completed.
[root@scaj22bda17 BDSJaguar]#

データベース側のインストール・バンドルをデータベース・サーバーにコピーします。

[root@<Hadoop cluster> BDSJaguar]# scp db-bundles/bds-4.1.2-db-<Hadoop cluster>-201014.1336.zip oracle@<Hadoop cluster>:/home/oracle/jaguar
The authenticity of host '<Oracle Database server> (<Oracle DB IP Address>)' can't be established.
RSA key fingerprint is SHA256:<SHA>.
RSA key fingerprint is MD5:<fingerprint>.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '<Oracle Database server>' (RSA) to the list of known hosts.
oracle@<Oracle Database server>'s password:
bds-4.1.2-db-<Hadoop cluster>-201014.1336.zip                                                                                                                                             100%  199MB 230.1MB/s   00:00
[root@<Hadoop cluster> BDSJaguar]#

Oracle Databaseサーバーにログオンし、インストール・バンドルを解凍して、実行ファイルを実行します(ステージング・ディレクトリが作成されます)。実行ファイルによって作成されたインストール・ディレクトリにリクエスト・キー・ファイルをコピーします。次に、ステージング・ディレクトリに移動して、インストーラを実行します。インストーラのプロンプトに従って、生成されたrootスクリプトを実行します。


[oracle@<Hadoop cluster> jaguar]$ unzip bds-4.1.2-db-<Hadoop cluster>-201014.1336.zip
Archive:  bds-4.1.2-db-<some dir>-201014.1336.zip
  inflating: bds-4.1.2-db-<some dir>-201014.1336.run
[oracle@<some dir> jaguar]$ ./bds-4.1.2-db-<Hadoop cluster>-201014.1336.run
bds-4.1.2-db-<Hadoop cluster>-201014.1336.run: platform is               : Linux
bds-4.1.2-db-<Hadoop cluster>-201014.1336.run: script started at         : Wed Oct 14 13:55:07 PDT 2021
bds-4.1.2-db-<Hadoop cluster>-201014.1336.run: running location          : /home/oracle/jaguar
bds-4.1.2-db-<Hadoop cluster>-201014.1336.run: ORACLE_SID                : orcl
bds-4.1.2-db-<Hadoop cluster>-201014.1336.run: ORACLE_HOME               : /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database
bds-4.1.2-db-<Hadoop cluster>-201014.1336.run: install directory         : /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/BDSJaguar-4.1.2/<Hadoop cluster>-4-node04.<domain>
bds-4.1.2-db-<Hadoop cluster>-201014.1336.run: previous installer exists
bds-4.1.2-db-<Hadoop cluster>-201014.1336.run: extracting...
bds-4.1.2-db-<Hadoop cluster>-201014.1336.run: installer extracted successfully
バンドルを解凍し、実行ファイルを実行し、実行ファイルによって作成されるインストール・ディレクトリにリクエスト・キー・ファイルをコピーします。
[oracle@<Hadoop node> <Hadoop cluster>-4-<Hadoop cluster>.<domain>]$ ./bds-database-install.sh --install
bds-database-install: platform is               : Linux
bds-database-install: script started at         : Wed Oct 20 13:56:52 PDT 2021
bds-database-install: running location          : /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/BDSJaguar-4.1.2/<Hadoop name>-4-<Hadoop node>.<domain>
bds-database-install: ORACLE_SID                : orcl
bds-database-install: ORACLE_HOME               : /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database
bds-database-install: Using principal oracle/mycluster@MY.<DOMAIN>.COM in bds_oracle.keytab
bds-database-install: configuration spfile      : spfileorcl.ora
bds-database-install: Grid home                 : not detected
bds-database-install: db resource               : orcl
bds-database-install: mta extproc sid           : bds_orcl_bdsqlkerberos
bds-database-install: use of crsctl             : false
bds-database-install: Kerberos variables file   : /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/bigdatasql/clusters/<Hadoop cluster>/bds_kerberos_variables.env
bds-database-install: root shell script         : /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/install/bds-database-install-69481-root-script-<Hadoop cluster>.sh
please run as root:

/u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/install/bds-database-install-69481-root-script-<Hadoop cluster>.sh

waiting for root script to complete, press <enter> to continue checking.. q<enter> to quit
bds-database-install: root script seem to have succeeded, continuing...
bds-database-install: cluster type              : bda
bds-database-install: connection type           : Ethernet
bds-database-install: cluster name              : <Hadoop cluster>
bds-database-install: cluster version           : cdh5
bds-database-install: dictionary cluster name   : <Hadoop cluster>
bds-database-install: Cluster Hadoop version    : 2.6.0-cdh5.14.2
bds-database-install: Hadoop client version     : hadoop-2.6.0-cdh5.14.2
bds-database-install: Hive client version       : hive-1.1.0-cdh5.14.2
bds-database-install: HBase client version      : Not available on the cluster
bds-database-install: BDSQL version             : 4.1.2
bds-database-install: BDSQL install date        : Wed Oct 20 11:19:11 2021
bds-database-install: bd_cell version           : bd_cell-12.2.1.1.0_LINUX.X64_211006-1.x86_64
bds-database-install: cp2hadoop kit version     : orahivedp-5.1.2
bds-database-install: ohsh kit version          : ohsh-5.1.2
bds-database-install: orakafka kit version      : orakafka-1.2.3
bds-database-install: kvclient version          : kv-ee-20.2.16
bds-database-install: cell config dir           : /etc/oracle/cell/network-config
bds-database-install: hybrid cell model         : false
bds-database-install: cell network(s)           : <Cluster node IP Address>/20
bds-database-install: allow multiple subnets    : _skgxp_ant_options=1
bds-database-install: use UDP protocol          : _skgxp_dynamic_protocol=2
bds-database-install: cellaffinity.ora file     : missing
bds-database-install: listener end point        : EXTPROC1521
bds-database-install: installing JDK            : jdk1.8.0_231
bds-database-install: Installing enterprise kvclient driver
bds-database-install: creating cellinit backup files
bds-database-install: action                    : setup
bds-database-setup: validating <Oracle DB IP Address>/20 against network interfaces
bds-database-setup: found <Oracle DB IP Address>/20 at bondeth0
bds-database-setup: ping to cluster nodes from <Oracle DB IP Address> with 1000 bytes
bds-database-setup: response ok from <Cluster node IP Address>
bds-database-setup: response ok from <Cluster node IP Address>
bds-database-setup: response ok from <Cluster node IP Address>
bds-database-setup: Network mask and MTU not need to be validated for Ethernet connection
bds-database-setup: ping to cluster nodes from <Oracle DB IP Address> with 8400 bytes
bds-database-setup: response ok from <Cluster node IP Address>
bds-database-setup: response ok from <Cluster node IP Address>
bds-database-setup: response ok from <Cluster node IP Address>
bds-database-setup: Database current version is 18.0.0.0.0
bds-database-setup: Webhdfs is only available with database 19
bds-database-setup: webhdfs support will be disabled
bds-database-setup: Previous wallet detected, won't be replaced
bds-database-setup: installing cluster configuration files
bds-database-setup: Extracting jars and cofiguration to /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/bigdatasql/clusters/<Hadoop cluster>
bds-database-setup: unpacking hadoop-2.6.0-cdh5.14.2.tar.gz
bds-database-setup: unpacking files in hadoop-2.6.0-cdh5.14.2/hadoop/lib/native
bds-database-setup: unpacking hadoop-2.6.0-nativelib-ol7.tar.gz
hadooputils.sh: line 1142: cd: /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/bigdatasql/clusters/<Hadoop cluster>/hadoop-2.6.0-cdh5.14.2/share/hadoop/mapreduce1: No such file or directory
bds-database-setup: unpacking hive-1.1.0-cdh5.14.2.tar.gz
ln: failed to create symbolic link â/u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/bigdatasql/clusters/<Hadoop cluster>/hadoop/lib/native/libz.so.1â: No such file or directory
bds-database-setup: creating database objects
bds-database-setup: mta will be setup
bds-database-setup: creating /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/hs/admin/initbds_orcl_<Hadoop cluster>.ora
bds-database-setup: mta shutdown bds_orcl_<Hadoop cluster>
bds-database-setup: removing existing mta parameter settings
bds-database-setup: setting performance parameters for mta
bds-database-setup: setting listener_address to EXTPROC1521
bds-database-setup: starting extproc bds_orcl_<Hadoop cluster>
bds-database-setup: waiting upto 100 seconds for extproc to register with listener
..ok
bds-database-setup: patching view LOADER_DIR_OBJS
bds-database-setup: creating mta dblinks
bds-database-setup: Verifying orakafka toolkit...
Check all files/dirs ownership - passed
Check directory privileges - passed
Check expected executable files - passed
bds-database-setup: Oracle SQL Access to Kafka toolkit is already installed
bds-database-setup: installing cp2hadoop
bds-database-setup: installing ohsh
bds-database-setup: enabling TLS encrytion
bds-database-setup: reconfiguring database instance orcl
bds-database-setup: adding parameter _bigdata_external_table=true
bds-database-setup: setup cell contiguration
bds-database-setup: celliniteth.ora already enabled with UDP protocol
bds-database-setup: cellinit.ora already has _cell_disable_ipcdat_on_client=true
bds-database-setup: cellaffinity.ora already disabled
database instance needs to be restarted, enter <yes> for restart it now or <no> for restart it later:
yes
bds-database-setup: restarting database instance
bds-database-setup: mta shutdown bds_orcl_<Hadoop cluster>
bds-database-setup: removing existing mta parameter settings
bds-database-setup: setting performance parameters for mta
bds-database-setup: setting listener_address to EXTPROC1521
bds-database-setup: starting extproc bds_orcl_<Hadoop cluster>
bds-database-setup: waiting upto 100 seconds for extproc to register with listener
............ok

+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+
bds-database-setup: Object Store / Webhdfs scripts templates have been created:
bds-database-setup: set_parameters_cdb.sql     should be executed in CDB$ROOT
bds-database-setup: allow_proxy_pdb.sql        should be executed on required PDBs
+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+_+

/u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/BDSJaguar-4.1.2/<Hadoop cluster>-4-<Hadoop node>.<domain>/set_parameters_cdb.sql
/u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/BDSJaguar-4.1.2/<Hadoop cluster>-4-<Hadoop node>.<domain>/allow_proxy_pdb.sql

bds-database-setup: please review and update them if required

bds-database-setup: activation zip file created: <Hadoop cluster>-4-<Hadoop node>.<domain>-<Oracle DB hostname><domain>.zip

# /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/BDSJaguar-4.1.2/<Hadoop cluster>-4-<Hadoop node>.<domain>/<Hadoop cluster>-4-<Hadoop node>.<domain>-<Oracle DB hostname>.<domain>.zip

bds-database-setup: copy this file to root@<Hadoop node>.<domain>:/opt/oracle/DM/databases/conf
bds-database-setup: and run:

./jaguar databaseack

bds-database-setup: configuration successful for cluster <Hadoop cluster>
bds-database-setup:

===================================================================
For correct operation please ensure appropriate database
patches are in:
/u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database

For more information, please check MOS note:
Oracle Big Data SQL Master Compatibility Matrix (Doc ID 2119369.1)

===================================================================


bds-database-setup: log files in /u03/app/oracle/18.1.0/dbhome_orcl/shiphome/database/install
bds-database-setup: bds-database-install-69481-* files for more detailed info
bds-database-setup: full log in bds-database-install-69481-main-script.log
[oracle@<Oracle DB hostname> <Hadoop cluster>-4-<Hadoop node>.<domain>]$

bds-database-install.shによって生成されたzipファイルをHadoopクラスタ管理ノード(通常はnode03)にコピーします。このzipファイルには、データベース認証の設定を完了するために必要な.ackkeyファイルが含まれています。


[oracle@<Oracle DB hostname>8 <Hadoop cluster>-4-<Oracle Database server>.<domain>]$ scp <Hadoop cluster>-4-<Oracle Database server>.<domain>-<Oracle DB hostname>.<domain>.zip root@<Hadoop cluster>-3-node03.<domain>:/opt/oracle/DM/databases/conf
root@<Oracle Database server>.<domain>'s password:
<Hadoop cluster>-4-<Oracle Database server>.<domain>-<Hadoop cluster><Hadoop node>.<domain>.zip      100%  670     1.1MB/s   00:00
[oracle@scaj51bda08 <Hadoop cluster>-4-<Oracle Database server>.<domain>]$

Hadoopクラスタ管理ノードにrootとしてログオンし、Jaguarのデータベース確認応答操作を実行します。


[root@<Hadoop cluster> BDSJaguar]# ./jaguar databaseack
BigDataSQL: =======================================================================.
BigDataSQL: Oracle Big Data SQL 4.1.2.
BigDataSQL: Starting execution on: Wed Oct 20 14:02:11 2021.
BigDataSQL:          in directory: /opt/oracle/BDSJaguar.
BigDataSQL:          and hostname: <Hadoop cluster>-4-node03.<domain>.
BigDataSQL:            IP address: <Oracle DB IP Address>.
BigDataSQL:    DB version support: full.
BigDataSQL:  Object Store support: Enabled.
BigDataSQL: API url: https://<Oracle Database server>.<domain>:7183.
BigDataSQL: Waiting for management server to respond...
BigDataSQL: Configuration json file name: bds-config.json.
BigDataSQL: WARNING: If there are services in the stale state, they will be restarted !!!.

Cloudera Manager user: admin
Password:

BigDataSQL: Authentication succeeded.
BigDataSQL: API version: 19.
BigDataSQL: Retrieving clusters...
BigDataSQL: One cluster found.
BigDataSQL: Cluster name   : <Hadoop cluster>.
BigDataSQL: Cluster type   : BDA.
BigDataSQL: Cluster version: CDH5.
BigDataSQL:    full version: 5.14.2.
BigDataSQL: Service: BIGDATASQL.
BigDataSQL: Extracting cloudera manager configuration values.
BigDataSQL: verifying service configuration. .
BigDataSQL: Connection type: Ethernet.
BigDataSQL: Initialization completed..
BigDataSQL: Starting deployment server..
BigDataSQL: Checking for Big Data SQL requirements..
BigDataSQL: Database acknowledge..
BigDataSQL: Stopping bigdatasql service..
BigDataSQL: Refreshing Big Data SQL database connections..
BigDataSQL: Startig bigdatasql service..
BigDataSQL: Setting database key for Big Data SQL..

Big Data SQL setup finished !!!
run bdschecksw tool on database node for sanity verification

BigDataSQL: No error reported on feedback logs.
BigDataSQL: DATABASEACK workflow completed.