| Oracle® Big Data SQLユーザーズ・ガイド リリース3 (3.0) E72451-01 |
|
 前 |
 次 |
Oracle Big Data Appliance、CDH (Cloudera's Distribution including Apache Hadoop)に基づく他のシステム、HDP (Hortonworks Data Platform)、およびその他のCDH Hadoop以外のシステムにおいて、Oracle Big Data SQL 3.0はOracle DatabaseをHadoop環境に接続することができます。
これらの環境にOracle Big Data SQLをインストールするための手順は異なります。ご使用の環境でこの製品をインストールする方法は、次の該当する項を参照してください。
Oracle Big Data ApplianceおよびOracle Exadata Database Machineでのインストール
Oracle Big Data ApplianceおよびExadataサーバーでのインストールの場合のみこの項を参照してください。
他のHadoopシステムでのOracle Big Data SQLのインストール
CDH (Oracle Big Data Appliance以外)およびCDH以外(特にHDP)のシステムにインストールする場合に、この項を参照してください。
Oracle Big Data Applianceに接続しているOracle Exadata Database Machine上でOracle Big Data SQLを使用するには、Oracle Big Data SQLソフトウェアを両方のシステムにインストールする必要があります。
Oracle Exadata Database Machineを、Oracle Big Data Applianceと同じインフィニバンド・サブネットで構成し、インフィニバンド・ネットワークを介してOracle Big Data Applianceに接続する必要があります。
表2-1に、Oracle Big Data SQLの各リリースをインストールする場合の前提条件となるソフトウェア・バージョンを示します。
表2-1 Oracle Big Data SQL互換性マトリクス
| Oracle Big Data SQLリリース | Oracle Big Data Applianceリリース | Oracle Exadata Storage Server | Oracle Databaseバージョン | 個別パッチ |
| 3.0 | 4.4 | 12.1.2.1.0以降。 | Oracle Database 12.1.0.2.10または12.1.0.2.13。 | January 2106 BP (12.1.0.2.160119)に対する個別パッチ22778199。 |
| 2.0 | 4.4, 4.3, 4.2 | 12.1.2.1.0以降。 | Oracle Database 12.1.0.2.10または12.1.0.2.13。 | 個別パッチ21419192はOracle Database 12.1.0.2.10およびDatabase 12.1.0.2.13に適用できます。 |
| 1.1 | 4.2, 4.1 | 12.1.2.1.0以降。 | Oracle Database 12.1.0.2.4以降。 | 個別パッチ20310880はOracle Database 12.1.0.2.4に適用できます。12.1.0.2.6以降では必要ありません。 |
Oracle Big Data Applianceの各リリースには、Oracle Big Data SQLの1バージョンがインストール・オプションとしてバンドルされています。表2-2のパッチが入手できる場合は、新しいバージョンのOracle Big Data SQLをインストールすることもできます。
表2-2 バンドルされているOracle Big Data SQLとOracle Big Data Applianceのパッチ
| Oracle Big Data SQLリリース | Oracle Big Data Applianceリリース |
| 3.0 | 4.4 (パッチあり)、リリース4.3および4.2はパッチなし |
| 2.0 | 4.4 (2.0が含まれる)、4.3 (2.0が含まれる)、4.2 (パッチあり) |
| 1.1 | 4.2 (1.1が含まれる)、4.1 (パッチあり) |
次の手順に従って、Oracle Big Data SQLソフトウェアをOracle Big Data ApplianceおよびOracle Exadata Database Machineにインストールします。
注意:
この手順は、Oracle Big Data ApplianceおよびOracle Exadata Database Machine以外のシステムでのOracle Big Data SQLのインストールには使用できません。
Oracle DatabaseのJanuary 2016バンドル・パッチ(12.1.0.2.160119 BP)をExadata Database Machineに事前にインストールしておく必要があります。以前のバンドル・パッチはこの時点ではサポートされません。
Cloudera Managerを使用すると、Oracle Big Data SQLが稼働していることを確認できます。olink:BIGUG-GUID-BDC9DC75-8FA9-49B5-B35A-2C8B6C9DC53Dを参照してください。
完了したとき、クラスタがKerberosで保護されている場合は、クラスタ・ノードとOracle Exadata Database Machineの両方で追加の手順を実行する必要があります。「Kerberos化されたクラスタへのOracle Big Data SQLアクセスの有効化」を参照してください。
Oracle Big Data Applianceのアップグレードの場合は、インストール後のスクリプトを実行する前に、ユーザーがOracle Databaseをサポート対象レベルにアップグレードする必要があります。
Oracle Big Data SQLのインストール後スクリプトを実行するには、次の手順を実行します。
bds-exa-install.shインストール・スクリプトを、MammothがインストールされているOracle Big Data Applianceノードからコピーします。一般に、Oracle Exadataに対するクラスタの最初のノードです。任意の場所にコピーできます。wget、curlなどのコマンドを使用できます。この例では、bda1node07からスクリプトをコピーします。
wget http://bda1node07/bda/bds-exa-install.sh
Oracleインストールの所有者の名前を確認し、Oracleユーザーとして実行可能ファイルを設定します。通常は、oracleユーザーがインストールを所有します。次のコマンドを使用します。
$ ls -l bds-exa-install.sh $ chown oracle:oinstall bds-exa-install.sh $ chmod +x bds-exa-install.sh
次の環境変数を適切に設定します。
$ORACLE_HOME to <database home> $ORACLE_SID to <correct db SID> $GI_HOME to <correct grid home>
注意:
この手順で説明するように、$GI_HOMEを設定するかわりに、手順5で説明するように、グリッド・ホームとインストール・スクリプトを設定できます。
TNS_ADMINが、直接listener.oraが実行されている場所を指していることを確認します。リスナーがデフォルトの場所のTNS_ADMIN、$ORACLE HOME/network/adminにある場合、TNS_ADMINを定義する必要はありません。リスナーがデフォルトの場所にない場合は、コマンドを使用して、正しくTNS_ADMINがこれを指すように設定する必要があります。
export TNS_ADMIN=<path to listener.ora>
ORACLE_SIDが大文字の場合、この手順のみを実行します。それ以外の場合は、次の手順に進みます。これは、小文字の場合にのみ、インストール・スクリプトがCRSデータベース・リソースをORACLE_SIDから取得するためです。大文字の場合、次の手順を実行してSIDをスクリプトに手動で渡します。
次のコマンドを実行して、すべてのリソースをリストします。
$ crsctl stat res -t
出力ノートから、ora.<dbresource>.dbリソース名を選択します。
次のコマンドを実行して、正しいora.<dbresource>.dbリソース名が返されているかどうか確認します。
$ ./crsctl stat res ora.<dbresource>.db
出力には、次のようにリソース名が表示されます。
NAME=ora.<dbresource>.db TYPE=ora.database.type TARGET=ONLINE , ONLINE STATE=ONLINE on <name01>, ONLINE on <name02>
次のようにして、--db-name=<dbresource>をインストール・スクリプトへの追加引数として指定します。
./bds-exa-install.sh --db-name=<dbresource>
また、手順3で説明するように、次のようにして上記のコマンドを使用して$GI_HOMEを設定するかわりにグリッド・ホームを設定することができます。
./bds-exa-install.sh --db-name=<dbresource> --grid-home=<grid home>
注意:
この手順を実行済の場合、次の手順をスキップできます。
oracleとしてスクリプトを実行します。
./bds-exa-install.sh
スクリプトからoracleユーザーとして次に進むように求められた場合、別のセッションではスクリプトをrootとして実行する必要があります。次に例を示します。
$ ./bda-exa-install.sh: bds-exa-install: root shell script : /u01/app/oracle/product/12.1.0.2/dbhome_1/install/bds-root-<cluster-name>-setup.sh please run as root: /u01/app/oracle/product/12.1.0.2/dbhome_1/install/bds-root-<rack-name>-clu-setup.sh
出力例を次に示します。
bds-exa-install: setup script started at: Mon May 4 16:56:48 PDT 2015 bds-exa-install: version : 1.1.09 bds-exa-install: bda cluster name : <cluster-name> bds-exa-install: bda web server : bdanode01.example.com bds-exa-install: cloudera manager url : bdanode03.example.com:7180 bds-exa-install: hive version : hive-0.13.1-cdh5.3.0 bds-exa-install: hadoop versi : hadoop-2.5.0-cdh5.3.0 bds-exa-install: bds ve : Bds 1.1 bds-exa-install: bds install date : 05/04/2015 16:34 PDT bds-exa-install: bd_cell version : bd_cell-12.1.2.0.100_LINUX.X64_150225.1100-1.x86_64 bds-exa-install: action : setup bds-exa-install: crs : useCrs bds-exa-install: db resource : <db_resource> bds-exa-install: database type : RAC bds-exa-install: cardinality : 8 ************************ README--README--README--README--README--README--README--README--README--README ************************ Detected a multi instance database (<db_resource>). Run this script on all instances. Please read all option of this program (bds-exa-install --help) This script does extra work on the last instance. The last instance is determined as the instance with the largest instance_id number. press <return> bds-exa-install: root shell script : /u01/app/oracle/product/12.1.0.2/dbhome_1/install/bds-root-<cluster-name>-setup.sh please run as root: /u01/app/oracle/product/12.1.0.2/dbhome_1/install/bds-root-<cluster-name>-setup.sh waiting for root script to complete, press <enter> to continue checking.. q<enter> to quit bds-exa-install: root script seem to have succeeded, continuing with setup bds mkdir: created directory `/u01/app/oracle/product/12.1.0.2/dbhome_1/bigdatasql' mkdir: created directory `default_dir' mkdir: created directory `bigdata_config' mkdir: created directory `log' mkdir: created directory `jlib' bds-exa-install: working directory : /u01/app/oracle/product/12.1.0.2/dbhome_1/bigdatasql/jlib bds-exa-install: removing old oracle bds jars if any bds-exa-install: downloading oracle bds jars bds-exa-install: installing oracle bds jars bds-exa-install: working directory : /u01/app/oracle/product/12.1.0.2/dbhome_1/bigdatasql bds-exa-install: downloading : hadoop-2.5.0-cdh5.3.0.tar.gz ... bds-exa-install: creating bds property files bds-exa-install: working directory : /u01/app/oracle/product/12.1.0.2/dbhome_1/bigdatasql/bigdata_config bds-exa-install: created bigdata.properties bds-exa-install: created bigdata-log4j.properties ... catcon: See /u01/app/oracle/product/12.1.0.2/dbhome_1/install/bdscatcon*.log files for output generated by scripts catcon: See /u01/app/oracle/product/12.1.0.2/dbhome_1/install/bdscatcon_*.lst files for spool files, if any catcon.pl: completed successfully bds-exa-install: granted default and cluster directories to public! bds-exa-install: no mta will be setup, dropping db links for bda01clu ... catcon: See bdscatcon-<##>_*.lst files for spool files, if any catcon.pl: completed successfully bds-exa-install: setup script completed all steps
詳細は、「bds-exa-installスクリプトの実行」を参照してください。
複数のインスタンス・データベースを使用している場合、データベース・インスタンスごとに手順6を繰り返します。
スクリプトが終了すると、Oracle Big Data SQLを含む次の項目が使用できるようになり、データベース・インスタンス上で実行されます。ただし、イベントによってOracle Big Data SQLエージェントが停止した場合、再起動する必要があります。「Big Data SQLエージェントの起動および停止」を参照してください。
Oracle Big Data SQLのjarのディレクトリおよび構成、環境ファイルおよびプロパティ・ファイル。
Database dba_directories。
Database dblinks。
Databaseビッグ・ファイルspfileパラメータ。
たとえば、次のようにして、dba_directoriesをSQLプロンプトから確認できます。
SQL> select * from dba_directories where directory_name like '%BIGDATA%';
bds-exa-installスクリプトは、Oracleホーム・ディレクトリの所有者によって実行されるカスタム・インストール・スクリプトを生成します。そのセカンダリ・スクリプトは、Oracle Big Data SQLで必要なすべてのファイルを$ORACLE_HOME/bigdatasqlディレクトリにインストールします。Oracle NoSQL Databaseのサポートには、クライアント・ライブラリ(kvclient.jar)をインストールします。また、データベース・ディレクトリ・オブジェクト、およびマルチスレッドのOracle Big Data SQLエージェントのデータベース・リンクも作成します。
--generate-onlyオプションを使用してセカンダリ・スクリプトを作成し、$ORACLE_HOMEの所有者として実行することもできます。
Exadataでインストール・スクリプトを実行する場合に問題が発生したら、次の手順を実行してOracleサポートでSRを開き詳細を確認します。
次のようにして、デバッグ内のスクリプトを実行してデバッグ出力を収集します。
$ ./bds-exa-install.sh --db-name=<dbresource> --grid-home=<grid home> --root-script=false --debug OR $ ./bds-exa-install.sh --root-script=false --debug
次のようにして、Oracle Databaseバージョンを収集します。
RDBMS-RAC Homeからopatch lsinventoryの結果を収集します。
Grid Homeからopatch lsinventoryの結果を収集します
次のSQL文の結果により、Datapatchが設定されていることを確認します。
SQL> select patch_id, patch_uid, version, bundle_series, bundle_id, action, status from dba_registry_sqlpatch;
次の環境変数から、情報を収集します。
$ORACLE_HOME
$ORACLE_SID
$GI_HOME
$TNS_ADMIN
lsnrctl statusコマンドを実行します。
Oracle Big Data Applianceには、Oracle Big Data Appliance上のCDHクラスタに格納されているデータを保護するための多数のセキュリティ機能がすでに用意されています。
Kerberos認証: ユーザーおよびクライアント・ソフトウェアは、クラスタにアクセスする前に資格証明を提供する必要があります。
Apacheセキュリティ認証: データおよびメタデータにファイングレインのロールベース認証を提供します。
HDFSでの透過的暗号化: ディスクにあるデータを保護します。データの暗号化と復号化は、データを使用するアプリケーションに対して透過的です。
Oracle Audit Vault and Database Firewall監視: Oracle Big Data Appliance上のAudit Vaultプラグインは、MapReduce、HDFSおよびOozieサービスから監査およびロギング・データを収集します。そうすると、Audit Vault Serverを使用してOracle Big Data Appliance上でこれらのサービスを監視できるようになります。
Oracle Big Data SQLは、このリストに様々なOracle Databaseセキュリティ機能を追加します。リレーショナル・データに適用するHadoopデータに同じセキュリティ・ポリシーおよびルールを適用できます。
Oracle Big Data SQLにKerberosが有効化されたクラスタ上のHDFSデータへのアクセス権を付与するには、アクセスを必要とする各Oracle Exadata Database MachineをKerberosクライアントにします。また、各クラスタ・ノードおよびExadata Database Machine上のoracleアカウントでkinitを実行し、このアカウントがKerberosによって認証されることを確認します。この手順は、次の2つの状況で必要となります。
Kerberosが有効化されたクラスタでOracle Big Data SQLを有効化する場合。
Oracle Big Data SQLがすでにインストールされているクラスタでKerberosを有効化する場合。
注意:
Oracle Big Data SQL問合せは、Oracle Databaseプロセスの所有者(つまりoracleユーザー)として、Hadoopクラスタ上で実行されます。したがって、oracleユーザーがデータにアクセスするには、有効なKerberosチケットが必要です。このチケットは、クラスタにアクセスするすべてのOracle Databaseインスタンスで必要となります。また、有効なチケットは、Oracle Big Data Appliance上で実行中の各Big Data SQL Serverプロセスにも必要です。チケットを取得するには、kinit oracleを実行します。これらの手順を使用すると、オペレーティング・システム・ユーザーは、kinitユーティリティで認証されてから、Oracle SQL Connector for HDFSジョブを発行できます。kinitユーティリティは通常、認証用のKerberosキータブ・ファイルを使用し、パスワードに対話型プロンプトを使用しません。
クラスタの各ノードで、次の手順を実行します。
oracleユーザーとしてログインします。
oracleアカウントでkinitを実行します。
$ kinit oracle
Kerberosパスワードを入力します。
プライマリ・ノードにログオンし、Oracle Big Data SQLを停止して再起動します。
$ bdacli stop big_data_sql_cluster $ bdacli start big_data_sql_cluster
クラスタへのアクセス権が必要なすべてのOracle Exadata Database Machine上で、次の手順を実行します。
Mammothがインストールされているノードから各Oracle Exadata Machine上の同じパスに、Kerberos構成ファイル/etc/krb5.confをコピーします。
oracleアカウントでkinitを実行し、Kerberosパスワードを入力します。
Oracle Big Data SQLのインストール後スクリプトを再実行します
$ ./bds-exa-install.sh
Kerberosチケットの期限切れの防止
システムではkinitをKerberosチケットの失効前に定期的に実行して、Oracle SQL Connector for HDFSによる透過的な認証を可能にする必要があります。cronまたは類似ユーティリティを使用して、kinitを実行します。たとえば、Kerberosチケットが2週間ごとに期限が切れる場合は、チケットの期限を1週間ごとに延長するようにcronジョブを設定します。
Oracle Big Data SQLはクラスタ管理サーバーによって提供されるサービスを使用してデプロイされます。インストール・プロセスは管理サーバーAPIを使用してサービスを登録し、デプロイメント・タスクを開始します。その後、管理サーバーがプロセスを制御します。
Big Data SQLをクラスタ管理サーバーにインストールしたら、バンドルに用意されているツールを使用して、データベース・サーバー側のインストール・パッケージを生成します。
Oracle Big Data SQLはOracle Software Delivery Cloudからダウンロードします
表2-3 Oracle Big Data SQL製品バンドル・インベントリ
| ファイル | 説明 |
setup-bds |
クラスタ側のインストール・スクリプト |
cloudera-config.json |
CDH構成jsonファイル |
hdp-config.json |
HDP構成jsonファイル |
api_env.sh |
REST API環境の設定スクリプト |
platform_env.sh |
BDSサービス構成スクリプト |
BIGDATASQL-1.0.jar |
CSDファイル(Cloudera製品バンドルのみ) |
bin/json-select |
JSON-selectユーティリティ |
db/bds-database-create-bundle.sh |
データベース・バンドル作成スクリプト |
db/database-install.zip |
データベース側のインストール・ファイル |
repo/BIGDATASQL-1.0.0-el6.parcel |
parcelファイル |
repo/manifest.json |
parcelファイルのハッシュ・キー |
BIGDATASQL-1.0.0-el6.stack |
スタック・ファイル |
setup-db.sh |
クラスタ情報を取得するスクリプト(現在HDPクラスタ側のインストールの手動操作で使用されます。) |
Oracle Big Data SQLをHortonworks Hadoop Data Platform (HDP)にインストールするために次が必要です。
実行中のサービス
Big Data SQLのインストール時には次のサービスが実行している必要があります
HDP 2.3
Ambari 2.1.0
HDFS 2.7.1
YARN 2.7.1
Zookeeper 3.4.6
Hive 1.2.1
Tez 0.7.0
パッケージ
Big Data SQLをインストールする前に次のパッケージをインストールしておく必要があります。
JDKバージョン1.7以上
Pythonバージョン2.6。
OpenSSLバージョン1.01ビルド16以上
システム・ツール
curl
rpm
scp
tar
unzip
wget
yum
環境設定
インストール前に次のように環境を設定する必要があります。
ntp有効
iptables無効
アクセス制御の設定
なし。
Oracle Big Data Applianceの一部ではないCDHクラスタにOracle Big Data SQLをインストールするときは、次の条件が満たされている必要があります。
注意:
Oracle Big Data ApplianceでのOracle Big Data SQLのインストール前提条件および手順は、他のCDHシステムで使用されるプロセスとは異なります。Oracle Big Data Applianceにインストールする場合は、「Oracle Big Data ApplianceおよびOracle Exadata Database Machineでのインストール」を参照してください。実行中のサービス
Oracle Big Data SQLのインストール時には次のサービスが実行している必要があります
Cloudera Distribution including Apache Hadoop (CDH) 5.5.1
HDFS 2.6.0
YARN 2.6.0
Zookeeper 3.4.5
Hive 1.1.0
パッケージ
Oracle Big Data SQLをインストールする前に次のパッケージをインストールしておく必要があります。OracleクライアントはOracle Technology Networkでのダウンロードに対応しています。
JDKバージョン1.7以上
Oracle Instant Client – 12.1.0.2以上(oracle-instantclient12.1-basic-12.1.0.2.0-1.x86_64.rpmなど)
Oracle Instant JDBC Client – 12.1.0.2以上(oracle-instantclient12.1-jdbc-12.1.0.2.0-など)
PERL LibXML – 1.7.0以上(perl-XML-LibXML-1.70-5.el6.x86_64.rpmなど)
Apache log4j
システム・ツール
unzip
finger
wget
環境設定
インストール前に次のように環境を設定する必要があります。
/usr/java/default ($JAVA_HOMEが設定されない場合)
Javaバイナリのパスを/usr/java/latestに指定する必要があります
Hadoopライブラリのデフォルト・パスを/opt/cloudera/parcels/CDH/lib/に指定する必要があります
アクセス制御の設定
次のユーザーとグループが存在する必要があります。
oracleユーザー
oinstallグループ
Oracle Big Data SQLのインストールは2つのステージで構成されます。
クラスタ側のインストール:
バイナリをクラスタにデプロイします。
各クラスタ・ノードのサービスについてLinuxとネットワークの設定を構成します。
管理サーバーでサービスを構成します。
データベース接続を構成するためにクラスタ情報を取得します。
データベース側のインストールのためにデータベース・バンドルを作成します。
Oracle Databaseサーバー側のインストール:
バイナリをデータベース・ノードにコピーします。
サービスのネットワーク設定を構成します。
クラスタ・メタデータをデータベースに挿入します。
Oracle Big Data SQLインストールの最初の手順は、Hadoopクラスタ管理サーバーでインストーラを実行することです(Cloudera ManagerがCDHシステムで実行しているかAmbariがHDPシステムで実行している場合)。管理サーバーでのインストール後タスクとして、データベース・サーバーのインストール・バンドルを準備するスクリプトを実行します。
ダウンロード・ファイルから保存したBIGDATASQL製品バンドル(BIGDATASQL-CLOUDERA.zipまたはBIGDATASQL-AMBARI.zip)からファイルを抽出し、バンドルに含まれているOracle Big Data SQLインストーラを構成して実行します。これによってローカル・サーバーにOracle Big Data SQLがインストールされます。
データベース・バンドル作成スクリプトを実行します。このスクリプトによってデータベース・バンドル・ファイルが生成されます。これをOracle Databaseサーバーで実行するとOracle Big Data SQLがサーバー上にインストールされます。
データベース・バンドル・ファイルのパラメータを確認し、必要に応じて調整します。
データベース・バンドル・ファイルを確認して(必要な場合に)編集してから、Oracle Databaseサーバーにコピーし、「Oracle Databaseサーバーでのインストール」の説明に従って実行します
クラスタ管理サーバーでのBig Data SQLのインストール
クラスタ管理サーバーにBig Data SQLをインストールする手順は次のとおりです。
BIGDATASQL-<version>.zipを、クラスタ管理サーバー上の一時的な場所にコピーします。
unzip BIGDATASQL-<version>.zip
cd BIGDATASQL
構成ファイルを編集します。
この後の表2–4で、各構成パラメータの使用方法を説明します。
CDHの場合は、この例のようにcloudera-config.jsonを編集します。
{
"CLUSTER_NAME" : "cluster",
"CSD_PATH" : "/opt/cloudera/csd",
"DATANODE_IP" : "10.12.13.14",
"REST_API_PORT" : "7180",
"WEB_SERVER_PORT" : "80",
}
HDPの場合はhdp-config.jsonを編集します。次に例を示します。
{
"CLUSTER_NAME" : "clustername",
"DATANODE_IP" : "10.10.10.10",
"REST_API_PORT" : "8080",
}
クラスタ管理者のユーザーIDとパスワードを取得し、setup-bdsを実行します。対応する構成ファイル(CDHではcloudera-config.json、HDPではhdp-config.json)を引数として渡します。スクリプトによって、管理者の資格証明が求められてから、管理サーバーにBDSがインストールされます。
$ ./setup-bds cloudera-config.json
または
$ ./setup-bds hdp-config.json
表2-4 setup-bdsの構成パラメータ
| 構成パラメータ | 用途 | 適用対象 |
CLUSTER_NAME |
Hadoopサーバーでのクラスタの名前。 | CDH、HDP |
CSD_PATH |
カスタム・サービス・ディスクリプタ・ファイルの場所。 | CDHのみ |
DATANODE_IP |
CLUSTER_NAMEによって指定されたクラスタのネットワークをデータベース・ノードで検出できるようにします。 |
CDH、HDP |
REST_API_PORT |
リクエストをリスニングするクラスタ管理サーバー上のポート。 | CDH、HDP |
WEB_SERVER_PORT |
インストール時にデプロイメント・タスクのリポジトリに一時的に割り当てられたポート。割当てがクラスタの操作と競合しない任意のポートにすることができます。 | CDHのみ。 |
HDPクラスタのOracle Big Data SQLの場合、現時点では製品をAbmariと統合するために手動の手順が必要です。これはいずれ自動インストールによって置き換えられる予定です。
注意:
この項は、Hortonworks Hadoop Data PlatformでのOracle Big Data SQLのインストールのみに対応します。CDHシステムでのインストールの場合は、「データベース側のインストール・バンドルの作成」に進んでください次の手順を実行してクラスタ管理サーバーにBig Data SQLをインストールします。
rootとしてJDKインストールに対するsymlink /usr/java/latestおよび/usr/java/defaultを作成します。これはすべてのDataNodeで行います。
$ ln -s /usr/jdk64/jdk1.8.0_60 /usr/java/latest $ ln -s /usr/java/latest /usr/java/default
BIGDATASQLディレクトリ(前にバンドルから抽出したもの)をAmbariのservicesディレクトリに移動します。
mv BIGDATASQL /var/lib/ambari/server/resources/stacks/HDP/2.3/services
Ambariを再起動します。
$ ambari-server restart
Ambariが再起動したら、クラスタ管理者としてAmbariにログインします。
サービス・バーで「Actions」をクリックし、「Add Service」を選択します。
「Add Service Wizard」リストで「Big Data SQL」を選択し、「Next」をクリックします。
「Assign Slaves and Clients」パネルですべてのDataNodeを選択します。
選択しなかったDataNodeは、問合せにデータを提供することができません。DataNode以外にインストールしようとすると失敗します。
「Next」をクリックします。
「Customize Services」パネルの「Advanced bds-config」の下でbds.cluster変数を編集します。Big Data SQLをインストールするクラスタの名前を入力します。
「Next」をクリックします。
「Review」パネルで一番下の「Big Data SQL Cell」数を確認します。これがクラスタ内のDataNode数と一致する場合は、「Deploy」をクリックします。
Ambariによってインストールが開始されます。
「Install, Start, and Test」パネルでインストールの進捗を監視し、失敗が発生していないか「Messages」列に注意してください。
インストールが完了すると、Ambariによってサービスが自動的に開始されます。すべてのサービスが実行すると、パネルの下部に「Installed and started the services」通知が表示されます。
「Next」をクリックします。
AmbariへのOracle Big Dataのインストールが完了すると、この製品がAmbariのサービス・バーに表示されます。この後はAmbariを使用して、Big Data SQLサービスの起動、停止および管理を行うことができます。
データベース・インストール・バンドルを作成する前のsetup-db.shの編集と実行(HDPのみ)
HDPでのインストールでは、setup.shは次の手順(データベース・インストール・バンドルの作成)の準備に必要な情報を生成します。これは、Oracle Big Data SQLダウンロード・パッケージから抽出された製品バンドルのスクリプトの1つです。(表2-3 を参照してください)。スクリプトは実行する前に編集する必要があります。いくつかの環境変数をエクスポートする必要もあります。
setup-db.shを編集して、次のパラメータ値を指定します。パラメータはファイルの一番上に表示されます。
パラメータ |
必須値 |
hortontarballrepourl |
Hortonworks公開リポジトリのURL。 |
ambariurl |
AmbariサーバーREST API URLおよびポート。 |
cluster |
Oracle Big Data SQLをインストールするクラスタの名前。 |
clusternetwork |
DataNodeのIPアドレス(アドレスはすべてのDataNodeで同じにする必要があります。) |
hadoopname |
Hortonworks公開リポジトリのHadoopクライアントtarballのファイル名。 |
hivename |
Hortonworks公開リポジトリのHiveクライアントtarballのファイル名。 |
hortontarballrepourl='http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.3.2.0/tars' ambariurl='http://<ambari-node>:<ambari-port>' cluster=clustername clusternetwork='11.12.13.14' hadoopname=hadoop-2.7.1.2.3.2.0-2950 hivename=apache-hive-1.2.1.2.3.2.0-2950-bin
編集したスクリプトを実行します
$ ./setup-db.sh
環境変数WS_CONF_USRおよびWS_CONF_PWDをエクスポートします。
export WS_CONF_USR=admin export WS_CONF_PWD=admin
これらの手順の後で、データベース・インストール・バンドルをOracle Databaseサーバーにコピーしてインストールできます。
クラスタ管理サーバーで、Oracle Big Data SQLダウンロード・パッケージのスクリプトを実行してインストール・バンドルを作成し、Oracle Databaseサーバーに製品をインストールします。
BIGDATASQL製品バンドル(BIGDATASQL-CLOUDERA.zipまたはBIGDATASQL-AMBARI.zip)を以前に解凍した一時ディレクトリ内で、BIGDATASQL/dbディレクトリに移動します。次にBDSデータベース・バンドル作成スクリプトを実行します。デフォルト設定をオーバーライドするためにスクリプトに渡すことができるオプションのパラメータについては、この後の表を参照してください。
$ cd BIGDATASQL/db $ bds-database-bundle-creation.sh
データベース・バンドル・ファイルには複数のパラメータが含まれています。必要に応じて任意のパラメータを変更できます。指定するURLには、バンドル・インストール・スクリプトが実行するOracle Databaseサーバーからアクセスできることが必要です。
表2-5 bds-database-bundle-creation.shのコマンドライン・パラメータ
| パラメータ | 値 |
--hadoop-client-ws |
HadoopクライアントtarballをダウンロードするためのURLを指定するか、このクライアントでダウンロードをバイパスします。 |
--no-hadoop-client-ws |
|
--hive-client-ws |
HiveクライアントtarballをダウンロードするためのURLを指定するか、このクライアントでダウンロードをバイパスします。 |
--no-hive-client-ws |
|
--yarn-conf-ws |
YARN構成zipファイルをダウンロードするためのURLを指定するか、このダウンロードをバイパスします。 |
--no-yarn-conf-ws |
|
--hive-conf-ws |
Hive構成zipファイルをダウンロードするためのURLを指定するか、このダウンロードをバイパスします。 |
--no-hive-conf-ws |
|
--ignore-missing-files |
一部のファイルがない場合にもバンドル・ファイルを作成します。 |
--clean-previous |
以前のバンドル・ファイルとディレクトリをbds-database-install/から削除します |
--script-only |
スクリプト・データベース・インストール・ファイルの作成のみを行います。 |
リソースの手動追加(BDSデータベース・バンドル作成スクリプトがアクセスできない場合)
データベース・バンドル作成スクリプトは、Hadoop fat jar、YARN構成ファイルおよびHiveリソースをoracle.comからダウンロードしようとします。クラスタ管理サーバーからダウンロード・サイトにアクセスできない場合は、別のサーバーにファイルをダウンロードできます。この場合、ファイルを保存するために選択したパスを、次のように引数としてbds-database-bundle-creation.shに渡します。$ ./bds-database-bundle-creation.sh --yarn-conf-ws='http://nodexample:1234/config/yarn'
/bds-database-installに移動して、バンドル作成スクリプトを実行できます。次に例を示します。$ cp hadoop-xxxx.tar.gz bds-database-install/ $ cp hive-xxxx.tar.gz bds-database-install/ $ cp yarn-conf.zip bds-database-install/ $ cp hive-conf.zip bds-database-install/ $ cd db $ ./bds-database-bundle-creation.sh
Oracle Databaseサーバーへのデータ・バンドルのコピー
scpを使用して、作成したデータベース・バンドルをOracle Databaseサーバーにコピーできます。データベース・サーバーのoracleアカウントを使用し、ファイルを/home/oracleにコピーします。次の例では、dbnodeがデータベース・サーバーです。
$ scp bds-database-install.zip oracle@dbnode:/home/oracle
次の手順では、Oracle Databaseサーバーにログインしてバンドルをインストールします。
Oracle Big Data SQLは、クラスタ管理サーバーとOracle Databaseサーバーの両方にインストールする必要があります。この項では、データベース・サーバーでのインストールについて説明します。
Oracle Databaseサーバーをインストールするための前提条件。
注意:
この項の情報は、Oracle Big Data Applianceに接続されているOracle Exadata MachineでのOracle Big Data SQLのインストールには使用できません。Hadoopクラスタとのネットワーク接続の必要性
Oracle DatabaseサーバーはHadoopクラスタと同じサブネット上に構成する必要があります。Oracle DatabaseとHadoopクラスタの間では10Gb/sのイーサネット接続をお薦めします。
必要なソフトウェア
Oracle Big Data SQLで必要なOracle Databaseの最小のリリース・レベルおよび互換性があるLinuxプラットフォームを次に示します。
Oracle Database 12cリリース・バージョン12.1.0.2およびOracle Real Application Cluster (RAC)。
Oracle Database January 2016バンドル・パッチ(12.1.0.2.160119)および後続の個別パッチ22778199も必要です。
Oracle Linux 6 UEK2またはRed Hat Enterprise Linux 6
注意:
このインストールを開始する前に、正しいバンドル・パッチと個別パッチをあらかじめ適用しておいてください。現在、これよりも前のバンドル・パッチのBig Data SQL 3.0での使用はサポートされていません。データベース・インストール・バンドルの内容の抽出
この手順での「データベース・バンドル」は、クラスタ管理サーバー上で生成したデータベース・サーバー側のBig Data SQLインストール・パッケージを意味します。前提条件で説明したバンドル・パッチのことではありません。
「Hadoopクラスタ管理サーバーでのインストール」の説明に従い、クラスタ管理サーバーでデータベース・バンドル作成スクリプトを実行した後で、データベース側でのインストールを完了するために、生成されたデータベース・バンドルをOracle Databaseサーバー上の一時ディレクトリにコピーします。
バンドルを一時ディレクトリに解凍します。
インストール・スクリプトの実行
zipファイルから抽出されたbds-database-installディレクトリに移動します。
oracleユーザー(またはデータベース・インストール権限を持つ別のユーザー)としてbds-database-install.shを実行します
bds-database-install.shスクリプトではいくつもの構成可能なパラメータがサポートされています。たとえば、インストールの際に、このスクリプトは1つのDataNodeを調べてネットワーク・インタフェースの正しいIPアドレスを判別します。次のようにip-cellパラメータを使用して、スクリプトを実行するときに別のIPアドレスを指定できます。
$ ./bds-database-install.sh --ip-cell=10.20.30.40/24
表2-6にbds-database-install.shのパラメータの一覧を示して説明します。
表2-6 bds-database-install.shのオプション・パラメータ
| パラメータ | 機能 |
--version |
プログラム・バージョンを表示します。 |
--info |
クラスタに関する情報を表示します。 |
--ip-cell |
db_cellプロセスに特定のIPアドレスを設定します。 |
--install-as-secondary |
セカンダリ・クラスタのインストールを指定します。 |
--uninstall-as-primary |
プライマリ・クラスタのOracle Big Data SQLを削除します。 |
--uninstall-as-secondary |
セカンダリ・クラスタのOracle Big Data SQLを削除します。 |
--jdk-home |
JDKホーム・ディレクトリを指定します。 |
--grid-home |
グリッド・ホーム・ディレクトリを指定します。 |
--db-name |
Oracle Database SIDを指定します。 |
--debug |
サポートをリクエストするためにシェル・トレース・モードを有効にします。 |
Oracle Big Data SQLの削除手順は準備中です。
HDP Hadoopクラスタのソフトウェアの削除
Ambari WebインタフェースでBig Data SQLサービスを停止します。すべてのノードのすべてのコンポーネントを停止する必要があります。
Ambariコマンドラインで、REST APIコールを使用してBig Data SQLサービスを削除します。
curl --user admin:admin -H 'X-Requested-By:<user>' -X DELETE http://<ambari_server_fqdn>:<rest_api_port>/api/v1/clusters/<cluster_name>/services/BIGDATASQL
各DataNodeで、実行しているOracle Big Data SQLプロセスを確認して停止します。
# ps -fea | grep bds # kill -9 <pid>
Ambariコマンドラインで、サービスからスタックを削除します。
# rm -rf /var/lib/ambari-server/resources/stacks/HDP/<version>/services/BIGDATASQL
各DataNodeで、bd_cell RPMを削除します。
# yum remove -y bd_cell
すべてのDataNodeで次のディレクトリを削除します。
# rm -rf /opt/oracle/bd_cell # rm -rf /opt/oracle/bigdatasql # rm -rf /tmp/bigdatasql # rm -rf /var/log/oracle
Ambariコマンドラインで、Ambariを再起動します。
# ambari-server restart
CDH HadoopクラスタのOracle Big Data SQLの削除
この手順は準備中です。
