2 Hadoop側のOracle Big Data SQLのインストールまたはアップグレード
Oracle Big Data SQLデプロイメント・バンドルをダウンロードしてファイルを抽出したら、次のステップはインストーラを構成し、インストールを実行することです。
HadoopクラスタでのOracle Big Data SQLのインストールをデプロイするには、クラスタ管理サーバーから提供されるサービスを使用します(Cloudera ManagerまたはAmbari)。Jaguarのinstall
コマンドは、管理サーバーAPIを使用してBDSサービスを登録し、デプロイメント・タスクを開始します。そこから、管理サーバーがプロセスを制御し、クラスタのノードにソフトウェアをデプロイしてインストールします。
また、Hadoop側のインストールによって、インストールのデータベース側のデプロイメント・バンドルが生成されます。
以前のバージョンのOracle Big Data SQLがすでにインストールされている場合、Oracle Big Data SQLはインストールをリリース4.1.1にアップグレードします。
以前のOracle Big Data SQLリリースのユーザーは、このリリースで使用可能なBDSJaguar構成パラメータが変更されていることに注意してください。
2.1 複数のデータベース・バージョン(19c、18c、12.2および12.1)のサポートについて
Oracle Big Data SQLはOracle Database 19cをサポートし、Oracle Database 18c、12.2および12.1の下位互換性も提供しています。
Oracle Big Data SQL 4.1.1は、リリース12.1から19cのOracle Databaseで使用できます。Big Data SQLで使用できるデータベース関連の機能セットは、インストール先のOracle Databaseバージョンによって決まります。データベースの各リリースは、その先行リリースで提供されない利点をBig Data SQLに提供します。
- Oracle Database 19c (Big Data SQL 4.1で最初にサポート)には、CSVファイルまたはParquetファイルのデータや、Spark、Hadoopおよびその他のビッグ・データ・テクノロジのツールにアクセスできる他の形式を含めることができるハイブリッド・パーティション表を作成する機能があります。Oracle Database VLDBおよびパーティショニング・ガイドのハイブリッド・パーティション表を参照してください。
Big Data SQLに役立つOracle Database 19cのもう1つの新機能は、インメモリー外部表です。
また、19cデータベース・システムにBig Data SQLをインストールすると、18cデータベースのBig Data SQLで使用で可能なすべての機能を利用できます。
- Oracle Database 18c (Oracle Big Data SQL 4.0以降でサポート)を使用すると、ORACLE_BIGDATAドライバを介してクラウド内のオブジェクト・ストアにアクセスできます。18cでは、Big Data SQLで集計オフロードを実行することもできます。この場合、Hadoopのデータに対する問合せでの集計の処理は、Hadoopクラスタにプッシュ・ダウンされます。
- Oracle Database 12.1および12.2は、このリリースで完全にサポートされています。ただし、これらのデータベースにBig Data SQLをインストールしても、18cおよび19cで使用可能な新機能は利用できません。12.1および12.2では、Big Data SQL機能は、Big Data SQL 3.2.1.1と同等です。
この下位互換性により、Oracle Database 19c、18cおよび12cが混在する環境にリリース4.1.1をインストールして管理できます。
関連項目:
この章のJaguar構成パラメータおよびコマンド・リファレンスでは、Big Data SQLのHadoop側をインストールする際にOracle Databaseバージョンのサポートを構成する方法について説明します。2.2 Hadoop側のインストールを開始する前に
クラスタのすべてのDataNodeが前提条件を満たしていることを確認します。
2.2.1 Hadoop側の前提条件の確認
Oracle Big Data SQLをインストールする前に、すべてのクラスタのDataNodeでbds_node_check.sh
を実行できます。これは、各ノードがインストール基準を満たしているかどうかをすばやく確認する方法です。更新する必要があるものを正確に確認できます。
bds_node_check.sh
の実行は必須ではありませんが、実行することをお薦めします。Jaguarインストーラは内部的に同じ事前チェックを実行しますが、Jaguarが事前チェックを実行すると、クラスタ管理サーバーも起動および停止します。さらに、前提条件を満たさないノードが検出されると、インストールはその場で停止します。これが起こるたびに、続行するためにノードの準備エラーを修正する必要があります。最初のステップとしてbds_node_check.sh
を実行すると、インストールが円滑に行われます。
新しいノードをクラスタに追加する際に、この同じスクリプトを使用して前提条件をチェックできます。
bds_node_check.shのデプロイおよび実行
このスクリプトは、これが実行されるローカル・ノードをチェックします。クラスタ内のすべてのノードをチェックするわけではありません。
./BDSJaguar-4.1.1.run
を実行したときに作成されたインストール・ディレクトリで、クラスタ管理サーバー上のスクリプトを探します。$ ls <Big Data SQL Install Directory> BDSJaguar bds_node_check.sh $ cd <Big Data SQL Install Directory>
- 任意の方法を使用して、チェックするノードにスクリプトをコピーします。
$ scp bds_node_check.sh oracle@<node_IP_address>:/opt/tmp
- ノードにログオンしてスクリプトを実行します。
$ ./bds_node_check.sh
bds_node_check.sh出力での欠落している前提条件のチェック
bds_node_check.sh
によって返されるレポートは、Jaguarインストーラの前提条件と、エッジ・ノード上の問合せサーバーとの通信をサポートする前提条件の両方についてノードを検査します。問合せサーバーをインストールしない場合は、前提条件のサブセットを無視できます。
bds_node_check.sh: BDS version 4.1.1 (c) 2020 Oracle Corporation
bds_node_check.sh:
bds_node_check.sh: Starting pre-requirements checks for BDS Jaguar
bds_node_check.sh: Total memory 64240 >= 40960 correct
bds_node_check.sh: vm_overcommit_memory=0 correct
bds_node_check.sh: shmmax=4398046511104, shmall=1073741824, PAGE_SIZE=4096 correct
bds_node_check.sh: shmmax=4398046511104 >= total_memory=67360522240 + 1024 correct
bds_node_check.sh: swappiness=10 correct
bds_node_check.sh: Total cores 32 >= 8 correct
bds_node_check.sh: Size of socket buffer rmem_default 4194304 >= 4194304 correct
bds_node_check.sh: Size of socket buffer rmem_max 8388608 >= 4194304 correct
bds_node_check.sh: Size of socket buffer wmem_default 4194304 >= 4194304 correct
bds_node_check.sh: Size of socket buffer wmem_max 8388608 >= 4194304 correct
bds_node_check.sh: dmidecode installed
bds_node_check.sh: net-snmp installed
bds_node_check.sh: net-snmp-utils installed
bds_node_check.sh: perl-XML-SAX installed
bds_node_check.sh: perl-XML-LibXML installed
bds_node_check.sh: perl-libwww-perl installed
bds_node_check.sh: perl-libxml-perl installed
bds_node_check.sh: libaio installed
bds_node_check.sh: glibc installed
bds_node_check.sh: libgcc installed
bds_node_check.sh: libstdc++ installed
bds_node_check.sh: libuuid installed
bds_node_check.sh: perl-Time-HiRes installed
bds_node_check.sh: perl-libs installed
bds_node_check.sh: perl-Env installed
bds_node_check.sh: libcgroup-tools installed
bds_node_check.sh: rpm found
bds_node_check.sh: scp found
bds_node_check.sh: curl found
bds_node_check.sh: unzip found
bds_node_check.sh: zip found
bds_node_check.sh: tar found
bds_node_check.sh: uname found
bds_node_check.sh: perl found
bds_node_check.sh: cgget found
bds_node_check.sh:
bds_node_check.sh: Optionally, if this node will be running the Jaguar installer,
bds_node_check.sh: it must have at least python version 2.7.5
bds_node_check.sh: with cryptography module available
bds_node_check.sh: Testing with /usr/bin/python
bds_node_check.sh: Python version 2.7.5, correct
bds_node_check.sh: Python cryptography module available, correct
bds_node_check.sh:
bds_node_check.sh: All pre-requirements were met for BDS Jaguar
bds_node_check.sh:
bds_node_check.sh: Starting pre-requirements checks for BDS Query Server
bds_node_check.sh: Open files 131072 >= 131072 correct
bds_node_check.sh: expect installed
bds_node_check.sh: procmail not installed
bds_node_check.sh: oracle-database-preinstall-19c not installed
bds_node_check.sh: rpm found
bds_node_check.sh: scp found
bds_node_check.sh: curl found
bds_node_check.sh: unzip found
bds_node_check.sh: zip found
bds_node_check.sh: tar found
bds_node_check.sh: uname found
bds_node_check.sh: perl found
bds_node_check.sh: cgget found
bds_node_check.sh: No database instances running on this node, correct
bds_node_check.sh: /etc/oracle/olr.loc file does not exist
bds_node_check.sh: /etc/oracle/ocr.loc file does not exist
bds_node_check.sh:
bds_node_check.sh: 2 error(s) found for BDS Query Server pre-requirements
2.2.2 メモリーの要件の確認
Oracle Database 12.1をサポートする場合は、追加のメモリーが必要になることがあります。
Oracle Big Data SQL は、Oracle Database 12.1および12.2と下位互換性があります。ただし、Oracle Database 12.1との互換性のために、メモリーに追加のコストがかかります。Oracle Database 12.1をサポートするには、Hadoopノードで古いオフロード・サーバーを実行する必要があります(通常存在するオフロード・サーバーに加えて)。この追加のオフロード・サーバーを実行することによるオーバーヘッドは、Oracle Database 12.1をサポートする必要がない場合に回避できるリソース費用です。
このクラスタでOracle Database 12.1をサポートする必要がある場合:
HadoopクラスタのDataNodeに十分なメモリーがあることを確認してください。19c、18c、12.2、12.1などの完全なデータベースの互換性をサポートするインストールの場合、Hadoopノードごとの最小メモリー要件は64 GBです。
また、Oracle Big Data SQLがこの大量のメモリーを消費できるように、メモリーcgroupの上限が設定されていることも確認してください。
このクラスタでOracle Database 12.1をサポートする必要がない場合:
Jaguar構成ファイル(bds-config.json
など)のdatabase_compatibility
値に正しい設定を選択してください。このパラメータのオプションは、"12.1"
、"12.2"
、"18"
、"19"
および"full"
です。"12.1"
と"full"
の両方が、12.1をサポートするために追加のオフロード・サーバーの起動をトリガーすることに注意してください。
2.2.3 構成の計画およびJaguar構成ファイルの編集
開始する前に、次の質問について検討してください。
これらの質問に回答することで、Jaguar構成ファイルの編集方法を明確にするのに役立ちます。(この章のJaguar構成パラメータおよびコマンド・リファレンスを参照してください。)
- オブジェクト・ストア(S3、AzureまたはOracle Object Store)のデータにアクセスしますか。
その場合は、Jaguar構成ファイルでこのアクセスを有効にし、オブジェクト・ストアへのアクセスに固有のプロキシ設定を定義する必要があります。
- オプションの問合せサーバーをインストールしますか。
その場合、Oracle Big Data SQLをインストールするために、Jaguarを実行する前にいくつかの作業が必要です。
- オプションの問合せサーバーをホストするクラスタ・エッジ・ノードを識別します。
専用ノードをお薦めします。問合せサーバーはリソースを大量に消費するため、DataNodeロールまたはBDSSERVERロールをホストしているノードでは実行できません。
- 問合せサーバー・バンドルをダウンロードして解凍し、実行ファイルを実行します。
問合せサーバーは、Jaguarインストーラ(
BDSExtra-4.1.1-QueryServer.zip
)とは別のデプロイメント・バンドルにあります。Jaguarを実行する前に、このバンドルをhttps://edelivery.oracle.com/からダウンロードして解凍します。次に、問合せサーバー実行ファイルを実行します。また、Jaguarに送信された構成ファイルで、ファイルのedgedbセクションに2つの関連パラメータnode
およびenabled
を定義します。"edgedb": { "node" : "<some server>.<some domain>.com", "enabled" : "true" }
- オプションの問合せサーバーをホストするクラスタ・エッジ・ノードを識別します。
-
Hadoop環境は複数のOracle Databaseバージョンに接続する必要がありますか。デフォルトでは、Big Data SQLは、12.1、12.2、18cおよび19cの各データベースから接続できます。ただし、これらの接続をサポートするオフローダーは、特にクラスタのノードでメモリーを消費するためにリソースを大量に消費します。3つのリリースすべてをサポートする必要がない場合は、12.1または12.2のオフローダーをオフにすることでリソースを節約できます。(12.2オフローダーは、実際には12.2、18cおよび19cをサポートしています。)これは、Jaguarインストーラに渡される構成で設定します。たとえば、この文字列を入力して、12.1データベースからの接続のみを許可できます。
"database_compatibility" : [ "12.1" ]
"12.2"、"18c"または"19c"を指定した場合、12.1オフロードは有効化されません。"database_compatibility" : [ "12.2" ]
-
Oracle DatabaseからHadoop DataNode上のBig Data SQLサーバー・プロセスへの接続リクエストを検証するためにデータベース認証を有効にしますか。
Oracle DatabaseとHadoop間のネットワーク接続のデータベース認証は、構成内でデフォルトで
true
に設定されています。database_auth_enabled
をfalse
に設定することで、これを無効にすることもできます。"database_auth_enabled" : "false",
-
マルチユーザー認可機能を使用しますか。
マルチユーザー認可を使用すると、
oracle
以外のユーザーに、Hadoopクラスタに対するSQL問合せを実行するための権限を付与できます。マルチユーザー認可をSentryのロールベースのアクセス制御とともに使用すると、ユーザー・アクセスの制御を向上させることができます。マルチユーザー認可を設定する最初のステップは、構成ファイルのセキュリティ・セクションに次のパラメータを設定することです。
ブラックリストに任意のアカウントを追加できることに注意してください。"impersonation_enabled" : "true", "impersonation_usehosts" : "true", "impersonation_blacklist" : "hdfs,hive"
-
HadoopクラスタとOracle Databaseシステムとの通信はイーサネットまたはインフィニバンドのいずれを経由しますか。また、Hadoopノードに複数のネットワーク・インタフェースがありますか。
use_infiniband
およびselection_subnet
パラメータを参照してください。(selection_subnet
は、Oracle Big Data Applianceには適用されません。)
デフォルトでは、"use_infiniband" : "false", "selection_subnet" : "5.32.128.10/21"
use_infiniband
はfalseに設定されています。イーサネットがデフォルトのプロトコルです。 -
HadoopおよびHiveクライアントのtarballを事前にダウンロードし、インストーラがそれらを取得できるようにローカル・リポジトリまたはディレクトリを設定しますか。または、Jaguarがそれらをインターネット上のClouderaまたはHortonworksリポジトリから直接ダウンロードできるようにしますか(デフォルトの動作)。
6.0より前のリリースのClouderaの場合は、
BDS-config.json
(Jaguarインストーラの構成ファイル)のurl
またはdir
パラメータを使用して、任意のダウンロード場所を指定できます。プロキシ経由でインターネットにアクセスする場合は、BDS-config.json
内でhttp_proxy
およびhttps_proxy
パラメータも設定できます。ノート:
Big Data Applianceでのみ、組込みのMammothまたはbdacliユーティリティを使用してBig Data SQLをインストールすると、クライアントは自動的にインストールされます。ただし、Jaguarを使用してBig Data SQLをBig Data Applianceおよび他のサポートされているHadoopプラットフォームにインストールする場合は、場所が公開リポジトリ以外の場合、BDS-config.json
にパスを指定する必要があります。Cloudera 6.x上のBig Data SQLの場合、デフォルトで、公開リポジトリからのクライアントの自動ダウンロードも行われます。ただし、このようの環境では、Jaguar構成ファイルで異なるリポジトリを指定できません。かわりに、データベース側のインストーラのCLIによって、
--alternate-repo
パラメータが提供されます。このパラメータを使用して、クライアントのダウンロード場所をインストーラに渡します。bds-database-install.shのコマンドライン・パラメータ・リファレンスの--alternate-repo
を参照してください -
ネットワークがKerberosで保護されている場合、インストーラがHadoop側とOracle Database側でKerberosプリンシパルの自動Kerberosチケット更新を設定するようにしますか。
kerberos
セクションのパラメータを参照してください。"principal" : "<oracle or other>/mycluster@MY.<DOMAIN>.COM", "keytab" : "/home/oracle/security/oracle.keytab", "hdfs-principal" : "hdfs/mycluster@MY.<DOMAIN>.COM", "hdfs-keytab" : "/home/hdfs/security/hdfs.keytab"
ここで識別されるKerberosプリンシパルとkeytabは、Hadoop側で使用されます。これらは、データベースの側インストール・バンドルにもコピーされます。データベース側で同じプリンシパルを使用することも別のプリンシパルを使用することもできます。bds-database-install.shのコマンドライン・パラメータ・リファレンスの
--alternate-principal
を参照してください。 -
Oracle Big Data SQLインストール・プロセスが古い状態のサービスを自動的に再起動するようにしますか。
デフォルトでは、古いサービスは自動的に再起動されます。これを抑止する場合は、構成ファイルで
restart_stale
パラメータをfalse
に設定できます。 -
Hadoopクラスタは、CDHまたはAmbariにデフォルトのREST APIポートを使用していますか。
使用していない場合は、
ports
パラメータを設定します。 - Hadoopクラスタ内のHDFSまたはHiveデーモンはデフォルト以外のグループやユーザーによって所有されますか。
デフォルトでは、HDFSデーモンは
hdfs
グループのhdfs
ユーザーが所有します。Hiveデーモンは、デフォルトでhive
グループのhive
ユーザーが所有します。これらのデフォルトが変更されている場合は、構成ファイルのhadooop_ids section
のパラメータを使用して、hdfs_user
、hdfs_group
、hive_user
、hive_group
の各デーモンの現在のグループおよびユーザーを識別します。
ノート:
構成ファイルにこれらのパラメータを設定しても、一部の機能の設定は完了しません。たとえば、データベース認証を有効にするには、1つ以上のターゲット・データベースを識別するために、Jaguarユーティリティに特別な--requestdb
パラメータも渡す必要があります。この機能によって使用されるセキュリティ・キーを生成してインストールするために必要なステップもあります。マルチユーザー認可を有効にするには、まず、構成ファイルにHadoopの偽装パラメータを設定しますが、他に認可ルールも設定する必要があります。これらの設定を完了するためのステップは、このガイドでステップに従って作業する際に必要に応じて示します。
2.3 Jaguarユーティリティについて
Jaguarは、HadoopクラスタですべてのOracle Big Data SQL操作を実行するために使用する多機能のコマンドライン・ユーティリティです。
Jaguarは、現在、次の操作をサポートしています。
-
install
-
DataNodeサービスがプロビジョニングされている各クラスタ・ノードにOracle Big Data SQLバイナリをデプロイします。
-
これらの各ノードの
bd_cell
(Oracle Big Data SQLサービス)用にLinuxおよびネットワーク設定を構成します。 -
Oracle Database側にOracle Big Data SQLをインストールするバンドルを生成します。これは、クラスタへのOracle Database接続を構成するために、構成ファイルに設定したパラメータ値を使用します。
-
-
reconfigure
インストールの現在の構成を変更します(提供された構成ファイルでの設定に従います)。
-
databasereq
データベース認証に使用されているGUIDキー・ペアの1つのセグメントが含まれているリクエスト・キー・ファイルを生成します。(
databasereq
操作は、この機能のみを実行します。install
およびreconfigure
の場合、リクエスト・キー生成は規模の大きな操作の一部として含めることができるオプションです。) -
databaseack
データベース認証設定の最後のステップを実行します。つまり、クラスタ内のすべてのHadoop DataNodeにGUIDキー・ペアをインストールして、それを提供したOracle Databaseから問合せができるようにします。
sync_principals
クラスタ・ノード上で実行されているKDCからプリンシパルのリストを取得し、それを使用して問合せサーバー用に外部で識別されたデータベース・ユーザーを作成します。
-
uninstall
HadoopクラスタのDataNodeからOracle Big Data SQLをアンインストールします。
関連項目:
次の項の「Jaguar操作」に、詳細と例を示します。2.3.1 Jaguar構成パラメータおよびコマンド・リファレンス
この項では、Jaguar構成ファイル内のパラメータとJaguarコマンドライン・パラメータについて説明します。
構成パラメータ
次の表では、bds-config.json
または独自の構成ファイルで使用できるすべてのパラメータについて説明します。クラスタのname
パラメータのみが常に必須です。他のパラメータは、説明に記載されている特定の条件下で必須です。
ノート:
構成ファイルを編集するときには、JSON形式を維持するようにしてください。リストに含まれる項目が1つのみであっても、リストを囲む角カッコが必要です。表2-1 bds-config.json (または顧客作成の構成ファイル)の構成パラメータ
セクション | パラメータ | 型 | 説明 |
---|---|---|---|
cluster |
name |
String |
クラスタの名前。 CDHクラスタ(Oracle Big Data Applianceなど)の場合、この名前は物理的なクラスタ名または表示名のいずれかにできます。インストーラはまず、物理名で検索し、次に表示名で検索します。
|
cluster |
database_compatibility |
string | サポートする必要があるOracle Databaseのバージョンを選択します。
使用可能な値: たとえば、これらのいずれの設定でも、Oracle Database 12.1、12.2、18cおよび19cのサポートが有効になります。
次のいずれの設定でも、Oracle Database 12.2および18cのサポートは有効になりますが、Oracle Database 12.1のサポートは無効になります。Oracle Database 12.1が不要な場合は、このサポートを無効にすることで、一部のシステム・リソース、特にメモリーを節約できます。
デフォルトは、 |
api |
hostname |
String | クラスタ管理サーバーの表示ホスト名。シナリオによっては、Cloudera ManagerまたはAmbariの表示ホスト名が、現在のホスト名と異なる場合があります(高可用性環境など)。
デフォルト: ローカル・ホスト名。 |
api |
skip_health_check |
Boolean | "true" の場合、クラスタのヘルス・チェックはスキップされます。
クラスタのヘルス・チェックでは、HDFS、HiveおよびYarnの各サービスが正常に実行されており、失効していないことを確認します。また、CDHクラスタの場合、管理サービスは正常に実行され、失効していない必要があります。 デフォルト: |
api |
port |
Integer |
Cloudera ManagerまたはAmbari REST APIポート。 デフォルトでは、CDHクラスタ上のこのポートは保護されているアクセスの場合には7183、保護されていないアクセスの場合には7180です。Ambariでは、保護されているアクセスの場合には8443、保護されていないアクセスの場合には8080です。 オプション。 |
api |
restart_stale |
Boolean |
オプション。デフォルトは、 |
edgedb |
enabled |
Boolean | 問合せサーバー機能を有効にするかどうかを決定します。
デフォルト: |
edgedb |
node |
String |
問合せサーバーのデータベースが実行されるノードのホスト名(有効な場合)。 ノート: 問合せサーバーはリソースを大量に消費するため、データベースを専用ノードにインストールすることをお薦めします。問合せサーバーは、DataNodeロールおよびBDSSERVERロールが実行されているノードでは実行できません。 |
object_store_support |
enabled |
boolean | "true" の場合、オブジェクト・ストアにアクセスできるように、Oracle Walletがクラスタとデータベース・システムの両方に設定されます。
デフォルト: |
object_store_support |
cell_http_proxy |
string |
オブジェクト・ストアへのアクセスのサポートが有効な場合、このパラメータは、空の値であっても、Hadoopクラスタ側からオブジェクト・ストアにアクセスするために必要です。Linuxのhttp_proxy変数と同じルールに従います。例: http://myproxy.<domain>.com:80 。デフォルト値はありません。
|
object_store_support |
cell_no_proxy |
string |
cell_http_proxy と同様に、オブジェクト・ストアへのアクセスをサポートします。このアクセスが有効な場合は、空の値であっても必要です。Linuxのno_proxy環境変数と同じ構文ルールに従います。例: localhost,127.0.0.1,.<domain>.com 。デフォルト値はありません。
|
object_store_support |
database_http_proxy |
string |
cell_http_proxy と同じですが、このパラメータは、Hadoop側ではなくデータベース側からのオブジェクト・ストアへのアクセスをサポートしている点が異なります。
|
object_store_support |
database_no_proxy |
string |
cell_no_proxy と同じですが、このパラメータは、Hadoop側ではなくデータベース側からのオブジェクト・ストアへのアクセスをサポートしている点が異なります。
|
network |
http_proxy
|
String |
Hadoopクライアントのtarballおよびクラスタ設定ファイルをダウンロード可能にするためのプロキシ設定を指定します。 これらの文字列の両方が空の場合、OS環境のプロキシ設定が使用されます。 デフォルトでは、両方の文字列が空です。 構成ファイルでこの2つのパラメータを使用するのはオプションです。それらが必要な場合、かわりに Oracle Big Data Applianceには適用されません |
network |
extra_nodes |
List |
BDSAgentをインストールする必要がある追加ノードをリストします BDSAgentロールおよびBDSServerロールは、すべてのDataNodeインスタンスにインストールされます。また、BDSAgentは、HiveServer2インスタンスおよびHiveMetaStoreインスタンスが実行されているクラスタ・ノードにインストールされます。ここに追加しないかぎり、残りのすべてのノードは自動的に除外されます。 デフォルト: 空 |
network |
excluded_nodes |
List | DataNodeロールをホストしていないノードは、このパラメータ内にリストすることで除外できます。 |
security |
impersonation_enabled |
Boolean |
デフォルト値: Oracle Big Data SQL 4.x以降の場合は ノート: CDHクラスタでは、Sentryサービスが実行されている場合、この設定はオーバーライドされ、このパラメータの値に関係なく偽装が有効になります。 |
kerberos |
principal |
String |
ユーザーの完全修飾Kerberosプリンシパル名。4.1より前は、プリンシパルは プリンシパルは、次の3つの部分に分かれています。
Oracle Big Data SQLインストールは、Kerberosの
保護されたクラスタの場合は必須です。 ノート: 後でBig Data SQLのデータベース側インストールを実行するときに、bds-database-install.shのコマンドライン・パラメータ・リファレンスで |
kerberos |
db-service-principal |
String |
問合せサーバー(問合せサーバーのみ)で使用するKDCサーバー上のプリンシパルを指定します。外部Oracle Databaseに対する認証には使用されません。 クライアントから提示されたKerberosチケットの検証には、 プリンシパル名の修飾子は、問合せサーバーが実行されるノードの完全修飾ドメイン名と一致している必要があります。 保護されたクラスタの場合は必須です。 |
kerberos |
db-service-keytab |
String |
Jaguarインストーラがアクセスできる場所にkeytabを格納してください。 |
kerberos |
sync_principals |
Boolean |
sync_principalsパラメータは、Jaguarがクラスタ・ノード上で実行されているKDCからプリンシパルのリストを自動的に取得し、このリストを使用して問合せサーバー用の外部で識別されたデータベース・ユーザーを作成するかどうかを指定します。 trueに設定すると、Jaguarのインストール操作中および再構成操作中に、Kerberosプリンシパルとの自動同期が行われます。また、この同期を任意の時点でコールするには、コマンドラインでJaguarのsync_principals操作を呼び出します。 デフォルト: |
kerberos |
hdfs-keytab |
String |
プリンシパルkeytabファイルへの完全修飾パス。keytabファイルは、KDCサーバー上のプリンシパルごとに作成されます。これは、Jaguarインストーラがアクセスできる場所に存在する必要があります。 保護されたクラスタの場合は必須です。 |
kerberos |
keytab |
String |
プリンシパルのkeytabファイル名の完全修飾された場所。 Jaguarインストーラからアクセス可能な場所にkeytabファイルをコピーし、このパラメータの値としてパスを設定します。 |
kerberos |
hdfs-principal |
String |
保護されたクラスタの場合は必須です。 |
repositories |
dir |
List |
データベース側でデプロイするためのHadoopクライアントが置かれているディレクトリのリスト。これらのディレクトリは、ローカル・ファイル・システム上またはNFS上の場合があります。ディレクトリは、リストされている順序で検索されます。デフォルトでは、空のリストが表示されます。 オプション。 必要なクライアントがすでに含まれているOracle Big Data Applianceには適用されません。 重要: |
repositories |
url |
List |
これは、データベース側でデプロイするためのHadoopクライアントのtarballが置かれているURLのリストです。HTTPを介してアクセスできるようにデータ・センターにリポジトリをすでに設定している場合は、必要に応じて、そのリポジトリでHadoopのtarballを維持し、Oracle Big Data SQLインストールにURLパラメータを使用します。URLは、localhost、内部ネットワークまたはインターネット上のサイト(ノードにインターネット・アクセスがある場合)に対するものになります。URLは、リストされた順序で試行されます。必要に応じてこのアクセスを許可するには、内部プロキシ値またはOS環境プロキシ設定、あるいはその両方を設定する必要があることに注意してください。 リストされたすべてのリポジトリへのアクセスが失敗するか、またはインターネット・アクセスがブロックされるか、あるいはその両方である場合、データベース・インストール・バンドルは作成されず、警告メッセージが表示されます。問題を修正し、リポジトリにアクセスできるようになったら、 tarballがクラスタ内のローカル・リポジトリに格納され、その場所が構成ファイルに自動的に追加されるBig Data Applianceには適用されません。 |
network |
use_infiniband |
Boolean |
Oracle Big Data Applianceクラスタの場合にのみ使用されます。 デフォルト値: |
network |
selection_subnet |
String |
Hadoopクラスタ・ノードに複数のネットワーク・インタフェースがある場合は、 Hadoopクラスタ・ノードにあるネットワーク・インタフェースが1つのみの場合、このパラメータは無視されます。 デフォルト値は、次の条件によって異なります。
Oracle Big Data Applianceのユーザーへのノート: Oracle Big Data Applianceで複数のネットワークを構成できます。複数のネットワークが存在する場合は、特定のネットワークを選択するために、このパラメータを設定する必要があります。 |
security | database_auth_enabled |
Boolean |
デフォルト値: |
security | impersonation_blacklist |
String |
Hadoopプロキシ・ユーザーが偽装のブラックリストに記載されます。このパラメータは、Hadoop偽装が有効である場合にのみ使用されます。 これはOracle Database側で必須の設定であるため、Hadoop偽装が有効でなくてもextprocエラーが発生しないように、 |
security | impersonation_usehosts |
Boolean |
デフォルト値: |
memory | min_hard_limit |
Integer |
Big Data SQL用に予約されている最小メモリー容量(MB)。このパラメータは、CDHクラスタ(Oracle Big Data Applianceなど)に使用されます。HDPクラスタでは使用されません。デフォルトでは、この値は32768 MB (32 GB)です。
|
memory | max_percentage |
Integer |
CDHクラスタ(Oracle Big Data Applianceなど)の場合、このパラメータには各ノード上でBig Data SQLのために予約するメモリーのパーセンテージを指定します。このパーセンテージは、YARN Resource Managerがそのノードに対して有効である場合には、NodeManagerの合計容量から求められます。そうでない場合は物理メモリーになります YARN Resource Managerがノードに対して有効である場合、パーセンテージはNodeManagerによって使用されるメモリーの合計容量に基づいたものになります。それ以外の場合は、物理メモリーのパーセンテージである必要があります。 このパラメータは、HDPクラスタでは無視されます。 |
hadoop_ids | hdfs_user |
String | Hadoop HDFSデーモンを実行するオペレーティング・システム・ユーザー。
デフォルト値: ノート:デフォルトでは、JaguarはHiveおよびHDFSユーザー名とグループを想定しています。ただし、Hadoopインストールで異なる名前を使用した場合は、hadoop_idsパラメータを使用して識別します。 |
hadoop_ids | hdfs_group |
String | Hadoop HDFSデーモンを実行するオペレーティング・システム・グループ。
デフォルト値: |
hadoop_ids | hive_user |
String | Hadoop Hiveデーモンを実行するオペレーティング・システム・ユーザー。
デフォルト値: |
hadoop_ids | hive_group |
String | Hadoop Hiveデーモンを実行するオペレーティング・システム・グループ。
デフォルト値: |
ノート:
Oracle Big Data SQLがHadoopクラスタ管理サーバーにインストールされた後、<Big Data SQL Install directory>/BDSjaguar
ディレクトリにある構成ファイルで、様々なパラメータの組合せを示す例を確認できます。example-bda-config.json
example-cdh-config.json
example-kerberos-config.json
example-localrepos-config.json
example-subnetwork-config.json
example-unsecure-config.json
example-cdh-config.json
で使用可能なすべてのパラメータ・オプションを参照できます。
関連項目:
クライアントのtarballのダウンロードを設定する際に役立つ提案は、付録ローカル・リポジトリ用のHadoop、HiveおよびHBaseクライアントの適切なバージョンのダウンロードを参照してください。Jaguar操作
次の表は、Oracle Big Data SQLインストールのHadoop側でJaguarユーティリティによって実行される一連の操作を示しています。
Jaguarコマンドの一般的な構文は次のとおりです。--requestdb
パラメータは、すべてのJaguarコマンドに適用されるわけではありません。
# ./jaguar {--requestdb <comma-separated database names> | NULL } <action> { bds-config.json | <myfilename>.json | NULL }
例:
# ./jaguar install
# ./jaguar install bds-config.json
# ./jaguar install mycustomconfig.json
# ./jaguar --requestdb orcl,testdb,proddb install
# ./jaguar --requestdb orcl install
# ./jaguar sync_principals
デフォルトのbds-config.json
または独自の構成ファイルを使用することも、構成ファイル引数を省略することもできます(デフォルトでbds-config.json
に設定されます)。
--requestdbについて:
--requestdb
パラメータは、databasereq
コマンドには必須、install
およびreconfigure
にはオプション、他のJaguarコマンドには適用できません。このパラメータは、Hadoopクラスタとデータベース間の接続でデータベース認証を有効にするために、これらの操作のいずれかに渡す必要があります。データベース認証を無効にする場合を除き、初期install
操作で--requestdb
を含めることをお薦めします。それ以外の場合、リクエスト・キーを生成するために、後で追加のステップを実行する必要があります。
このパラメータは、構成でデータベース認証(database_auth_enabled
)がtrue
に設定されているときにのみ機能します。(この設定は、構成のデフォルトであり、構成ファイルに明示的に設定する必要はありません。)
Jaguarでは、データベースごとに一意の.reqkey
(リクエスト・キー)ファイルを生成するためにデータベース名が必要です。インストール時にdatabase_auth_enabled
をtrue
に設定しても、--requestdb
パラメータは引き続きオプションです。インストール後、reconfigure
およびdatabasereq
操作を使用してリクエスト・キーを送信する同じオプションがあります。データベース認証は、次のすべての操作を実行するまで実装されません。
-
database_auth_enabled
が構成ファイルに存在しないか、またはtrue
に設定されていることを確認します。(デフォルトではtrue
です。) -
Jaguarコマンドに
--requestdb
を含めます。-
Jaguarの
install
またはreconfigure
を実行し、更新されたデータベース側のインストール・バンドルをインストールします。 -
Jaguarの
databasereq
を実行して、既存のデータベース側のインストールから確認応答キーを生成します。
-
-
.ackkeyファイルが含まれている生成したZIPファイルをデータベース側のインストール・ディレクトリからHadoopクラスタ管理サーバー上の
/opt/oracle/DM/databases/conf
にコピーします。 -
次の表に示すように、Jaguarの
databaseack
コマンドを実行します。
次の表は、使用可能なJaguarコマンドを示しています。
表2-2 Jaguar操作
Jaguar操作 | --requestdbをサポートするか | 使用方法と例 |
---|---|---|
install
--requestdb<comma-separated database list> |
はい |
構成ファイルに指定されたHadoopクラスタにOracle Big Data SQLをインストールし、構成ファイルに含まれているパラメータ(または構成ファイルに値が明示的に割り当てられていないパラメータのデフォルト値)に基づいてデータベース側のインストール・バンドルを作成します。例:
前述の例には、構成ファイルのパラメータは含まれていません。 ノート: 必要に応じて、
Oracle Linux 6およびOracle Linux 7が実行されているBig Data Applianceクラスタでは、Jaguarの適切なPythonバージョンをコールするためにsclは必要ありません。 |
reconfigure |
はい |
構成ファイル(
|
databasereq |
はい |
このコマンドを使用すると、Hadoop側のインストールを繰り返すことなく、あるいは
|
databaseack |
いいえ |
データベース確認応答プロセスでは、HadoopクラスタでのOracle Big Data SQLインストールに対し、構成ファイルで有効にしたセキュリティ機能がデータベース側のインストールに正常に実装されたことを確認できます。次に、Hadoopクラスタ側で選択されたセキュリティ機能の実装を完了します。
構成ファイルでこれらのパラメータのいずれかを
これらのいずれの機能も
データベース側のインストールが完了した後、このzipアーカイブをHadoopクラスタ管理サーバー上の |
sync_principals |
該当なし |
クラスタ・ノード上で実行されているKDCからプリンシパルのリストを取得し、それを使用して問合せサーバーの外部で識別されたデータベース・ユーザーを作成します。Jaguarの |
--object-store-http-proxy |
該当なし | オブジェクト・ストアへのアクセスには、構成ファイルに設定されているものとは異なるプロキシを指定します。 |
--object-store-no-proxy |
該当なし | no_proxy値を設定し、構成ファイルに設定されている可能性のあるno_proxy 値をオーバーライドします。
|
uninstall |
該当なし |
HadoopクラスタのOracle Big Data SQLをアンインストールします。 アンインストール・プロセスは、すべてのHadoopクラスタ・ノードで |
ノート:
Hadoop側でOracle Big Data SQLがアンインストールされた場合、データベース側で処理中のHadoopデータに対する問合せは失敗します。ソフトウェアのHadoopコンポーネントをアンインストールしたらすぐに、すべてのデータベース・システムからOracle Big Data SQLをアンインストールすることをお薦めします。2.4 Hadoopクラスタでのインストール・ステップ
要件に従ってJaguar構成ファイルを設定した後、次のステップに従って、Jaguarインストーラを実行します。HadoopクラスタにOracle Big Data SQLがインストールされ、データベース側のインストール・バンドルが生成されるので、これをOracle Databaseシステムにデプロイします。次のステップでは、bds-config.json
はJaguarに渡される構成ファイル名です。これはデフォルトです。どのファイル名でも受け入れられるため、クラスタごとにインストール用の構成ファイルを個別に作成して、別々のファイルとして保存できます。
ノート:
JaguarではPython 2.7を3.0にする必要があります。現時点では、3.0より後のバージョンはOracle Big Data SQLではサポートされていません。必要に応じて、2つ目のインストールとしてPythonのJaguar互換バージョンを追加できます。詳細は、「概要」の前提条件の項で再確認してください。Oracle Big Data Applianceを使用している場合は、MammothがインストールされたPythonリリースを上書きしないでください。-
root
としてクラスタ管理サーバー・ノードにログオンし、ダウンロードしたOracle Big Data SQLインストール・バンドルを抽出したディレクトリに移動します。 -
このバンドルを解凍した場所のパスの下にある
BDSJaguar
サブディレクトリに移動します。# cd <Big Data SQL Install Directory>/BDSJaguar
-
bds-config.json
ファイルを編集します。{ "cluster": { "name": "<Your cluster name>" } }
このインストールで使用するパラメータを追加します。
関連項目:
クラスタ名は唯一の必須パラメータですが、構成管理サービスが複数のクラスタを管理する必要がある環境でのみ必要です。使用可能なすべてのパラメータの説明は、「Jaguar構成パラメータおよびコマンド・リファレンス」を参照してください。使用可能なすべてのパラメータが入力されている
bds-config.json
ファイルの例については、bds-config.jsonの構成例を参照してください。BDSJaguarディレクトリで、Jaguarの
install
操作を実行します。install
パラメータおよび構成ファイル名(bds-config.json
が暗黙のデフォルト)を引数としてJaguarコマンドに渡します。--requestdb
オプションを含める必要がある場合もあれば、そうでない場合もあります。[root@myclusteradminserver:BDSjaguar] # ./jaguar install <config file name>
ノート:
デフォルトでは、構成ファイルでdatabase_auth_enabled
をfalseに設定した場合を除き、データベース認証はtrueに設定されます。データベース認証を有効にする場合は、インストール操作の一環として、または後で、リクエスト・キーを生成します。これは、認証プロセスで使用されるGUID/キー・ペアの一方の部分です。このキーを生成するには、Jaguarのinstall
コマンドラインに--requestdb
パラメータを含めます。[root@myclusteradminserver:BDSjaguar] # ./jaguar --requestdb mydb install
database_auth_enabled
をtrueにした状態でインストールを実行した場合は、データベース側のインストール後、Jaguarのdatabasereq
コマンドを使用してキーを生成できます。この他にいくつかのJaguarコマンドでも、--requestdb
パラメータにそれらを渡した場合には、リクエスト・キーを生成できます。Jaguarにより、クラスタ管理サービスの管理者資格証明の入力を求められた後、Oracle Big Data SQLがHadoopクラスタ全体にインストールされます。また、
db-bundles
サブディレクトリにデータベース側のインストール・バンドルを生成します。インストールがエラーなしで完了した場合は、次のメッセージが返されます。BigDataSQL: INSTALL workflow completed.
-
データベース側のインストール・バンドルの有無を確認します。
# ls
<Big Data SQL Install Directory>/BDSJaguar/db-bundles
bds-4.1.1-db-<cluster>-<yymmdd.hhmi>.zipこのバンドルは、Oracle Databaseと
bds-config.json
(または他の)構成ファイルに定義されている特定のクラスタとの間にOracle Big Data SQL接続を設定するためのものです。これには、オプションのデータベース・リクエスト・キー・ファイルを除き、必要なすべてのパッケージおよび設定ファイルが含まれています。インストール・コマンドに--requestdb
を含めた場合には、dbkeys
サブディレクトリの下に1つ以上のデータベース・リクエスト・キー・ファイルも生成されます。このキーが存在することを確認する必要があります。# ls
<Big Data SQL Install Directory>/BDSJaguar/dbkeys
cluster1db.reqkey
これで、HadoopクラスタでのOracle Big Data SQLのインストールが完了します。
関連項目:
- Oracle Big Data SQLユーザーズ・ガイドの問合せサーバーの使用。問合せサーバーのインストールを選択した場合は、接続してすぐに使用を開始できます。これは、インストールのOracle Database側の完了には依存しません。
- このガイドのインストール後のタスク。説明されているほとんどのタスクは、Hadoopシステムで実行します。Oracle Databaseシステムでのインストールの後半に進む前に、それらのタスクを完了することもできます。それらはすべてオプションです。
次の作業
JaguarがHadoopクラスタにOracle Big Data SQLを正常にインストールしたら、インストールの前半は完了です。次のステップは、Hadoopクラスタ上のデータに対する問合せを実行するOracle DatabaseシステムにOracle Big Data SQLをインストールすることです。
このためには、Oracle Databaseシステムの任意の場所にデータベース側のインストール・バンドルをコピーします。構成ファイルでdatabase_auth_enabled
をfalse
に設定している場合を除き、Jaguarによって生成された.reqkey
ファイルもコピーします。
ヒント:
データベースにリクエスト・キーを1回送信するだけです。同一のデータベースへのすべてのHadoopクラスタ接続に対して単一のリクエスト・キーが有効です。インストールをすでに完了して、1つのHadoopクラスタを特定のデータベースに接続している場合は、データベースにキーが永続的に存在しているため、後続のクラスタ・インストールでそれを再度生成したり、データベースに再度コピーする必要はありません。バンドルの解凍およびソフトウェアのデータベース側コンポーネントのインストールの手順については、「Oracle Database側のOracle Big Data SQLのインストールまたはアップグレード」に移動してください。
関連項目:
正常終了したインストールからの完全な標準出力の例は、Oracle Big Data SQLインストールの例を参照してください。