Oracle Big Data SQL Query Serverについて

5.1 Oracle Big Data SQL Query Serverについて

Oracle Big Data SQL Query Serverは、オプションでOracle Big Data SQLのコンポーネントとしてHadoopクラスタ内のエッジ・ノードにインストールできるOracle Databaseインスタンスです。問合せサーバーは、主として、Oracle外部表を使用してクラスタ(HDFS形式およびHive形式)またはオブジェクト・ストアに格納されているデータを問い合せるために使用します。これにより、Oracle Databaseによって提供されるSQL機能を全面的に利用できます。

外部表を定義するには、ORACLE_HDFSおよびORACLE_HIVEまたはORACLE_BIGDATAアクセス・ドライバを使用するか、Hiveメタストアのメタデータに基づいて問合せサーバーが外部表を自動的に定義するようにします。後者の場合、HiveデータベースはOracle Databaseスキーマにマップされ、対応するHive表はそれらのスキーマにOracle外部表として定義されます。すべてのデータ認可は、Apache SentryまたはHDFSアクセス制御リスト(ACL)などのHadoopの認可ルールに基づいています。

問合せサーバーをインストールすると、Oracle Databaseのデプロイメントが提供されて、SQLを使用してHadoopクラスタ内のデータを問い合せるように自動的に構成されます。問合せサーバーを再起動すると、データベースがクリーンな状態に復元されるため、管理オーバーヘッドが排除されます。再起動すると、外部表(ORACLE_HIVE、ORACLE_HDFSおよびORACLE_BIGDATAタイプ)、関連する統計、ユーザー定義ビューおよび資格証明が保持されます。再起動により、ユーザー・データが含まれている標準の表が削除されます。

高可用性(HA)、高度なOracleセキュリティ・ポリシー、またはOracle Database内のデータとHadoop内のデータとの組合せを必要とするソリューションの場合、完全なOracle DatabaseをBig Data SQLとともに使用する必要があります。単一のHadoopデプロイメントで、問合せサーバーとBig Data SQL対応Oracle Databaseの両方を使用できます。

問合せサーバーをインストールするには、bds-config.json構成ファイルにHadoopクラスタ内の既存のエッジ・ノードを指定する必要があります。この同じ構成ファイルは、Hiveデータベースのリストを指定する場合にも使用します。問合せサーバーがHiveメタストア・データベースの表に対応するOracle外部表を自動的に作成するため、インストールが完了したら、それらの表にいつでも問合せができるようになります。問合せサーバーの外部表セットは、対応するHiveメタストア表で自動的に最新の状態に保たれるようになります。そのためには、Cloudera ManagerまたはApache Ambariクラスタ管理ソフトウェアで「Restart this Big Data SQL Query Server」コマンドまたは「Synchronize Hive Databases」コマンドを実行します。また、dbms_bdsqs.sync_hive_databases PL/SQL APIパッケージ・プロシージャを使用することもできます。SYNC_HIVE_DATABASESを参照してください。

5.1.1 問合せサーバーの機能

Big Data SQL問合せサーバーは、自動インストールと構成、Hadoopクラスタ・マネージャとの統合、およびクラスタ・メタデータの自動統合を提供します。

自動インストールと構成: bds-config.json構成ファイルにHadoopクラスタの既存のターゲット・エッジ・ノードを指定した場合、Oracle Big Data SQLインストーラは自動的に問合せサーバーをインストールおよび構成します。問合せサーバーをインストールするエッジ・ノードを指定するには、次の例のように、edgedbパラメータ、ノードおよび有効な属性をbds-config.json構成ファイルに追加します。ここで、<edgenode_host_name>はエッジ・ノードの名前です。
```
"edgedb": {
        "node" : "dbnode.domain.com",  
        "enabled" : "true",  
        "sync_hive_db_list" : "my_hive_db_1,my_hive_db2"  
    }
```
ノート:
bds-config.json構成ファイルにedgedbサブセクションが含まれていない場合、問合せサーバーはインストールされません。

関連項目:
Oracle Big Data SQLインストレーション・ガイドのbds-config.jsonの構成例に、完全に移入されたbds-config.jsonファイルが示されています。この例には、使用可能なすべての構成パラメータが含まれています。
Hadoopクラスタ・マネージャとの統合: Cloudera ManagerまたはApache Ambari Hadoopクラスタ管理ツールを使用して、問合せサーバーをサービスとしてモニターおよび管理できます。
Hiveとの同期化: Oracle Big Dataサービスを起動すると、問合せサーバーはHiveメタストアにある自身のメタデータを自動的にリフレッシュします。最初のリフレッシュの後、ユーザーは問合せサーバーとHiveメタストア内の最新のメタデータを同期化できます。