はじめに

『Oracle Big Data SQLユーザーズ・ガイド』では、Oracle Big Data SQL製品の使用方法と管理方法について説明します。

対象読者

このガイドは、次に示すようにOracle Big Data SQLの管理者およびユーザーを対象としています。

アプリケーション開発者
データ・アナリスト
データ科学者
データベース管理者
システム管理者

このマニュアルでは、手順を正しく行うために、読者がデータベース・サーバーおよびこのソフトウェアをホストする特定のHadoopプラットフォームに関する十分な知識を備えていることを前提としています。

表記規則

このマニュアルでは次の表記規則を使用します。

規則	意味
太字	太字は、操作に関連するGraphical User Interface要素、または本文中で定義されている用語および用語集に記載されている用語を示します。
イタリック	イタリックは、ユーザーが特定の値を指定するプレースホルダ変数を示します。
`固定幅フォント`	固定幅フォントは、段落内のコマンド、URL、サンプル内のコード、画面に表示されるテキスト、または入力するテキストを示します。
`#`プロンプト	ナンバー記号(`#`)プロンプトは、Linux `root`ユーザーとして実行されるコマンドを示します。

バッカス・ナウア記法の構文

このリファレンスの構文は、次の記号と表記規則を使用するバッカスナウア記法(BNF)の単純なバリエーションで示されます。

記号または表記規則	説明
[ ]	大カッコは、オプション項目を囲みます。
{ }	中カッコは、選択項目を囲み、そのうち1つのみが必須です。
\|	縦線は、大カッコまたは中カッコ内の代替項目を区切ります。
...	省略記号は、先行する構文要素を反復できることを示します。
デリミタ	大カッコ、中カッコおよび縦線以外のデリミタは、記載されているとおりに入力する必要があります。
太字	太字で示されている語は、キーワードです。それらは記載されているとおりに入力する必要があります。(キーワードは、一部のオペレーティング・システムでは大/小文字の区別があります。)太字ではない語は、名前または値に置換する必要があるプレースホルダです。

Oracle Big Data SQL 3.1での変更点

Oracle Big Data SQLリリース3.1の変更点は次のとおりです。

拡張されたデプロイメント

リリース3.1では、Oracle Engineered Systemsとコモディティ・サーバー間のOracle Big Data SQL接続のサポートが拡大されています。

Oracle Big Data SQLの旧リリースでは、次のOracle Database/Hadoop接続が可能です。

Oracle Exadata Database MachineからOracle Big Data Applianceへの接続。
コモディティ・サーバー上のOracle DatabaseからコモディティHadoopシステムへの接続。

リリース3.1現在、Oracle Big Data SQLでは、次のOracle Database/Hadoopシステムの接続がすべてサポートされます。

コモディティ・サーバー上のOracle DatabaseからOracle Big Data Applianceへの接続。
コモディティ・サーバー上のOracle DatabaseからコモディティHadoopシステムへの接続。
Oracle Exadata Database MachineからOracle Big Data Applianceへの接続。
Oracle Exadata Database MachineからコモディティHadoopシステムへの接続。

"コモディティ・サーバー上のOracle Database"という語句は、Oracle Databaseプラットフォームとして公式にサポートされているExadata以外のLinuxシステムを指します。"コモディティHadoopシステム"という語句は、Hortonworks HDPシステム、またはOracle Big Data Appliance以外のCloudera CDHベースのシステムを指します。すべての場合で、Oracle DatabaseサーバーおよびHadoopシステムは、『Oracle Big Data SQL Master Compatibility Matrix』 (My Oracle SupportのドキュメントID 2119369.1)で規定されている前提条件を満たす必要があります。

Oracle SPARC SuperClusterサポート

リリース3.1ではOracle SPARC SuperClusterがサポートされますが、次のような特定の制約があります。

BDA (およびコモディティHadoopシステム)とSPARC SuperCluster間のイーサネット接続はサポートされません。
HDFS内のOracle Database表領域(Smart Scanテクノロジ使用)は、このプラットフォームではサポートされません。

Exadata Database Machineへの接続のためのイーサネット・オプション

Oracle Big Data ApplianceとOracle Exadata Databaseのどのような目的に対しても好ましい接続方法は、インフィニバンドを使用した接続です。旧リリースのOracle Big Data SQLでは、このような接続にインフィニバンドを必要とします。リリース3.1では、Exadata Database MachineとOracle Big Data Appliance間でイーサネット・ネットワークがサポートされるようになりました。これにより、この2つのエンジニアド・システムが互いに地理的に離れている場合など、インフィニバンドが使用できない環境でOracle Big Data SQLをこの2つのシステムとともに使用できます。

また、リリース3.1を使用すると、コモディティHadoopシステムとOracle Exadata Database Machine間でイーサネット接続が可能になります。

コモディティHadoopシステムとコモディティOracle Databaseサーバー間のOracle Big Data SQL接続は、旧リリース全体を通してイーサネットに基づいています。

現時点で、Oracle Big Data Appliance (またはコモディティHadoopシステム)とOracle SPARC SuperCluster間のイーサネット接続はサポートされません。

Oracle Databaseサーバーでの簡略化されたデプロイメント - Oracle Grid Infrastructureのオプション化

旧リリースのOracle Big Data SQLでは、Oracle Grid Infrastructureは、Oracle RACシステムに属さないスタンドアロン・サーバーを含め、すべてのOracle Databaseサーバーのインストールにおける前提条件です。リリース3.1では、Oracle Grid Infrastructureが存在しないサーバーにOracle Big Data SQLをインストールすることも選択できます。このような場合、インストーラによってOracle Databaseの再起動を必要とする構成ファイルの変更が行われます。

Oracle Big Data SQLインストーラの統一されたプラットフォームのサポート

Oracle Big Data SQLの旧リリースでは、Oracle Engineered Systems用とコモディティ・サーバー用にそれぞれ別々の2つのインストール手順があります。リリース3.1では、OracleプラットフォームとOracle以外のプラットフォームの両方に対して同じインストール・プロセスを使用します。これはメンテナンスの場合も同様です。サポートされているHadoop/Oracle Databaseの組合せ全部について、HadoopクラスタまたはOracle Databaseサーバーに対する変更がある場合、Oracle Big Data SQL構成を更新するための統一された一連の手順があります。

ILMを簡略化する新機能 - HDFS内のOracle Database表領域(Smart Scan テクノロジ使用)

Hadoopを使用して読取り専用のOracle Database表領域を格納するように、Oracle Database ILM (情報ライフサイクル管理)を拡張できるようになりました。Oracle DatabaseからHDFSに表領域を移動する際、表、パーティションおよびデータは、元のOracle Database内部形式を維持し、引き続き問合せでアクセスでき、次のようなOracle Databaseのパフォーマンス最適化機能とセキュリティ機能をすべてサポートします。

Smart Scan for HDFS: HadoopクラスタでのOracle Big Data SQLに対する問合せ処理のオフロードを可能にします。Smart Scanにより、Oracle Databaseにデータを返す前に、Hadoopで問合せ結果のフィルタリングもできます。ほとんどの場合、これはかなりのパフォーマンスの最適化となります。索引付け、ハイブリッド列圧縮、パーティション・プルーニングおよびOracle Databaseインメモリーもサポートされます。
Oracle Advanced Security Option (ASO)の透過的暗号化およびデータ・リダクション。

HDFSに格納される表領域は読取り専用であるため、このストレージはデータ・アーカイブに最適です。

詳細は、『Oracle Big Data SQLユーザーズ・ガイド』の3.2項を参照してください。

Oracle Shell for Hadoop Loaders 1.2の拡張機能

Oracle Shell for Hadoop Loaders (OHSH)は、データ移行のための直感的なコマンドライン・ツールです。Hive、HDFSまたはOracle Databaseに接続するようにリソースを設定し、統一されたOHSHインタフェースからこれらのデータ・ソースそれぞれにアクセスできます。OHSHは、Copy to Hadoopを使用するための手段の1つです。Copy to Hadoopユーザーは、OTNからOHSHをダウンロードできます。

OHSH 1.2には、次の変更点があります。

$HOME/.ohshシャドウ・ディレクトリでのロード操作のオンディスク・ロギング。
ロード・コマンドの実行時の出力を最小限に抑える機能。(set outputlevelについては、helpコマンドを参照してください。)
oracleユーザーのスキーマ内で存続しないOracle表からのHive表のロード。
OHSHによるウォレットおよびTNSの使用は、環境変数WALLET_LOCATIONおよびTNS_ADMINの設定に基づきます。set tnsadminコマンドとset walletlocationコマンドは、サポートされなくなりました。

また、%hive0リソースを作成するために、HIVE0_URLをリモートHiveServer2の完全修飾URLに設定しなくなりました。OHSH 1.2では、HiveServer2の<hostname>:<port>ペアである環境変数HS2_HOST_PORTをbin/ohshで設定します。

Copy To Hadoopの拡張

新しいメソッドdirectcopyがCopy to Hadoopに追加されました。

これは、Oracle DatabaseからHDFSにデータを直接コピーする単一ステップのメソッドです。詳細は、『Oracle Big Data SQLユーザーズ・ガイド』の「Copy to Hadoopを使用した直接コピーの実行」を参照してください。

アクセスの付与 – ユーザーに対するBDSQL_USERロールの要件の追加

Oracle Big Data SQLリリース以前は、すべてのユーザーにBig Data SQLアクセスが暗黙的に付与されました。リリース3.1では、BDSQL_USERロールが追加されました。Oracle Big Data SQLアクセスを必要とするユーザーには、このロールを明示的に付与する必要があります。

また、BigDataSQL構成ディレクトリ・オブジェクト上で読取り権限も付与する必要があるようになりました。

たとえば、user1にアクセスを付与するには、次のようにします。

SQL> grant BDSQL_USER to user1; 
SQL> grant read on directory ORACLE_BIGDATA_CONFIG to user1;

『Oracle Big Data SQLインストレーション・ガイド』に移動されたインストール手順

『Oracle Big Data SQLインストレーション・ガイド』に、このソフトウェアのインストールおよびアンインストールの手順が記載されています。Oracle Big Data Appliance 3.1より前のリリースでは、インストール手順はユーザーズ・ガイドに記載されています。

以前のリリースの変更履歴

製品の以前のバージョンの変更は次のとおりです。

Oracle Big Data SQL 3.0.1での変更点

Oracle Big Data SQLリリース3.0.1の変更点は次のとおりです。

Oracle Big Data ApplianceおよびExadata Database Machineを引き続きサポートすることに加え、リリース3.0.1では、Big Data SQLのOracle Engineered Systems以外のプラットフォームのサポートがさらに向上しています。これらには現在、Big Data Appliance以外のコモディティ・ハードウェア上で動作するHortonworks Data Platform (HDP)およびCloudera's Distribution Including Apache Hadoop (CDH)が含まれます。ここでは、これらのHadoopシステムがExadata以外のサーバーで実行されるOracle Databaseと組み合せて使用されます。

新しいCDHおよびHDPプラットフォームのサポート

Oracle Big Data SQL 3.0.1は、Hortonworks Hadoop Data Platform (HDP) 2.3 – 2.4.xおよびCloudera's Distribution Including Apache Hadoop (CDH) 5.4.7 – 5.7上で実行します。CDH 5.4.7サポートには、コモディティCDHシステムとOracle Big Data Appliance 4.3の両方が含まれます。

インストール自動化の改善

HDPおよびCDHでのインストールで、以降のリストアのために、YARNリソース管理構成を自動保存できるようになりました。

oracleユーザーおよびoinstallグループの設定が、インストール・プログラムによって管理されるようになりました。

HDPおよびCDHの統一されたアンインストール手順

HDPおよびCDHの両システムでのアンインストール手順が同じになりました。

HDPおよびCDHの他の変更点

デフォルトのJDKがjdk-8u66-linux-x64にアップグレードされています
bds-database-create-bundle.shに、デフォルト以外のJDKを指定するための新しい--jdk-tar-pathパラメータが含められています。
bds-database-install.shに次の新しいパラメータが含められています。
- --cell-config-dir
- --root-script-only
cellinit.oraファイルが存在しないまたは空の場合、インストール・プロセスで新しいファイルが作成および移入されるようになりました。

Oracle Shell for Hadoop Loaders

Oracle Shell for Hadoop Loadersは、Copy to Hadoop、Oracle Loader for HadoopおよびOracle SQL Connector for HDFSに簡単に使用できるコマンドライン・インタフェースを提供するヘルパー・シェルです。

Oracle Big Data Appliance 4.5のサポート

Oracle Big Data SQLリリース3.0.1は、Oracle Big Data Appliance 4.5でのmammothインストール・オプションです。mammothインストール後にbdacliユーティリティを使用して、Oracle Big Data SQLリリース3.0.1をいつでも有効にすることもできます。

注意:

リリース3.0.1では、Oracle Big Data SQLはまだOracle Big Data Applianceと非Exadata Oracle Databaseサーバーとの間、または非Big Data Appliance HadoopシステムとExadata Database Machineとの間の接続をサポートしていません。

Oracle Big Data SQL 3.0での変更点

Oracle Big Data SQL 3.0での重要な変更には、Oracle Big Data Appliance/Oracle Exadata Database Machineのインストールに加え、非Oracleサーバーのサポートの拡大がありました。このリリースで追加されたもう1つの機能に述語のプッシュダウンがありました。

Oracle Engineered Systems以外のサーバーのサポート

リリース3.0以前は、Oracle Big Data SQLはOracle Engineered Systemsのみをサポートしていました。特に、Oracle Big Data Appliance (Hadoop側)およびOracle Exadata Database Machine (データベース・サーバー側)です。リリース3.0の時点で、Oracle Big Data SQLは、Oracle Big Data Appliance以外のHortonworks Hadoop Data Platform上およびCloudera's Distribution Including Apache Hadoop (CDH)システム上でも動作します。

またBig Data SQLは、Oracle Exadata Database Machine以外のサーバー上で実行するOracle Databaseもサポートするようになりました。

述語のプッシュダウン

Big Data SQL 3.0は、SARGable (Search ARGument ABLE)述語をOracle Databaseからサポート・システムにプッシュすることで、述語のオフロード・サポートを利用しています。