はじめに

『Oracle Big Data SQLユーザーズ・ガイド』では、Oracle Big Data SQL製品のインストール方法と管理方法について説明します。

対象読者

このガイドは、次に示すようにOracle Big Data SQLをインストールおよび使用する人を対象としています。

アプリケーション開発者
データ・アナリスト
データ科学者
データベース管理者
システム管理者

このマニュアルでは、手順を正しく行うために、読者がデータベース・サーバーおよびこのソフトウェアをホストする特定のHadoopプラットフォームに関する十分な知識を備えていることを前提としています。

表記規則

このマニュアルでは次の表記規則を使用します。

規則	意味
太字	太字は、操作に関連するGraphical User Interface要素、または本文中で定義されている用語および用語集に記載されている用語を示します。
イタリック	イタリックは、ユーザーが特定の値を指定するプレースホルダ変数を示します。
`固定幅フォント`	固定幅フォントは、段落内のコマンド、URL、サンプル内のコード、画面に表示されるテキスト、または入力するテキストを示します。
`#`プロンプト	ナンバー記号(`#`)プロンプトは、Linux `root`ユーザーとして実行されるコマンドを示します。

バッカス・ナウア記法の構文

このリファレンスの構文は、次の記号と表記規則を使用するバッカスナウア記法(BNF)の単純なバリエーションで示されます。

記号または表記規則	説明
[ ]	大カッコは、オプション項目を囲みます。
{ }	中カッコは、選択項目を囲み、そのうち1つのみが必須です。
\|	縦線は、大カッコまたは中カッコ内の代替項目を区切ります。
...	省略記号は、先行する構文要素を反復できることを示します。
デリミタ	大カッコ、中カッコおよび縦線以外のデリミタは、記載されているとおりに入力する必要があります。
太字	太字で示されている語は、キーワードです。それらは記載されているとおりに入力する必要があります。(キーワードは、一部のオペレーティング・システムでは大/小文字の区別があります。)太字ではない語は、名前または値に置換する必要があるプレースホルダです。

Oracle Big Data SQL 3.1での変更点

Oracle Big Data SQLリリース3.1の変更点は次のとおりです。

拡張されたデプロイメント

リリース3.1では、Oracle Engineered Systemsとコモディティ・サーバー間のOracle Big Data SQL接続のサポートが拡大されています。

Oracle Big Data SQLの旧リリースでは、次のOracle Database/Hadoop接続が可能です。

Oracle Exadata Database MachineからOracle Big Data Applianceへの接続。
コモディティ・サーバー上のOracle DatabaseからコモディティHadoopシステムへの接続。

リリース3.1現在、Oracle Big Data SQLでは、次のOracle Database/Hadoopシステムの接続がすべてサポートされます。

コモディティ・サーバー上のOracle DatabaseからOracle Big Data Applianceへの接続。
コモディティ・サーバー上のOracle DatabaseからコモディティHadoopシステムへの接続。
Oracle Exadata Database MachineからOracle Big Data Applianceへの接続。
Oracle Exadata Database MachineからコモディティHadoopシステムへの接続。

"コモディティ・サーバー上のOracle Database"という語句は、Oracle Databaseプラットフォームとして公式にサポートされているExadata以外のLinuxシステムを指します。"コモディティHadoopシステム"という語句は、Hortonworks HDPシステム、またはOracle Big Data Appliance以外のCloudera CDHベースのシステムを指します。すべての場合で、Oracle DatabaseサーバーおよびHadoopシステムは、『Oracle Big Data SQL Master Compatibility Matrix』 (My Oracle SupportのドキュメントID 2119369.1)で規定されている前提条件を満たす必要があります。

Oracle SPARC SuperClusterのサポート

リリース3.1では、Oracle SPARC SuperClusterがサポートされますが、次のような特定の制約があります。

BDA (およびコモディティHadoopシステム)とSPARC SuperCluster間のイーサネット接続はサポートされません。
HDFS内のOracle Database表領域(Smart Scanテクノロジ使用)は、このプラットフォームではサポートされません。

Exadata Database Machineへの接続のためのイーサネット・オプション

Oracle Big Data ApplianceとOracle Exadata Databaseのどのような目的に対しても好ましい接続方法は、インフィニバンドを使用した接続です。旧リリースのOracle Big Data SQLでは、このような接続にインフィニバンドを必要とします。リリース3.1では、Exadata Database MachineとOracle Big Data Appliance間でイーサネット・ネットワークがサポートされるようになりました。これにより、この2つのエンジニアド・システムが互いに地理的に離れている場合など、インフィニバンドが使用できない環境でOracle Big Data SQLをこの2つのシステムとともに使用できます。

また、リリース3.1を使用すると、コモディティHadoopシステムとOracle Exadata Database Machine間でイーサネット接続が可能になります。

コモディティHadoopシステムとコモディティOracle Databaseサーバー間のOracle Big Data SQL接続は、旧リリース全体を通してイーサネットに基づいています。

現時点で、Oracle Big Data Appliance (またはコモディティHadoopシステム)とOracle SPARC SuperCluster間のイーサネット接続はサポートされません。

Oracle Databaseサーバーでの簡略化されたデプロイメント - Oracle Grid Infrastructureのオプション化

旧リリースのOracle Big Data SQLでは、Oracle Grid Infrastructureは、Oracle RACシステムに属さないスタンドアロン・サーバーを含め、すべてのOracle Databaseサーバーのインストールにおける前提条件です。リリース3.1では、Oracle Grid Infrastructureが存在しないサーバーにOracle Big Data SQLをインストールすることも選択できます。このような場合、インストーラによってOracle Databaseの再起動を必要とする構成ファイルの変更が行われます。

Oracle Big Data SQLインストーラの統一されたプラットフォームのサポート

Oracle Big Data SQLの旧リリースでは、Oracle Engineered Systems用とコモディティ・サーバー用にそれぞれ別々の2つのインストール手順があります。リリース3.1では、OracleプラットフォームとOracle以外のプラットフォームの両方に対して同じインストール・プロセスを使用します。これはメンテナンスの場合も同様です。サポートされているHadoop/Oracle Databaseの組合せ全部について、HadoopクラスタまたはOracle Databaseサーバーに対する変更がある場合、Oracle Big Data SQL構成を更新するための統一された一連の手順があります。

ILMを簡略化する新機能 - HDFS内のOracle Database表領域(Smart Scan テクノロジ使用)

Hadoopを使用して読取り専用のOracle Database表領域を格納するように、Oracle Database ILM (情報ライフサイクル管理)を拡張できるようになりました。Oracle DatabaseからHDFSに表領域を移動する際、表、パーティションおよびデータは、元のOracle Database内部形式を維持し、引き続き問合せでアクセスでき、次のようなOracle Databaseのパフォーマンス最適化機能とセキュリティ機能をすべてサポートします。

Smart Scan for HDFS: HadoopクラスタでのOracle Big Data SQLに対する問合せ処理のオフロードを可能にします。Smart Scanにより、Oracle Databaseにデータを返す前に、Hadoopで問合せ結果のフィルタリングもできます。ほとんどの場合、これはかなりのパフォーマンスの最適化となります。索引付け、ハイブリッド列圧縮、パーティション・プルーニングおよびOracle Databaseインメモリーもサポートされます。
Oracle Advanced Security Option (ASO)の透過的暗号化およびデータ・リダクション。

HDFSに格納される表領域は読取り専用であるため、このストレージはデータ・アーカイブに最適です。

詳細は、『Oracle Big Data SQLユーザーズ・ガイド』の3.2項を参照してください。

Oracle Shell for Hadoop Loaders 1.2の拡張機能

Oracle Shell for Hadoop Loaders (OHSH)は、データ移行のための直感的なコマンドライン・ツールです。Hive、HDFSまたはOracle Databaseに接続するようにリソースを設定し、統一されたOHSHインタフェースからこれらのデータ・ソースそれぞれにアクセスできます。OHSHは、Copy to Hadoopを使用するための手段の1つです。Copy to Hadoopユーザーは、OTNからOHSHをダウンロードできます。

OHSH 1.2には、次の変更点があります。

$HOME/.ohshシャドウ・ディレクトリでのロード操作のオンディスク・ロギング。
ロード・コマンドの実行時の出力を最小限に抑える機能。(set outputlevelについては、helpコマンドを参照してください。)
oracleユーザーのスキーマ内で存続しないOracle表からのHive表のロード。
OHSHによるウォレットおよびTNSの使用は、環境変数WALLET_LOCATIONおよびTNS_ADMINの設定に基づきます。set tnsadminコマンドとset walletlocationコマンドは、サポートされなくなりました。

また、%hive0リソースを作成するために、HIVE0_URLをリモートHiveServer2の完全修飾URLに設定しなくなりました。OHSH 1.2では、HiveServer2の<hostname>:<port>ペアである環境変数HS2_HOST_PORTをbin/ohshで設定します。

Copy To Hadoopの拡張

新しいメソッドdirectcopyがCopy to Hadoopに追加されました。

これは、Oracle DatabaseからHDFSにデータを直接コピーする単一ステップのメソッドです。詳細は、『Oracle Big Data SQLユーザーズ・ガイド』の「Copy to Hadoopを使用した直接コピーの実行」を参照してください。

アクセスの付与 – BDSQL_USERロール要件の追加

以前のOracle Big Data SQLリリースでは、すべてのユーザーにBig Data SQLアクセスが暗黙的に付与されていました。リリース3.1では、BDSQL_USERロールが導入されました。Oracle Big Data SQLアクセスを必要とするユーザーには、このロールを明示的に付与する必要があります。

また、BigDataSQL構成ディレクトリ・オブジェクトの読取り権限の付与も必要となりました。

たとえば、user1にアクセスを付与するには、次のようにします。

SQL> grant BDSQL_USER to user1; 
SQL> grant read on directory ORACLE_BIGDATA_CONFIG to user1;

『Oracle Big Data SQLインストレーション・ガイド』に移動されたインストール手順

『Oracle Big Data SQLインストレーション・ガイド』に、このソフトウェアのインストールおよびアンインストールの手順が記載されています。Oracle Big Data Appliance 3.1より前のリリースでは、インストール手順はユーザーズ・ガイドに記載されています。

はじめに

対象読者

関連ドキュメント

表記規則

バッカス・ナウア記法の構文

Oracle Big Data SQL 3.1での変更点