はじめに

『Oracle Big Data Connectorsユーザーズ・ガイド』では、Oracle Big Data Connectorsのインストール方法と使用方法について説明します。

• Oracle Loader for Hadoop

• Oracle SQL Connector for Hadoop Distributed File System

• Oracle XQuery for Hadoop

• Oracle R Advanced Analytics for Hadoop

• Oracle Datasource for Apache Hadoop

• Oracle Data Integrator^脚注 1

対象読者

このドキュメントは、次のユーザーなどのOracle Big Data Connectorsのユーザーを対象としています。

• アプリケーション開発者

• Javaプログラマ

• XQueryプログラマ

• システム管理者

• データベース管理者

ドキュメントのアクセシビリティについて

Oracleのアクセシビリティについての詳細情報は、Oracle Accessibility ProgramのWebサイト(http://www.oracle.com/pls/topic/lookup?ctx=acc&id=docacc)を参照してください。

Oracle Supportへのアクセス

サポートを購入したOracleのお客様は、My Oracle Supportにアクセスして電子サポートを受けることができます。詳細情報はhttp://www.oracle.com/pls/topic/lookup?ctx=acc&id=infoか、聴覚に障害のあるお客様はhttp://www.oracle.com/pls/topic/lookup?ctx=acc&id=trsを参照してください。

関連ドキュメント

詳細は、次のドキュメントを参照してください。

• Oracle Loader for Hadoop Java APIリファレンス

• 『Oracle Big Data Applianceソフトウェア・ユーザーズ・ガイド』

テキストの表記規則

このマニュアルでは次の表記規則を使用します。

規則	意味
太字	太字は、操作に関連するGraphical User Interface要素、または本文中で定義されている用語および用語集に記載されている用語を示します。
イタリック	イタリックは、ユーザーが特定の値を指定するプレースホルダ変数を示します。
固定幅フォント	固定幅フォントは、段落内のコマンド、URL、サンプル内のコード、画面に表示されるテキスト、または入力するテキストを示します。

構文の表記規則

構文は、次の記号と表記規則を使用するバッカスナウア記法(BNF)の単純なバリエーションで示されます。

記号または規則	説明
[ ]	大カッコは、オプション項目を囲みます。
{ }	中カッコは、選択項目を囲み、そのうち1つのみが必須です。
|	縦線は、大カッコまたは中カッコ内の代替項目を区切ります。
...	省略記号は、先行する構文要素を反復できることを示します。
デリミタ	大カッコ、中カッコおよび縦線以外のデリミタは、記載されているとおりに入力する必要があります。

Oracle Big Data Connectorsリリース4 (4.7)の変更点

Oracle Big Data Connectorsリリース4 (4.7)の『Oracle Big Data Connectorsユーザーズ・ガイド』の変更点は次のとおりです。

次の表に、Oracle Big Data Connectors 4.7とともにインストールされるソフトウェアのバージョンを示します。

コネクタ	バージョン
Oracle SQL Connector for HDFS	3.7.0
Oracle Loader for Hadoop	3.8.0
Oracle Shell for Hadoop Loaders	1.2
Oracle XQuery for Hadoop	4.5.0
Oracle R Advanced Analytics for Hadoop	2.7.0
Oracle Data Integrator	12.2.1.1

Oracle SQL Connectors for HDFSの変更点

• oracle.hadoop.exttab.dataCompressionCodecプロパティは非推奨となりました。

  OSCHは、圧縮されたファイルおよび圧縮されていないファイルを含むデータセットを処理しません。OSCHは、実行時にデータセットの圧縮コーデックを自動的に検出します。

• デリミタ付きテキスト・ソースの場合、-createTableではNULLIF句はサポートされません。

  このトランザクションは、OSCHがテキスト・ソースからデータを読み取る場合に、外部表(または外部表の特定の列)にnull-if-specifierを構成できるプロパティを追加します。このプロパティは、-createTableの実行時に指定する必要があり、- oracle.hadoop.exttab.nullIfSpecifier=<null-if-value>または- oracle.hadoop.exttab.colMap.<columnName>.nullIfSpecifier=<null-if-value>として構成できます。

新機能および拡張機能

• Oracle R Advanced Analytics for Hadoop (ORAAH) 2.7

  ORAAH 2.7には次の新機能があります。

  • サマリー統計を含む新しいORAAH SparkベースのLMアルゴリズム。

  • 拡張ORAAH SparkベースのGLMの完全な式のサポートおよびSparkベースのGLMのためのサマリー機能。

  • 拡張ORAAH Sparkベースのディープ・ニューラル・ネットワークは、完全な式解析、Sparkでのモデリングとスコアリングをサポートするようになり、計算が最大30%速くなっています。

  • Spark MLlib Gaussian Mixture Modelクラスタリング・アルゴリズムのための新しいOracle R API。

  • HIVE統合の全般的な改善。特に、SSL接続およびKerberos認証を有効にしたBDAのセキュアなクラスタ。

  • 既知のインストール環境(RPM、パーセルのインストール環境など)でのHive JDBCドライバの自動検索。

• Oracle Shell for Hadoop Loaders (OHSH) 1.2

  リリース1.2には次の新機能および変更点があります。

  • $HOME/.ohshシャドウ・ディレクトリでのロード操作のオンディスク・ロギング。

  • ロード・コマンドの実行時の出力を最小にする機能。(set outputlevelのヘルプ・コマンドを参照してください。)

  • oracleユーザーのスキーマに存在しないOracle表からのHive表のロード。

  • OHSHによるWalletおよびTNSの使用は、環境変数WALLET_LOCATIONおよびTNS_ADMINの設定に依存しています。set tnsadminコマンドおよびset walletlocationコマンドはサポートされなくなりました。

  また、%hive0リソースを作成するためにHIVE0_URLにリモートHiveServer2の完全修飾URLを設定しなくなりました。OHSH 1.2では、bin/ohshで環境変数HS2_HOST_PORTにHiveServer2の<hostname>:<port>のペアを設定します。

以前のリリースの変更履歴

製品の以前のバージョンの変更は次のとおりです。

• Oracle Big Data Connectorsリリース4 (4.6)の変更点

• Oracle Big Data Connectorsリリース4 (4.5)の変更点

• Oracle Big Data Connectorsリリース4 (4.4)の変更点

• Oracle Big Data Connectorsリリース4 (4.3)の変更点

• Oracle Big Data Connectorsリリース4 (4.2)の変更点

• Oracle Big Data Connectorsリリース4 (4.1)の変更点

• Oracle Big Data Connectorsリリース4 (4.0)の変更点

Oracle Big Data Connectorsリリース4 (4.6)の変更点

Oracle Big Data Connectorsリリース4 (4.6)の『Oracle Big Data Connectorsユーザーズ・ガイド』の変更点は次のとおりです。

次の表に、Oracle Big Data Connectors 4.6とともにインストールされるソフトウェアのバージョンを示します。

コネクタ	バージョン
Oracle SQL Connector for HDFS	3.6.0
Oracle Loader for Hadoop	3.7.0
Oracle Shell for Hadoop Loaders	1.1
Oracle XQuery for Hadoop	4.5.0
Oracle R Advanced Analytics for Hadoop	2.6.0
Oracle Data Integrator	12.2.1.1

新機能および拡張機能

• Oracle Datasource for Apache Hadoop (旧称Oracle Table Access for Apache Hadoop)

  Oracle Datasource for Apache Hadoop (OD4H)がOracle Big Data Connectorsスイートの一部となり、追加費用なしでライセンス供与されるようになりました。

  OD4Hでは、Oracle Database表がHadoopデータ・ソース(外部表など)に変換されるため、HiveQL/SparkSQLの問合せを直接、一貫して行えるほか、Hadoop APIに直接アクセスできます。

  OD4Hは、述語および予測のプッシュダウンならびにパーティション・プルーニングを使用して、問合せ実行計画を最適化します。Oracle Database表へのアクセスは、スマートかつセキュアな接続(Kerberos、SSL、Oracle Wallet)を使用してパラレルに実行され、Hadoop (最大同時タスクなど)とOracle DBA(最大プール・サイズなど)の両方によって管理されます。

• Oracle Shell for Hadoop Loaders 1.1

  Oracle Shell for Hadoop Loaders (OHSH)は最近、Oracle Big Data Data Connectors 4.5に採用されました。OHSHは、データ移行のための直感的なコマンドライン・ツールです。Hive、HDFSまたはOracle Databaseに接続するリソースを設定し、OHSHの統一インタフェースからこれらのデータ・ソースにアクセスできます。Copy to Hadoopユーザーは、OTNからOHSHをダウンロードできます。

  このリリースでの変更点:

  • 対話型のコマンド履歴がOHSHセッション全体で維持されるようになりました。

  • テキスト・ファイルへのOHSH出力のスプーリングに対するサポート。デフォルトのスプール・ファイルは、OHSHが起動されるディレクトリにあるohshspool.txtです。スプーリングは、有効または無効にできるほか、次のようにユーザー指定のファイルに振り向けることもできます。

    ohsh> spool on
    ohsh> spool off
    ohsh> set spool <filename>
    

  • 新しいHive CLI。BeelineがHiveリソースのCLIになりました。Hiveリソースを作成する構文は次のようになります。

    ohsh> create hive resource <resource_id> connectionurl=<DQString>

    この場合、bin/ohshのHIVE0_URL変数を指定すると、コマンドによりhive0リソースが作成されます。

Oracle Big Data Connectorsリリース4 (4.5)の変更点

Oracle Big Data Connectorsリリース4 (4.5)の『Oracle Big Data Connectorsユーザーズ・ガイド』の変更点は次のとおりです。

次の表に、Oracle Big Data Connectors 4.5とともにインストールされるソフトウェアのバージョンを示します。

コネクタ	バージョン
Oracle SQL Connector for HDFS	3.5.0
Oracle Loader for Hadoop	3.6.0
Oracle XQuery for Hadoop	4.5.0
Oracle R Advanced Analytics for Hadoop	2.6.0
Oracle Data Integrator	12.2.1

新機能および拡張機能

• Oracle Shell for Hadoop Loaders

  Oracle Shell for Hadoop Loadersは、Big Data Connectors用の新しいユーザー・インタフェースです。それ自体はBig Data Connectorではありません。Oracle Shell for Hadoop Loadersは、Big Data ConnectorsのOracle Loader for Hadoop、Oracle SQL Connector for HDFSおよびCopy to Hadoopとやりとりするための、単一の環境を提供するシェルおよびコマンドラインです。単一のアクセスポイントの提供に加え、Oracle Shell for Hadoop LoadersはConnectorsの使用に伴うオーバーヘッドをある程度減らすことができます。それがなければ、これらの製品を個別に構成、管理および実行が必要になるためです。

• Oracle R Advanced Analytics for Hadoop (ORAAH) 2.6の改善点

  ORAAH 2.6では、Spark MLlibの機能の多くを統合した予測モデリングアルゴリズムが広くサポートされ、Sparkの既存のカスタムアルゴリズムが強化されています。

• Oracle XQuery for Hadoop 4.5.0の改善点

  さらに、try/catch式、switch式、標準関数および演算子など、W3C XQuery 3.0がサポートされます。

Oracle Big Data Connectorsリリース4 (4.4)の変更点

Oracle Big Data Connectorsリリース4 (4.4)の『Oracle Big Data Connectorsユーザーズ・ガイド』の変更点は次のとおりです。

この表に、Oracle Big Data Connectors 4.4とともにインストールされるソフトウェアのバージョンを示します。

コネクタ	バージョン
Oracle SQL Connector for HDFS	3.4.0
Oracle Loader for Hadoop 脚注 2	3.5.0
Oracle XQuery for Hadoop	4.2.1
Oracle R Advanced Analytics for Hadoop	2.4.0
Oracle Data Integrator	12.2.1

^脚注 2

Oracle Loader for Hadoop 3.5は、Hive表からロードされたデータの個々のレコード・レベルでのフィルタリングをサポートします。以前は、Hiveデータのフィルタリングはパーティション・レベルでのみ可能でした。

新機能

Oracle Big Data Connectorsリリース4 (4.3)の変更点

Oracle Big Data Connectorsリリース4 (4.3)の『Oracle Big Data Connectorsユーザーズ・ガイド』の変更点は次のとおりです。

この表に、Oracle Big Data Connectors 4.3とともにインストールされるソフトウェアのバージョンを示します。

コネクタ	バージョン
Oracle SQL Connector for HDFS	3.4.0
Oracle Loader for Hadoop 脚注 3	3.5.0
Oracle XQuery for Hadoop	4.2.1
Oracle R Advanced Analytics for Hadoop	2.4.0
Oracle Data Integrator脚注 4	12.1.3.0

^脚注 3

Oracle Loader for Hadoop 3.5は、Hive表からロードされたデータの個々のレコード・レベルでのフィルタリングをサポートします。以前は、Hiveデータのフィルタリングはパーティション・レベルでのみ可能でした。

^脚注 4

Oracle Data Integratorの設定および使用に関する要件および手順の詳細は、『Oracle Fusion Middleware Oracle Data Integratorアプリケーション・アダプタ・ガイド』の「Hadoop」の章を参照してください。

新機能

Oracle Big Data Connectorsリリース4 (4.2)の変更点

Oracle Big Data Connectorsリリース4 (4.2)の『Oracle Big Data Connectorsユーザーズ・ガイド』の変更点は次のとおりです。

この表に、Oracle Big Data Connectors 4.2とともにインストールされるソフトウェアのバージョンを示します。

コネクタ	バージョン
Oracle SQL Connector for HDFS	3.3.0
Oracle Loader for Hadoop	3.4.0
Oracle XQuery for Hadoop脚注 5	4.2.0
Oracle R Advanced Analytics for Hadoop	2.4.0
Oracle Data Integrator脚注 6	12.1.3.0

^脚注 5

Oracle NoSQL Database表APIおよびOracle NoSQL Databaseラージ・オブジェクトAPIのサポートが追加されています。Oracle NoSQL Database表API関数を操作するには、Oracle NoSQL Database 3.1以上が必要です。

^脚注 6

Oracle Data Integratorの設定および使用に関する要件および手順の詳細は、『Oracle Fusion Middleware Oracle Data Integratorアプリケーション・アダプタ・ガイド』の「Hadoop」の章を参照してください。

Oracle Big Data Connectorsリリース4 (4.1)の変更点

Oracle Big Data Connectorsリリース4 (4.1)の『Oracle Big Data Connectorsユーザーズ・ガイド』の変更点は次のとおりです。

この表に、Oracle Big Data Connectors 4.1とともにインストールされるソフトウェアのバージョンを示します。

コネクタ	バージョン
Oracle SQL Connector for HDFS	3.3.0
Oracle Loader for Hadoop	3.3.0
Oracle XQuery for Hadoop	4.2.0
Oracle R Advanced Analytics for Hadoop	2.4.0
Oracle Data Integrator脚注 7	12.1.3.0

^脚注 7

Oracle Data Integratorの設定および使用に関する要件および手順の詳細は、『Oracle Fusion Middleware Oracle Data Integratorアプリケーション・アダプタ・ガイド』の「Hadoop」の章を参照してください。

Oracle Big Data Connectorsリリース4 (4.0)の変更点

Oracle Big Data Connectorsリリース4 (4.0)の『Oracle Big Data Connectorsユーザーズ・ガイド』の変更点は次のとおりです。

この表に、Oracle Big Data Connectors 4.0とともにインストールされるソフトウェアのバージョンを示します。

コネクタ	バージョン
Oracle SQL Connector for HDFS	3.1
Oracle Loader for Hadoop	3.2
Oracle Data Integrator Application Adapter for Hadoop脚注 8	12.1.3.0
Oracle XQuery for Hadoop	4.0.1
Oracle R Advanced Analytics for Hadoop	2.4

^脚注 8

Oracle Data Integrator Application Adapter for Hadoopの設定および使用に関する要件および手順の詳細は、『Oracle Fusion Middleware Oracle Data Integratorアプリケーション・アダプタ・ガイド』の「Hadoop」の章を参照してください。

---

脚注の説明

脚注 1:

Oracle Big Data Connectorsは、Oracle Big Data Appliance上でライセンス付与された場合、Oracle Data Integratorのライセンスの使用に制限があります。ただし、別のHadoopクラスタ上で使用する場合、追加のライセンスが必要です。