| Oracle® Big Data Connectorsユーザーズ・ガイド リリース2 (2.5) E53261-01 |
|
 前 |
 次 |
内容は次のとおりです。
次の表に、Oracle Big Data Connectors 2.5とともにインストールされるソフトウェアのバージョンを示します。
| コネクタ | バージョン |
|---|---|
| Oracle SQL Connector for HDFS |
2.3.0 |
| Oracle Loader for Hadoop |
2.3.1 |
| Oracle Data Integrator Application Adapter for Hadoop |
11.1.1.7.0 |
| Oracle XQuery for Hadoop |
2.4.1 |
| Oracle R Advanced Analytics for Hadoop |
2.3.1 |
Oracle Big Data Connectorsリリース2 (2.4)の『Oracle Big Data Connectorsユーザーズ・ガイド』の変更点は次のとおりです。
次の表に、Oracle Big Data Connectors 2.4とともにインストールされるソフトウェアのバージョンを示します。
| コネクタ | バージョン |
|---|---|
| Oracle SQL Connector for HDFS |
2.3.0 |
| Oracle Loader for Hadoop |
2.3.1 |
| Oracle Data Integrator Application Adapter for Hadoop |
11.1.1.7.0 |
| Oracle XQuery for Hadoop |
2.4.0 |
| Oracle R Advanced Analytics for Hadoop |
2.3.1 |
このリリースの新機能は次のとおりです。
Oracle XQuery for Hadoop
JSONファイル・アダプタ: JSONモジュールはJSONファイル・アダプタに代わりました。このアダプタでは、JSONファイルの並列処理が追加サポートされています。json:collection-jsonxmlという新しい組込み関数により、HDFSに格納されているJSONファイルが読み取られます。
「JSONファイル・アダプタ」を参照してください。
テキスト・ファイル・アダプタ: 新しいtext:collection関数を使用すると、カスタム・デリミタを$delimiterパラメータとして指定できます。
「テキスト・ファイル・アダプタ」を参照してください。
Oracle Big Data Connectorsリリース2 (2.3)の『Oracle Big Data Connectorsユーザーズ・ガイド』の変更点は次のとおりです。
Oracle R Connector for Hadoopの名称は、Oracle R Advanced Analytics for Hadoopに変更されました。
このリリースの新機能は次のとおりです。
Oracle XQuery for Hadoop
Oracle XQuery for Hadoopは、Apache Hadoopに格納されている半構造化されたデータの変換エンジンです。XQuery言語で表された変換を一連のMapReduceジョブに解釈して実行します(これらのジョブはHadoopクラスタ上で並列で実行されます)。
第III部「Oracle XQuery for Hadoop」を参照してください。
Oracle SQL Connector for HDFS
Oracle Database 12cがサポートされます。
Oracle SQL Connector for HDFSを使用すると、Hiveおよびテキスト・ソース列をインラインOracle CLOB型にマップできます。
「oracle.hadoop.exttab.colMap.columnLength」および「oracle.hadoop.exttab.colMap.columnType」を参照してください。
様々な構成プロパティを設定することで、Hiveおよびテキスト・ソースに適切なデータ型で列をOracle外部表に作成するのに使用するデフォルトのデータ型マッピングをオーバーライドできます。
「構成可能な列マッピングの概要」を参照してください。
hadoopコマンドで--outputを--noexecuteとともに指定すると、画面にかわってファイルにレポートが出力されます。
「ExternalTableコマンドライン・ツールの使用」を参照してください。
Oracle Loader for Hadoop
Oracle Database 12cがサポートされます。
自動マッピングが不可能なとき、構成プロパティによってターゲット表の特定の列にロードされる入力フィールドが特定されます。
「ターゲット表列への入力フィールドのマッピング」を参照してください。
ローダー・マップ・ファイルを構成ファイルに変換するユーティリティが用意されています。
「ローダー・マップ・ファイルの変換」を参照してください。
Oracle R Advanced Analytics for Hadoop
HDFSに格納されているデータの場合:
すべてのデリミタがサポートされます。
キーと値のデリミタは異なってもかまいません。
新しい関数と修正された関数:
hadoop.jobs: アクティブなジョブとその属性のリストを提供します。
hadoop.runJobs: 現行Rセッションでのジョブの合計試行回数を返します。
hsdf.to.RDataおよびhdfs.from.RData: デリミタ付きテキスト・ファイルとRdataバイナリ形式間でのデータ変換が可能になります。Rdata形式のファイルの読取りパフォーマンスは、JavaプログラムがHadoopで実現できるパフォーマンスに迫るものです。
orch.debug: マッパーおよびレデューサを作成するRコードのローカル・デバッグをサポートします。
orch.getXlevelsおよびhdfs.attach: 入力データの数値以外の列から因子変数を作成することをサポートします。
orch.glm: R glm関数に似た機能を提供します。
orch.lm: カテゴリカル予測子と、anova、vcovなどのメソッドをサポートします。
orch.pack: マッパーとレデューサ間でのバイナリおよび圧縮オブジェクトの交換におけるパフォーマンスを向上させています。
これらの関数の構文は、オンライン・ヘルプを参照してください。
Oracle Big Data Connectorsリリース2 (2.2)の『Oracle Big Data Connectorsユーザーズ・ガイド』の変更点は次のとおりです。
このリリースの新機能は次のとおりです。
Oracle SQL Connector for Hadoop Distributed File System
Apache Hiveの小数データ型をサポートします。
Oracle Loader for Hadoop
Hive 0.10.0のサポート
Oracle Big Data Connectorsリリース2 (2.0)の『Oracle Big Data Connectorsユーザーズ・ガイド』の変更点は次のとおりです。
Oracle Big Data Connectorsは、Apache Hadoopバージョン4 (CDH4)を含むClouderaのディストリビューションをサポートしています。他のサポート対象プラットフォームについては、第1章のそれぞれのコネクタを参照してください。
Oracle Direct Connector for Hadoop Distributed File Systemの名称は、Oracle SQL Connector for Hadoop Distributed File Systemに変更されました。
Oracle SQL Connector for Hadoop Distributed File System
Hive表、データ・ポンプ・ファイルまたはデリミタ付きテキスト・ファイルからのOracle Database外部表の自動作成
場所ファイルの管理
第2章を参照してください。
Oracle Loader for Hadoop
ダイレクト・パス・ロードに関するSockets Direct Protocol (SDP)のサポート
ユーザー指定の列に対する2番目のソートのサポート
正規表現およびOracle NoSQL Databaseの新しい入力形式。AvroレコードInputFormatは、サンプル・コードのかわりにサポートされるコードです。
簡略化された日付形式の指定
拒否制限の新しいしきい値
ジョブのレポート作成および診断の改良
第3章を参照してください。
Oracle R Advanced Analytics for Hadoop
いくつかの分析アルゴリズムを使用できるようになりました。具体的には、線形回帰、予測用ニューラル・ネットワーク、低ランクの行列因数分解を使用した行列補完、クラスタリング、非負行列因子分解を使用できます。
Oracle R Advanced Analytics for Hadoopは、HDFSファイルに加えてHiveデータソースをサポートします。
Oracle R Advanced Analytics for Hadoopは、HDFSとOracle Database間でデータを移動します。Oracle R Enterpriseは、データのこの基本転送には必要ありません。
このリリースの新機能は次のとおりです。
as.ore.* hadoop.jobs hdfs.head hdfs.tail is.ore.* orch.connected orch.dbg.lasterr orch.evaluate orch.export.fit orch.lm orch.lmf orch.neural orch.nmf orch.nmf.NMFalgo orch.temp.path ore.* predict.orch.lm print.summary.orch.lm summary.orch.lm
第8章を参照してください。
次の機能はこのリリースで非推奨になったため、今後のリリースでサポートされません。
Oracle SQL Connector for Hadoop Distributed File System
場所ファイル形式(バージョン1): Oracle Direct Connector for HDFSバージョン1を使用して内容が公開される既存の外部表は、場所ファイル形式の変更に互換性がないため、Oracle SQL Connector for HDFSバージョン2を使用して公開する必要があります。
Oracle SQL Connector for HDFSで新しい場所ファイルが作成される場合、古い場所ファイルは削除されません。
第2章を参照してください。
oracle.hadoop.hdfs.exttabネームスペース(バージョン1): Oracle SQL Connector for HDFSでは、すべての構成プロパティに対して次の新しいネームスペースが使用されます。
oracle.hadoop.connection: Oracle Database接続およびWalletのプロパティ
oracle.hadoop.exttab: その他すべてのプロパティ
第2章を参照してください。
HDFS_BIN_PATHディレクトリ: プリプロセッサのディレクトリ名はOSCH_BIN_PATHになりました。
「Oracle SQL Connector for Hadoop Distributed File Systemの設定」を参照してください。
Oracle R Advanced Analytics for Hadoop
keyval: キーと値のペアの生成にorch.keyvalを使用します。
orch.reconnect: orch.dbconによって返される接続オブジェクトを使用する再接続にorch.connectを使用します。
次の機能はOracleでサポート対象外になりました。
Oracle Loader for Hadoop
oracle.hadoop.loader.configuredCounters
第3章を参照してください。
このリリースでは、次の変更が追加されています。
Oracle Loader for Hadoop
インストール用のzipアーカイブには、次の2つのキットが含まれています。
Apache Hadoop 0.20.2およびCDH3用: oraloader-2.0.0-1.x86_64.zip
CDH4用: oraloader-2.0.0-2.x86_64.zip
「Oracle Loader for Hadoopの設定」を参照してください。
