プライマリ・コンテンツに移動
Oracle® Big Data Connectorsユーザーズ・ガイド
リリース5 (5.0)
F21918-01
索引
次
目次
タイトルおよび著作権情報
はじめに
対象読者
ドキュメントのアクセシビリティについて
関連ドキュメント
テキストの表記規則
構文の表記規則
Oracle Big Data Connectorsリリース5.0の変更点
第I部 設定
1
Oracle Big Data Connectorsを使用する前に
1.1
Oracle Big Data Connectorsについて
1.2
ビッグ・データの概念とテクノロジ
1.2.1
MapReduceとは
1.2.2
Apache Hadoopとは
1.3
Oracle Big Data Connectorsのダウンロードとインストール
1.4
動作保証されたHadoopプラットフォーム
1.5
Oracle Databaseへのセキュアな接続
1.5.1
JDBC SSLの使用
1.5.2
セキュアな外部JavaキーストアおよびHadoop資格証明コマンドの使用
1.6
Oracle SQL Connector for Hadoop Distributed File Systemの設定
1.6.1
ソフトウェア要件
1.6.2
Oracle DatabaseシステムへのHadoopクライアントのインストールと構成
1.6.3
Oracle SQL Connector for HDFSのインストール
1.6.4
OSCHユーザーのOracle Database権限
1.6.5
OSCHユーザーのOSレベル要件
1.6.6
セキュアなHadoopクラスタでのOracle SQL Connector for HDFSの使用
1.6.7
Oracle SQL DeveloperでのOSCHの使用
1.7
Oracle Loader for Hadoopの設定
1.7.1
ソフトウェア要件
1.7.2
Oracle Loader for Hadoopのインストール
1.7.3
OLHユーザーのOracle Database権限
1.7.4
オフライン・データベース・モードのサポート
1.7.5
セキュアなHadoopクラスタでのOracle Loader for Hadoopの使用
1.8
Oracle Shell for Hadoop Loadersの設定
1.8.1
HadoopノードでのOracle Shell for Hadoop Loadersのインストール
1.8.2
OHSHユーザーのOracle Database権限
1.8.3
ジョブ監視を有効にするOHSHの構成
1.9
Oracle XQuery for Hadoopの設定
1.9.1
ソフトウェア要件
1.9.2
Oracle XQuery for Hadoopのインストール
1.9.3
ファイル・パスのトラブルシューティング
1.9.4
Oracle XQuery for HadoopアクションのOozieの構成
1.10
Oracle R Advanced Analytics for Hadoopの設定
1.10.1
Hadoopへのソフトウェアのインストール
1.10.1.1
サードパーティHadoopクラスタのソフトウェア要件
1.10.1.2
サードパーティHadoopクラスタへのSqoopのインストール
1.10.1.3
サードパーティHadoopクラスタへのHiveのインストール
1.10.1.4
HadoopクライアントへのRのインストール
1.10.1.5
サードパーティHadoopクラスタへのRのインストール
1.10.1.6
サードパーティHadoopクラスタへのORCHパッケージのインストール
1.10.2
追加のRパッケージのインストール
1.10.3
Rユーザーへのリモート・クライアント・アクセスの提供
1.10.3.1
リモート・クライアント・アクセスのソフトウェア要件
1.10.3.2
Hadoopクライアントとしてのサーバーの構成
1.10.3.3
HadoopクライアントへのSqoopのインストール
1.10.3.4
HadoopクライアントへのRのインストール
1.10.3.5
HadoopクライアントへのORCHパッケージのインストール
1.10.3.6
Oracle R Enterpriseクライアントのパッケージ(オプション)のインストール
1.11
Oracle Data Integrator
1.12
Oracle Datasource for Apache Hadoopの設定
1.12.1
HiveServer2の構成
第II部 Oracle Databaseのコネクタ
2
Oracle SQL Connector for Hadoop Distributed File System
2.1
Oracle SQL Connector for HDFSについて
2.2
Oracle SQL Connector for HDFSを使用する前に
2.3
システムへのOracle SQL Connector for HDFSの構成
2.4
Oracle Big Data ApplianceおよびOracle ExadataとのOracle SQL Connector for HDFSの使用
2.5
ExternalTableコマンドライン・ツールの使用
2.5.1
ExternalTableの概要
2.5.2
ExternalTableコマンドライン・ツールの構文
2.6
外部表の作成
2.6.1
ExternalTableツールによる外部表の作成
2.6.2
データ・ポンプ形式ファイルからの外部表の作成
2.6.2.1
必須プロパティ
2.6.2.2
オプションのプロパティ
2.6.2.3
データ・ポンプ形式ファイルのXMLファイルのプロパティの定義
2.6.2.4
例
2.6.3
Hive表からの外部表の作成
2.6.3.1
Hive表の要件
2.6.3.2
データ型のマッピング
2.6.3.3
必須プロパティ
2.6.3.4
オプションのプロパティ
2.6.3.5
Hive表のXMLファイルのプロパティの定義
2.6.3.6
例
2.6.3.7
パーティション化Hive表からの外部表の作成
2.6.3.7.1
パーティション化Hive表に対するアクセスをサポートするデータベース・オブジェクト
2.6.3.7.2
メタデータ表の問合せ
2.6.3.7.3
問合せのためのUNION ALLビューの作成
2.6.3.7.4
エラー・メッセージ
2.6.3.7.5
ダングリング・オブジェクトの削除
2.6.4
デリミタ付きテキスト・ファイルからの外部表の作成
2.6.4.1
データ型のマッピング
2.6.4.2
必須プロパティ
2.6.4.3
オプションのプロパティ
2.6.4.4
デリミタ付きテキスト・ファイルのXMLファイルのプロパティの定義
2.6.4.5
例
2.6.5
SQLでの外部表の作成
2.7
外部表の更新
2.7.1
公開用のExternalTable構文
2.7.2
公開用のExternalTableの例
2.8
外部表および場所ファイルの調査
2.8.1
情報表示のためのExternalTable構文
2.8.2
情報表示のためのExternalTableの例
2.9
Oracle SQL Connector for HDFSで作成されたデータベース・オブジェクトの削除
2.9.1
削除のためのExternalTable構文
2.9.2
削除のためのExternalTableの例
2.10
ExternalTableツールで生成された外部表の詳細
2.10.1
構成可能な列マッピングの概要
2.10.1.1
デフォルトの列マッピング
2.10.1.2
すべての列のオーバーライド
2.10.1.3
1つの列のオーバーライド
2.10.1.4
マッピングのオーバーライドの例
2.10.2
場所ファイルとは
2.10.3
並列処理の有効化
2.10.3.1
並列度の設定
2.10.4
場所ファイルの管理
2.10.5
場所ファイルの名前
2.11
Oracle SQL Connector for HDFSの構成
2.11.1
構成ファイルの作成
2.11.2
Oracle SQL Connector for HDFS構成プロパティ・リファレンス
2.12
HDFS内のデータの問合せのパフォーマンスに関するヒント
3
Oracle Loader for Apache Hadoop
3.1
Oracle Loader for Hadoopとは
3.2
Oracle Loader For Hadoopのインタフェース
3.3
Oracle Loader for Hadoopを使用する前に
3.3.1
追加情報
3.4
Hadoopコマンドライン・ユーティリティによるOracle Loader for Hadoopの使用
3.4.1
操作モードの概要
3.4.1.1
オンライン・データベース・モード
3.4.1.2
オフライン・データベース・モード
3.4.2
ターゲット表の作成
3.4.2.1
ターゲット表でサポートされるデータ型
3.4.2.2
ターゲット表でサポートされるパーティション化方式
3.4.2.3
圧縮
3.4.3
ジョブ構成ファイルの作成
3.4.4
SSLおよびOracleウォレットを使用したOracle Databaseへのセキュアな接続の確立
3.4.4.1
Oracleウォレットの使用
3.4.4.2
JDBC SSLの使用
3.4.4.2.1
JDBC SSLを使用したOracle Databaseへの接続
3.4.4.3
ターゲット表メタデータの生成(オフライン・データベース・モードの場合)
3.4.5
入力形式の概要
3.4.5.1
デリミタ付きテキスト入力形式
3.4.5.1.1
DelimitedTextInputFormatの概要
3.4.5.1.2
必須の構成プロパティ
3.4.5.1.3
オプションの構成プロパティ
3.4.5.2
複合テキスト入力形式
3.4.5.2.1
RegexInputFormatの概要
3.4.5.2.2
必須の構成プロパティ
3.4.5.2.3
オプションの構成プロパティ
3.4.5.3
Hive表入力形式
3.4.5.3.1
HiveToAvroInputFormatの概要
3.4.5.3.2
必須の構成プロパティ
3.4.5.3.3
オプションの構成プロパティ
3.4.5.4
Avro入力形式
3.4.5.4.1
構成プロパティ
3.4.5.5
Oracle NoSQL Database入力形式
3.4.5.5.1
KVAvroInputFormatの概要
3.4.5.5.2
必須の構成プロパティ
3.4.5.6
カスタム入力形式
3.4.5.6.1
カスタム入力形式の実装の概要
3.4.5.6.2
エラー処理の概要
3.4.5.6.3
データ・サンプリングのサポート
3.4.5.6.4
InputFormatのサンプル・ソース・コード
3.4.6
ターゲット表列への入力フィールドのマッピング
3.4.6.1
自動マッピング
3.4.6.2
手動マッピング
3.4.6.3
手動マッピング: 例
3.4.7
出力形式の概要
3.4.7.1
JDBC出力形式
3.4.7.1.1
JDBCOutputFormatの概要
3.4.7.1.2
構成プロパティ
3.4.7.2
Oracle OCIダイレクト・パス出力形式
3.4.7.2.1
OCIOutputFormatの概要
3.4.7.2.2
構成プロパティ
3.4.7.3
デリミタ付きテキスト出力形式
3.4.7.3.1
DelimitedTextOutputFormatの概要
3.4.7.3.2
構成プロパティ
3.4.7.4
Oracle Data Pump出力形式
3.4.7.4.1
DataPumpOutputFormatの概要
3.4.8
ローダー・ジョブの実行
3.4.8.1
Hive入力形式のJARファイルの指定
3.4.8.2
Oracle NoSQL Database入力形式のJARファイルの指定
3.4.8.3
ジョブのレポート作成
3.4.9
拒否されたレコードの処理
3.4.9.1
拒否されたレコードの不正なファイルへの記録
3.4.9.2
ジョブの拒否制限の設定
3.4.10
パーティション化表にデータをロードする場合のロード・バランシング
3.4.10.1
サンプリング機能の使用方法
3.4.10.2
ロード・バランシングのチューニング
3.4.10.3
サンプリング動作のチューニング
3.4.10.4
Oracle Loader for Hadoopがサンプラのパーティション化スキームを使用するのはどのような場合か
3.4.10.5
メモリーの問題の解決
3.4.10.6
サンプリング機能のプロパティの値が無効な場合
3.4.11
Oracleエンジニアド・システム間の通信の最適化
3.5
Oracle Loader for Hadoop構成プロパティ・リファレンス
4
Oracle Big Data Connectorsの利便性向上ツール
4.1
Oracle Shell for Hadoop Loadersの概要
4.1.1
Oracle Shell for Hadoop Loadersインタフェース(OHSH)の構成
4.1.2
Oracle Shell for Hadoop Loadersを使用する前に
4.2
Oracle SQL DeveloperとOracle Big Data Connectorsの併用
第III部 Oracle XQuery for Apache Hadoop
5
Oracle XQuery for Apache Hadoopの使用
5.1
Oracle XQuery for Hadoopとは
5.2
Oracle XQuery for Hadoopを使用する前に
5.2.1
基本的なステップ
5.2.2
例: Hello World!
5.3
Oracle XQuery for Hadoopの関数について
5.3.1
アダプタについて
5.3.2
Oracle XQuery for Hadoopで使用する他のモジュールについて
5.4
XQuery変換の作成
5.4.1
XQuery変換の要件
5.4.2
XQuery言語のサポートについて
5.4.3
Hadoop分散キャッシュのデータへのアクセス
5.4.4
XQueryからのカスタムJava関数の呼出し
5.4.5
ユーザー定義のXQueryライブラリ・モジュールおよびXMLスキーマのアクセス
5.4.6
XQuery変換の例
5.5
問合せの実行
5.5.1
Oracle XQuery for Hadoopのオプション
5.5.2
汎用オプション
5.5.3
ローカルでの問合せの実行について
5.6
Apache Oozieからの問合せの実行
5.6.1
Hadoopアクション用のOracle XQueryでのOozieの使用
5.6.2
サポートされているXML要素
5.6.3
例: Hello World
5.7
Oracle XQuery for Hadoopの構成プロパティ
6
Oracle XQuery for Apache Hadoopリファレンス
6.1
Avroファイル・アダプタ
6.1.1
Avroファイルを読み取る組込み関数
6.1.1.1
avro:collection-avroxml
6.1.1.2
avro:get
6.1.2
Avroコンテナ・ファイルを読み取るカスタム関数
6.1.3
Avroファイルを書き込むカスタム関数
6.1.4
Avroファイル・アダプタの関数の例
6.1.5
AvroとXML間の値の変換について
6.1.5.1
XMLとしてのAvroの読取り
6.1.5.1.1
レコードの読取り
6.1.5.1.2
マップの読取り
6.1.5.1.3
配列の読取り
6.1.5.1.4
共用体の読取り
6.1.5.1.5
プリミティブの読取り
6.1.5.2
AvroとしてのXMLの書込み
6.1.5.2.1
レコードの書込み
6.1.5.2.2
マップの書込み
6.1.5.2.3
配列の書込み
6.1.5.2.4
共用体の書込み
6.1.5.2.5
プリミティブの書込み
6.2
JSONファイル・アダプタ
6.2.1
JSONを読み取る組込み関数
6.2.1.1
json:collection-jsonxml
6.2.1.2
json:parse-as-xml
6.2.1.3
json:get
6.2.2
JSONファイルを読み取るカスタム関数
6.2.3
JSON関数の例
6.2.4
JSONファイル・アダプタの構成プロパティ
6.2.5
XMLへのJSONデータ形式の変換について
6.2.5.1
JSONオブジェクトからXMLへの変換について
6.2.5.2
JSON配列からXMLへの変換について
6.2.5.3
他のJSONタイプの変換について
6.3
Oracle Databaseアダプタ
6.3.1
Oracle Databaseに書き込むカスタム関数
6.3.2
Oracle Databaseアダプタの関数の例
6.3.3
Oracle Loader for Hadoop構成プロパティおよび対応する%oracle-property注釈
6.4
Oracle NoSQL Databaseアダプタ
6.4.1
Oracle NoSQL Databaseアダプタを使用するための前提条件
6.4.2
Oracle NoSQL Databaseに対して読取りおよび書込みを実行する組込み関数
6.4.2.1
kv:collection-text
6.4.2.2
kv:collection-avroxml
6.4.2.3
kv:collection-xml
6.4.2.4
kv:collection-binxml
6.4.2.5
kv:collection-tika
6.4.2.6
kv:put-text
6.4.2.7
kv:put-xml
6.4.2.8
kv:put-binxml
6.4.2.9
kv:get-text
6.4.2.10
kv:get-avroxml
6.4.2.11
kv:get-xml
6.4.2.12
kv:get-binxml
6.4.2.13
kv:get-tika
6.4.2.14
kv:key-range
6.4.2.15
kv:key-range
6.4.3
表APIを使用してOracle NoSQL Databaseに対して読取りおよび書込みを実行する組込み関数
6.4.3.1
kv-table:collection-jsontext
6.4.3.2
kv-table:get-jsontext
6.4.3.3
kv-table:put-jsontext
6.4.4
ラージ・オブジェクトAPIを使用してOracle NoSQL Databaseに対して読取りおよび書込みを実行する組込み関数
6.4.4.1
kv-lob:get-text
6.4.4.2
kv-lob:get-xml
6.4.4.3
kv-lob:get-binxml
6.4.4.4
kv-lob:get-tika
6.4.4.5
kv-lob:put-text
6.4.4.6
kv-lob:put-xml
6.4.4.7
kv-lob:put-binxml
6.4.5
Oracle NoSQL Databaseから値を読み取るカスタム関数
6.4.6
Oracle NoSQL Databaseから単一値を取得するためのカスタム関数
6.4.7
表APIを使用してOracle NoSQL Databaseから値を読み取るカスタム関数
6.4.8
表APIを使用してOracle NoSQL Databaseから単一列を読み取るカスタム関数
6.4.9
ラージ・オブジェクトAPIを使用してOracle NoSQL Databaseから単一値を取得するためのカスタム関数
6.4.10
Oracle NoSQL Databaseに書き込むカスタム関数
6.4.11
表APIを使用してOracle NoSQL Databaseに値を書き込むカスタム関数
6.4.12
ラージ・オブジェクトAPIを使用してOracle NoSQL Databaseに値を書き込むカスタム関数
6.4.13
Oracle NoSQL Databaseアダプタの関数の例
6.4.14
Oracle NoSQL Databaseアダプタの構成プロパティ
6.5
順序ファイル・アダプタ
6.5.1
順序ファイルの読取りおよび書込みを実行する組込み関数
6.5.1.1
seq:collection
6.5.1.2
seq:collection-xml
6.5.1.3
seq:collection-binxml
6.5.1.4
seq:collection-tika
6.5.1.5
seq:put
6.5.1.6
seq:put-xml
6.5.1.7
seq:put-binxml
6.5.2
順序ファイルを読み取るカスタム関数
6.5.3
順序ファイルを書き込むカスタム関数
6.5.4
順序ファイル・アダプタの関数の例
6.6
Solrアダプタ
6.6.1
Solrアダプタを使用するための前提条件
6.6.1.1
構成設定
6.6.1.2
Solrアダプタを使用した問合せの例
6.6.2
データをSolrサーバーにロードするための組込み関数
6.6.2.1
solr:put
6.6.3
データをSolrサーバーにロードするためのカスタム関数
6.6.4
Solrアダプタの関数の例
6.6.5
Solrアダプタ構成プロパティ
6.7
テキスト・ファイル・アダプタ
6.7.1
テキスト・ファイルの読取りおよび書込みを実行する組込み関数
6.7.1.1
text:collection
6.7.1.2
text:collection-xml
6.7.1.3
text:put
6.7.1.4
text:put-xml
6.7.1.5
text:trace
6.7.2
テキスト・ファイルを読み取るカスタム関数
6.7.3
テキスト・ファイルを書き込むカスタム関数
6.7.4
テキスト・ファイル・アダプタの関数の例
6.8
Tikaファイル・アダプタ
6.8.1
Tikaを使用してファイルを解析するための組込みライブラリ関数
6.8.1.1
tika:collection
6.8.1.2
tika:parse
6.8.2
Tikaを使用してファイルを解析するためのカスタム関数
6.8.3
Tikaパーサーの出力形式
6.8.4
Tikaアダプタの構成プロパティ
6.8.5
Tikaファイル・アダプタの関数の例
6.9
XMLファイル・アダプタ
6.9.1
XMLファイルを読み取る組込み関数
6.9.1.1
xmlf:collection (単一のタスク)
6.9.1.2
xmlf:collection-multipart (単一のタスク)
6.9.1.3
xmlf:collection (複数のタスク)
6.9.2
XMLファイルを読み取るカスタム関数
6.9.3
XMLファイル・アダプタの関数の例
6.10
ユーティリティ・モジュール
6.10.1
期間、日付および時刻のOracle XQuery関数
6.10.1.1
ora-fn:date-from-string-with-format
6.10.1.2
ora-fn:date-to-string-with-format
6.10.1.3
ora-fn:dateTime-from-string-with-format
6.10.1.4
ora-fn:dateTime-to-string-with-format
6.10.1.5
ora-fn:time-from-string-with-format
6.10.1.6
ora-fn:time-to-string-with-format
6.10.1.7
Format引数
6.10.1.8
Locale引数
6.10.2
文字列のOracle XQuery関数
6.10.2.1
ora-fn:pad-left
6.10.2.2
ora-fn:pad-right
6.10.2.3
ora-fn:trim
6.10.2.4
ora-fn:trim-left
6.10.2.5
ora-fn:trim-right
6.11
Hadoopモジュール
6.11.1
Hadoopを使用するための組込み関数
6.11.1.1
oxh:find
6.11.1.2
oxh:increment-counter
6.11.1.3
oxh:println
6.11.1.4
oxh:println-xml
6.11.1.5
oxh:property
6.12
シリアライズ注釈
7
Oracle XML Extensions for Hive
7.1
XML Extensions for Hiveとは
7.2
コマンドラインからのHive拡張の使用
7.3
HiveServer2でのHive拡張の使用
7.4
Hive関数について
7.5
Hive関数の永続的宣言
7.6
XML表の作成
7.6.1
XML表に対するHiveのCREATE TABLE構文
7.6.2
CREATE TABLE構成プロパティ
7.6.3
CREATE TABLEの例
7.6.3.1
構文の例
7.6.3.2
簡単な例
7.6.3.3
OpenStreetMapの例
7.7
Hive用のOracle XML関数のリファレンス
7.7.1
データ型変換
7.7.2
外部ファイルへのHiveアクセス
7.8
関数のオンライン・マニュアル
7.9
xml_exists
7.10
xml_query
7.11
xml_query_as_
primitive
7.12
xml_table
第IV部 Oracle R Advanced Analytics for Apache Hadoop
8
Oracle R Advanced Analytics for Apache Hadoop
8.1
Oracle R Advanced Analytics for Hadoopについて
8.1.1
Oracle R Advanced Analytics for Hadoopアーキテクチャ
8.1.2
Oracle R Advanced Analytics for Hadoopパッケージおよび関数
8.1.3
Oracle R Advanced Analytics for HadoopのAPI
8.1.4
Oracle R Advanced Analytics for Hadoopへの入力
8.2
HDFSファイルへのアクセス
8.3
Apache Hiveへのアクセス
8.3.1
HiveのORCH関数
8.3.2
HiveのORE関数
8.3.3
Hiveでサポートされる一般的なR関数
8.3.4
Hiveデータ型のサポート
8.3.5
Hiveアクセスの使用上の注意
8.3.6
例: Oracle R Advanced Analytics for HadoopへのHive表のロード
8.4
Oracle Databaseへのアクセス
8.4.1
Oracle Databaseアクセスの使用上の注意
8.4.2
Oracle R EnterpriseでOracle R Advanced Analytics for Hadoopを使用する場合のシナリオ
8.5
Oracle R Advanced Analytics for Hadoop関数
8.5.1
ネイティブ分析関数
8.5.2
Hadoop Distributed File System (HDFS)の使用
8.5.3
Apache Hiveの使用
8.5.4
Hiveでの集計関数の使用
8.5.5
データベース接続の確立
8.5.6
データのコピーおよびHDFSファイルの操作
8.5.7
Rデータ型への変換
8.5.8
MapReduceの使用
8.5.9
スクリプトのデバッグ
8.6
Oracle R Advanced Analytics for Hadoop関数のデモ
8.7
Oracle R Advanced Analytics for Hadoopのセキュリティ上の注意
第V部 Oracle DataSource for Apache Hadoop
9
Oracle DataSource for Apache Hadoop (OD4H)
9.1
業務系データ、ビッグ・データおよび要件
9.2
Oracle DataSource for Apache Hadoop (OD4H)の概要
9.2.1
Hadoop 2.xを活用できる状況
9.2.2
Hadoopデータ・ソースとしてのOracle表
9.2.3
外部表
9.2.3.1
TBLPROPERTIES
9.2.3.2
SERDE PROPERTIES
9.2.4
OD4Hパッケージ内のjarのリスト
9.3
OD4Hの動作方法
9.3.1
Oracle Database表の作成または既存の表の再利用
9.3.2
Hive DDL
9.3.3
Hiveでの外部表の作成
9.4
OD4Hの機能
9.4.1
パフォーマンスおよびスケーラビリティ機能
9.4.1.1
スプリッタ
9.4.1.2
スプリッタの選択
9.4.1.3
述語のプッシュダウン
9.4.1.4
予測のプッシュダウン
9.4.1.5
パーティション・プルーニング
9.4.2
スマート接続管理
9.4.3
セキュリティ機能
9.4.3.1
認証の改善
9.5
OD4HでのHiveQLの使用
9.6
OD4HでのSpark SQLの使用
9.7
Oracle Databaseへの書込み
付録
A
OraLoaderMetadataユーティリティ
B
OracleのKafka用Hiveストレージ・ハンドラを使用したKafkaトピック用Hive外部表の作成
C
Apacheのライセンス
C.1
Apacheライセンス・コード
D
Oracle Big Data Connectorsのアクセシビリティ推奨事項
D.1
スクリーン・リーダーおよびブライユ点字の表示の使用上のヒント
D.2
拡大表示の使用上のヒント
E
Big Data Connectorのその他のリソース
F
最近の変更履歴
F.1
Oracle Big Data Connectorsリリース4.12の変更点
索引