目次

タイトルおよび著作権情報

はじめに

• 対象読者
• ドキュメントのアクセシビリティについて
• 関連ドキュメント
• テキストの表記規則
• 構文の表記規則

Oracle Big Data Connectorsユーザーズ・ガイドのこのリリースでの変更点

• Oracle Big Data Connectorsリリース4 (4.1)の変更点
• Oracle Big Data Connectorsリリース4 (4.0)の変更点

第I部 設定

1 Oracle Big Data Connectorsを使用する前に

• 1.1 Oracle Big Data Connectorsについて
• 1.2 ビッグ・データの概念とテクノロジ
  • 1.2.1 MapReduceとは
  • 1.2.2 Apache Hadoopとは
• 1.3 Oracle Big Data Connectorsソフトウェアのダウンロード
• 1.4 Oracle SQL Connector for Hadoop Distributed File Systemの設定
  • 1.4.1 ソフトウェア要件
  • 1.4.2 Oracle DatabaseシステムへのHadoopクライアントのインストールと構成
  • 1.4.3 Oracle SQL Connector for HDFSのインストール
  • 1.4.4 Oracle Databaseに対するユーザー・アクセス権の付与
  • 1.4.5 Oracle Databaseシステムへのユーザー・アカウントの設定
  • 1.4.6 セキュアなHadoopクラスタでのOracle SQL Connector for HDFSの使用
• 1.5 Oracle Loader for Hadoopの設定
  • 1.5.1 ソフトウェア要件
  • 1.5.2 Oracle Loader for Hadoopのインストール
  • 1.5.3 オフライン・データベース・モードのサポート
  • 1.5.4 セキュアなHadoopクラスタでのOracle Loader for Hadoopの使用
• 1.6 Oracle XQuery for Hadoopの設定
  • 1.6.1 ソフトウェア要件
  • 1.6.2 Oracle XQuery for Hadoopのインストール
  • 1.6.3 ファイル・パスのトラブルシューティング
  • 1.6.4 Oracle XQuery for HadoopアクションのOozieの構成
• 1.7 Oracle R Advanced Analytics for Hadoopの設定
  • 1.7.1 Hadoopへのソフトウェアのインストール
    • 1.7.1.1 サードパーティHadoopクラスタのソフトウェア要件
    • 1.7.1.2 サードパーティHadoopクラスタへのSqoopのインストール
    • 1.7.1.3 サードパーティHadoopクラスタへのHiveのインストール
    • 1.7.1.4 サードパーティHadoopクラスタへのRのインストール
    • 1.7.1.5 サードパーティHadoopクラスタへのORCHパッケージのインストール
  • 1.7.2 追加のRパッケージのインストール
  • 1.7.3 Rユーザーへのリモート・クライアント・アクセスの提供
    • 1.7.3.1 リモート・クライアント・アクセスのソフトウェア要件
    • 1.7.3.2 Hadoopクライアントとしてのサーバーの構成
    • 1.7.3.3 HadoopクライアントへのSqoopのインストール
    • 1.7.3.4 HadoopクライアントへのRのインストール
    • 1.7.3.5 HadoopクライアントへのORCHパッケージのインストール
    • 1.7.3.6 Oracle R Enterpriseクライアントのパッケージ(オプション)のインストール

第II部 Oracle Databaseのコネクタ

2 Oracle SQL Connector for Hadoop Distributed File System

• 2.1 Oracle SQL Connector for HDFSについて
• 2.2 Oracle SQL Connector for HDFSを使用する前に
• 2.3 システムへのOracle SQL Connector for HDFSの構成
• 2.4 Oracle Big Data ApplianceおよびOracle ExadataとのOracle SQL Connector for HDFSの使用
• 2.5 ExternalTableコマンドライン・ツールの使用方法
  • 2.5.1 ExternalTableの概要
  • 2.5.2 ExternalTableコマンドライン・ツールの構文
• 2.6 外部表の作成
  • 2.6.1 ExternalTableツールによる外部表の作成
  • 2.6.2 データ・ポンプ形式ファイルからの外部表の作成
    • 2.6.2.1 必須プロパティ
    • 2.6.2.2 オプションのプロパティ
    • 2.6.2.3 データ・ポンプ形式ファイルのXMLファイルのプロパティの定義
    • 2.6.2.4 例
  • 2.6.3 Hive表からの外部表の作成
    • 2.6.3.1 Hive表の要件
    • 2.6.3.2 データ型のマッピング
    • 2.6.3.3 必須プロパティ
    • 2.6.3.4 オプションのプロパティ
    • 2.6.3.5 Hive表のXMLファイルのプロパティの定義
    • 2.6.3.6 例
    • 2.6.3.7 パーティション化Hive表からの外部表の作成
  • 2.6.4 デリミタ付きテキスト・ファイルからの外部表の作成
    • 2.6.4.1 データ型のマッピング
    • 2.6.4.2 必須プロパティ
    • 2.6.4.3 オプションのプロパティ
    • 2.6.4.4 デリミタ付きテキスト・ファイルのXMLファイルのプロパティの定義
    • 2.6.4.5 例
  • 2.6.5 SQLでの外部表の作成
• 2.7 HDFSデータ・パスの公開
  • 2.7.1 公開用のExternalTable構文
  • 2.7.2 公開用のExternalTableの例
• 2.8 外部表および場所ファイルの調査
  • 2.8.1 情報表示のためのExternalTable構文
  • 2.8.2 情報表示のためのExternalTableの例
• 2.9 Oracle SQL Connector for HDFSで作成されたデータベース・オブジェクトの削除
  • 2.9.1 削除のためのExternalTable構文
  • 2.9.2 削除のためのExternalTableの例
• 2.10 ExternalTableツールで生成された外部表の詳細
  • 2.10.1 構成可能な列マッピングの概要
    • 2.10.1.1 デフォルトの列マッピング
    • 2.10.1.2 すべての列のオーバーライド
    • 2.10.1.3 1つの列のオーバーライド
    • 2.10.1.4 マッピングのオーバーライドの例
  • 2.10.2 場所ファイルとは
  • 2.10.3 並列処理の有効化
    • 2.10.3.1 並列度の設定
  • 2.10.4 場所ファイルの管理
  • 2.10.5 場所ファイルの名前
• 2.11 Oracle SQL Connector for HDFSの構成
  • 2.11.1 構成ファイルの作成
  • 2.11.2 Oracle SQL Connector for HDFS構成プロパティ・リファレンス
• 2.12 HDFS内のデータの問合せのパフォーマンスに関するヒント

3 Oracle Loader for Hadoop

• 3.1 Oracle Loader for Hadoopとは
• 3.2 操作モードの概要
  • 3.2.1 オンライン・データベース・モード
  • 3.2.2 オフライン・データベース・モード
• 3.3 Oracle Loader for Hadoopを使用する前に
• 3.4 ターゲット表の作成
  • 3.4.1 ターゲット表でサポートされるデータ型
  • 3.4.2 ターゲット表でサポートされるパーティション化方式
  • 3.4.3 圧縮
• 3.5 ジョブ構成ファイルの作成
• 3.6 ターゲット表のメタデータの概要
  • 3.6.1 オンライン・データベース・モードの接続詳細の指定
  • 3.6.2 ターゲット表メタデータの生成(オフライン・データベース・モードの場合)
    • 3.6.2.1 OraLoaderMetadataユーティリティ
• 3.7 入力形式の概要
  • 3.7.1 デリミタ付きテキスト入力形式
    • 3.7.1.1 DelimitedTextInputFormatの概要
    • 3.7.1.2 必須の構成プロパティ
    • 3.7.1.3 オプションの構成プロパティ
  • 3.7.2 複合テキスト入力形式
    • 3.7.2.1 RegexInputFormatの概要
    • 3.7.2.2 必須の構成プロパティ
    • 3.7.2.3 オプションの構成プロパティ
  • 3.7.3 Hive表入力形式
    • 3.7.3.1 HiveToAvroInputFormatの概要
    • 3.7.3.2 必須の構成プロパティ
    • 3.7.3.3 オプションの構成プロパティ
  • 3.7.4 Avro入力形式
    • 3.7.4.1 構成プロパティ
  • 3.7.5 Oracle NoSQL Database入力形式
    • 3.7.5.1 KVAvroInputFormatの概要
    • 3.7.5.2 必須の構成プロパティ
  • 3.7.6 カスタム入力形式
    • 3.7.6.1 カスタム入力形式の実装の概要
    • 3.7.6.2 エラー処理の概要
    • 3.7.6.3 データ・サンプリングのサポート
    • 3.7.6.4 InputFormatのサンプル・ソース・コード
• 3.8 ターゲット表列への入力フィールドのマッピング
  • 3.8.1 自動マッピング
  • 3.8.2 手動マッピング
  • 3.8.3 ローダー・マップ・ファイルの変換
• 3.9 出力形式の概要
  • 3.9.1 JDBC出力書式
    • 3.9.1.1 JDBCOutputFormatの概要
    • 3.9.1.2 構成プロパティ
  • 3.9.2 Oracle OCIダイレクト・パス出力形式
    • 3.9.2.1 OCIOutputFormatの概要
    • 3.9.2.2 構成プロパティ
  • 3.9.3 デリミタ付きテキスト出力形式
    • 3.9.3.1 DelimitedTextOutputFormatの概要
    • 3.9.3.2 構成プロパティ
  • 3.9.4 Oracle Data Pump出力形式
    • 3.9.4.1 DataPumpOutputFormatの概要
• 3.10 ローダー・ジョブの実行
  • 3.10.1 Hive入力形式のJARファイルの指定
  • 3.10.2 Oracle NoSQL Database入力形式のJARファイルの指定
  • 3.10.3 ジョブのレポート作成
• 3.11 拒否されたレコードの処理
  • 3.11.1 拒否されたレコードの不正なファイルへのロギング
  • 3.11.2 ジョブの拒否制限の設定
• 3.12 パーティション化表にデータをロードする場合のロード・バランシング
  • 3.12.1 サンプリング機能の使用方法
  • 3.12.2 ロード・バランシングのチューニング
  • 3.12.3 サンプリング動作のチューニング
  • 3.12.4 Oracle Loader for Hadoopがサンプラのパーティション化スキームを使用するのはどのような場合か
  • 3.12.5 メモリーの問題の解決
  • 3.12.6 サンプリング機能のプロパティの値が無効な場合
• 3.13 Oracleエンジニアド・システム間の通信の最適化
• 3.14 Oracle Loader for Hadoop構成プロパティ・リファレンス
• 3.15 同梱されているソフトウェアのサードパーティ・ライセンス
  • 3.15.1 Apache Licensed Code
  • 3.15.2 Apache Avro 1.7.3
  • 3.15.3 Apache Commons Mathematics Library 2.2
  • 3.15.4 Apache Hadoop 0.20.0
  • 3.15.5 Jackson JSON 1.8.8

第III部 Oracle XQuery for Hadoop

4 Oracle XQuery for Hadoopの使用

• 4.1 Oracle XQuery for Hadoopとは
• 4.2 Oracle XQuery for Hadoopを使用する前に
  • 4.2.1 基本的な手順
  • 4.2.2 例: Hello World!
• 4.3 Oracle XQuery for Hadoopの関数について
  • 4.3.1 アダプタについて
  • 4.3.2 Oracle XQuery for Hadoopで使用する他のモジュールについて
• 4.4 XQuery変換の作成
  • 4.4.1 XQuery変換の要件
  • 4.4.2 XQuery言語のサポートについて
  • 4.4.3 Hadoop分散キャッシュのデータへのアクセス
  • 4.4.4 XQueryからのカスタムJava関数の呼出し
  • 4.4.5 ユーザー定義のXQueryライブラリ・モジュールおよびXMLスキーマのアクセス
  • 4.4.6 XQuery変換の例
• 4.5 問合せの実行
  • 4.5.1 Oracle XQuery for Hadoopのオプション
  • 4.5.2 汎用オプション
  • 4.5.3 ローカルでの問合せの実行について
• 4.6 Apache Oozieからの問合せの実行
  • 4.6.1 Oracle XQuery for HadoopのOozieアクションの使用に関する概要
  • 4.6.2 サポートされているXML要素
  • 4.6.3 例: Hello World
• 4.7 Oracle XQuery for Hadoopの構成プロパティ
• 4.8 同梱されているソフトウェアのサードパーティ・ライセンス
  • 4.8.1 Apache Licensed Code
  • 4.8.2 ANTLR 3.2
  • 4.8.3 Apache Ant 1.7.1
  • 4.8.4 Apache Xerces 2.9.1
  • 4.8.5 Apache XMLBeans 2.3, 2.5
  • 4.8.6 Jackson 1.8.8
  • 4.8.7 Woodstox XML Parser 4.2.0

5 Oracle XQuery for Hadoopリファレンス

• Avroファイル・アダプタ
  • Avroファイルを読み取る組込み関数
    • avro:collection-avroxml
    • avro:get
  • Avroコンテナ・ファイルを読み取るカスタム関数
  • Avroファイルを書き込むカスタム関数
  • Avroファイル・アダプタの関数の例
  • AvroとXML間の値の変換について
    • XMLとしてのAvroの読取り
    • AvroとしてのXMLの書込み
• JSONファイル・アダプタ
  • JSONを読み取る組込み関数
    • json:collection-jsonxml
    • json:parse-as-xml
    • json:get
  • JSONファイルを読み取るカスタム関数
  • JSON関数の例
  • JSONファイル・アダプタの構成プロパティ
  • XMLへのJSONデータ形式の変換について
    • JSONオブジェクトからXMLへの変換について
    • JSON配列からXMLへの変換について
    • 他のJSONタイプの変換について
• Oracle Databaseアダプタ
  • Oracle Databaseに書き込むカスタム関数
  • Oracle Databaseアダプタの関数の例
  • Oracle Loader for Hadoop構成プロパティおよび対応する%oracle-property注釈
• Oracle NoSQL Databaseアダプタ
  • Oracle NoSQL Databaseアダプタを使用するための前提条件
  • Oracle NoSQL Databaseに対して読取りおよび書込みを実行する組込み関数
    • kv:collection-text
    • kv:collection-avroxml
    • kv:collection-xml
    • kv:collection-binxml
    • kv:collection-tika
    • kv:put-text
    • kv:put-xml
    • kv:put-binxml
    • kv:get-text
    • kv:get-avroxml
    • kv:get-xml
    • kv:get-binxml
    • kv:get-tika
    • kv:key-range
    • kv:key-range
  • Oracle NoSQL Databaseから値を読み取るカスタム関数
  • Oracle NoSQL Databaseから単一値を取得するためのカスタム関数
  • Oracle NoSQL Databaseに書き込むカスタム関数
  • Oracle NoSQL Databaseアダプタの関数の例
  • Oracle NoSQL Databaseアダプタの構成プロパティ
• 順序ファイル・アダプタ
  • 順序ファイルの読取りおよび書込みを実行する組込み関数
    • seq:collection
    • seq:collection-xml
    • seq:collection-binxml
    • seq:collection-tika
    • seq:put
    • seq:put-xml
    • seq:put-binxml
  • 順序ファイルを読み取るカスタム関数
  • 順序ファイルを書き込むカスタム関数
  • 順序ファイル・アダプタの関数の例
• Solrアダプタ
  • Solrアダプタを使用するための前提条件
    • 構成設定
    • Solrアダプタを使用した問合せの例
  • データをSolrサーバーにロードするための組込み関数
    • solr:put
  • データをSolrサーバーにロードするためのカスタム関数
  • Solrアダプタの関数の例
  • Solrアダプタ構成プロパティ
• テキスト・ファイル・アダプタ
  • テキスト・ファイルの読取りおよび書込みを実行する組込み関数
    • text:collection
    • text:collection-xml
    • text:put
    • text:put-xml
    • text:trace
  • テキスト・ファイルを読み取るカスタム関数
  • テキスト・ファイルを書き込むカスタム関数
  • テキスト・ファイル・アダプタの関数の例
• Tikaファイル・アダプタ
  • Tikaを使用してファイルを解析するための組込みライブラリ関数
    • tika:collection
    • tika:parse
  • Tikaを使用してファイルを解析するためのカスタム関数
  • Tikaパーサーの出力形式
  • Tikaアダプタの構成プロパティ
  • Tikaファイル・アダプタの関数の例
• XMLファイル・アダプタ
  • XMLファイルを読み取る組込み関数
    • xmlf:collection (単一のタスク)
    • xmlf:collection (複数のタスク)
  • XMLファイルを読み取るカスタム関数
  • XMLファイル・アダプタの関数の例
• ユーティリティ・モジュール
  • 期間、日付および時間の関数
    • ora-fn:date-from-string-with-format
    • ora-fn:date-to-string-with-format
    • ora-fn:dateTime-from-string-with-format
    • ora-fn:dateTime-to-string-with-format
    • ora-fn:time-from-string-with-format
    • ora-fn:time-to-string-with-format
    • Format引数
    • Locale引数
  • 文字列関数
    • ora-fn:pad-left
    • ora-fn:pad-right
    • ora-fn:trim
    • ora-fn:trim-left
    • ora-fn:trim-right
• Hadoopモジュール
  • Hadoopを使用するための組込み関数
    • oxh:find
    • oxh:increment-counter
    • oxh:println
    • oxh:println-xml
    • oxh:property
• シリアライズ注釈

6 Oracle XML Extensions for Hive

• 6.1 XML Extensions for Hiveとは
• 6.2 Hive拡張の使用
• 6.3 Hive関数について
• 6.4 XML表の作成
  • 6.4.1 XML表に対するHiveのCREATE TABLE構文
  • 6.4.2 CREATE TABLE構成プロパティ
  • 6.4.3 CREATE TABLEの例
    • 6.4.3.1 構文の例
    • 6.4.3.2 簡単な例
    • 6.4.3.3 OpenStreetMapの例
• Hive用のOracle XML関数のリファレンス
  • データ型変換
  • 外部ファイルへのHiveアクセス
• 関数のオンライン・マニュアル
• xml_exists
• xml_query
• xml_query_as_primitive
• xml_table

第IV部 Oracle R Advanced Analytics for Hadoop

7 Oracle R Advanced Analytics for Hadoopの使用

• 7.1 Oracle R Advanced Analytics for Hadoopについて
  • 7.1.1 Oracle R Advanced Analytics for Hadoopアーキテクチャ
  • 7.1.2 Oracle R Advanced Analytics for Hadoopパッケージおよび関数
  • 7.1.3 Oracle R Advanced Analytics for HadoopのAPI
  • 7.1.4 Oracle R Advanced Analytics for Hadoopへの入力
• 7.2 HDFSファイルへのアクセス
• 7.3 Apache Hiveへのアクセス
  • 7.3.1 HiveのORCH関数
  • 7.3.2 HiveのORE関数
  • 7.3.3 Hiveでサポートされる一般的なR関数
  • 7.3.4 Hiveデータ型のサポート
  • 7.3.5 Hiveアクセスの使用上の注意
  • 7.3.6 例: Oracle R Advanced Analytics for HadoopへのHive表のロード
• 7.4 Oracle Databaseへのアクセス
  • 7.4.1 Oracle Databaseアクセスの使用上の注意
  • 7.4.2 Oracle R EnterpriseでOracle R Advanced Analytics for Hadoopを使用する場合のシナリオ
• 7.5 Oracle R Advanced Analytics for Hadoop関数
  • 7.5.1 ネイティブ分析関数
  • 7.5.2 Hadoop Distributed File System (HDFS)の使用
  • 7.5.3 Apache Hiveの使用
  • 7.5.4 Hiveでの集計関数の使用
  • 7.5.5 データベース接続の確立
  • 7.5.6 データのコピーおよびHDFSファイルの操作
  • 7.5.7 Rデータ型への変換
  • 7.5.8 MapReduceの使用
  • 7.5.9 スクリプトのデバッグ
• 7.6 Oracle R Advanced Analytics for Hadoop関数のデモ
• 7.7 Oracle R Advanced Analytics for Hadoopのセキュリティ上の注意

索引