目次

• タイトルおよび著作権情報
• はじめに
  • 対象読者
  • ドキュメントのアクセシビリティについて
  • 関連ドキュメント
  • テキストの表記規則
  • 構文の表記規則
  • Oracle Big Data Connectorsリリース5.1の変更点
• 第I部 設定
  • 1 Oracle Big Data Connectorsを使用する前に
    • Oracle Big Data Connectorsについて
    • ビッグ・データの概念とテクノロジ
      • MapReduceとは
      • Apache Hadoopとは
    • Oracle Big Data Connectorsのダウンロードとインストール
    • 動作保証されたHadoopプラットフォーム
    • Oracle Databaseへのセキュアな接続
      • JDBC SSLの使用
      • セキュアな外部JavaキーストアおよびHadoop資格証明コマンドの使用
    • Oracle SQL Connector for Hadoop Distributed File Systemの設定
      • ソフトウェア要件
      • Oracle DatabaseシステムへのHadoopクライアントのインストールと構成
      • Oracle SQL Connector for HDFSのインストールと構成
      • OSCHユーザーのOracle Database権限
      • OSCHユーザーのOSレベル要件
      • セキュアなHadoopクラスタでのOracle SQL Connector for HDFSの使用
    • Oracle Loader for Hadoopの設定
      • ソフトウェア要件
      • Oracle Loader for Hadoopのインストール
      • OLHユーザーのOracle Database権限
      • オフライン・データベース・モードのサポート
      • セキュアなHadoopクラスタでのOracle Loader for Hadoopの使用
    • Oracle Shell for Hadoop Loadersの設定
      • HadoopノードでのOracle Shell for Hadoop Loadersのインストール
      • OHSHユーザーのOracle Database権限
      • ジョブ監視を有効にするOHSHの構成
    • Oracle XQuery for Hadoopの設定
      • ソフトウェア要件
      • Oracle XQuery for Hadoopのインストール
      • ファイル・パスのトラブルシューティング
      • Oracle XQuery for HadoopアクションのOozieの構成
    • Oracle R Advanced Analytics for Hadoopの設定
      • Hadoopへのソフトウェアのインストール
        • サードパーティHadoopクラスタのソフトウェア要件
        • サードパーティHadoopクラスタへのSqoopのインストール
        • サードパーティHadoopクラスタへのHiveのインストール
        • HadoopクライアントへのRのインストール
        • サードパーティHadoopクラスタへのRのインストール
        • サードパーティHadoopクラスタへのORCHパッケージのインストール
      • 追加のRパッケージのインストール
      • Rユーザーへのリモート・クライアント・アクセスの提供
        • リモート・クライアント・アクセスのソフトウェア要件
        • Hadoopクライアントとしてのサーバーの構成
        • HadoopクライアントへのSqoopのインストール
        • HadoopクライアントへのRのインストール
        • HadoopクライアントへのORCHパッケージのインストール
        • Oracle R Enterpriseクライアントのパッケージ(オプション)のインストール
    • Oracle Data Integrator
    • Oracle Datasource for Apache Hadoopの設定
      • HiveServer2の構成
• 第II部 Oracle Databaseのコネクタ
  • 2 Oracle Shell for Hadoop Loaders
    • Oracle Shell for Hadoop Loadersとは
    • Oracle Shell for Hadoop Loaders (OHSH)の構成
    • Oracle Shell for Hadoop Loadersを使用する前に
    • Oracle Database表のロード
  • 3 Oracle SQL Connector for Hadoop Distributed File System
    • Oracle SQL Connector for HDFSについて
    • Oracle SQL Connector for HDFSのインタフェース
    • Oracle SQL Connector for HDFSを使用する前に
    • システムへのOracle SQL Connector for HDFSの構成
    • Oracle Big Data ApplianceおよびOracle ExadataとのOracle SQL Connector for HDFSの使用
    • ExternalTableコマンドライン・ツールの使用
      • ExternalTableの概要
      • ExternalTableコマンドライン・ツールの構文
    • 外部表の作成
      • ExternalTableツールによる外部表の作成
      • データ・ポンプ形式ファイルからの外部表の作成
        • 必須プロパティ
        • オプションのプロパティ
        • データ・ポンプ形式ファイルのXMLファイルのプロパティの定義
        • 例
      • Hive表からの外部表の作成
        • Hive表の要件
        • データ型のマッピング
        • 必須プロパティ
        • オプションのプロパティ
        • Hive表のXMLファイルのプロパティの定義
        • 例
        • パーティション化Hive表からの外部表の作成
          • パーティション化Hive表に対するアクセスをサポートするデータベース・オブジェクト
          • メタデータ表の問合せ
          • 問合せのためのUNION ALLビューの作成
          • エラー・メッセージ
          • ダングリング・オブジェクトの削除
      • デリミタ付きテキスト・ファイルからの外部表の作成
        • データ型のマッピング
        • 必須プロパティ
        • オプションのプロパティ
        • デリミタ付きテキスト・ファイルのXMLファイルのプロパティの定義
        • 例
      • SQLでの外部表の作成
    • 外部表の更新
      • 公開用のExternalTable構文
      • 公開用のExternalTableの例
    • 外部表および場所ファイルの調査
      • 情報表示のためのExternalTable構文
      • 情報表示のためのExternalTableの例
    • Oracle SQL Connector for HDFSで作成されたデータベース・オブジェクトの削除
      • 削除のためのExternalTable構文
      • 削除のためのExternalTableの例
    • ExternalTableツールで生成された外部表の詳細
      • 構成可能な列マッピングの概要
        • デフォルトの列マッピング
        • すべての列のオーバーライド
        • 1つの列のオーバーライド
        • マッピングのオーバーライドの例
      • 場所ファイルとは
      • 並列処理の有効化
        • 並列度の設定
      • 場所ファイルの管理
      • 場所ファイルの名前
    • Oracle SQL Connector for HDFSの構成
      • 構成ファイルの作成
      • Oracle SQL Connector for HDFS構成プロパティ・リファレンス
    • HDFS内のデータの問合せのパフォーマンスに関するヒント
  • 4 Oracle Loader for Apache Hadoop
    • Oracle Loader for Hadoopとは
    • Oracle Loader For Hadoopのインタフェース
    • Hadoopコマンドライン・ユーティリティによるOracle Loader for Hadoopの使用
      • Oracle Loader for Hadoopのインタフェース
        • オンライン・データベース・モード
        • オフライン・データベース・モード
      • ターゲット表の作成
        • ターゲット表でサポートされるデータ型
        • ターゲット表でサポートされるパーティション化方式
        • 圧縮
      • ジョブ構成ファイルの作成
      • SSLおよびOracleウォレットを使用したOracle Databaseへのセキュアな接続の確立
        • Oracleウォレットの使用
        • JDBC SSLの使用
          • JDBC SSLを使用したOracle Databaseへの接続
        • ターゲット表メタデータの生成(オフライン・データベース・モードの場合)
      • 入力形式の概要
        • デリミタ付きテキスト入力形式
          • DelimitedTextInputFormatの概要
          • 必須の構成プロパティ
          • オプションの構成プロパティ
        • 複合テキスト入力形式
          • RegexInputFormatの概要
          • 必須の構成プロパティ
          • オプションの構成プロパティ
        • Hive表入力形式
          • HiveToAvroInputFormatの概要
          • 必須の構成プロパティ
          • オプションの構成プロパティ
        • Avro入力形式
          • 構成プロパティ
        • Oracle NoSQL Database入力形式
          • KVAvroInputFormatの概要
          • 必須の構成プロパティ
        • カスタム入力形式
          • カスタム入力形式の実装の概要
          • エラー処理の概要
          • データ・サンプリングのサポート
          • InputFormatのサンプル・ソース・コード
      • ターゲット表列への入力フィールドのマッピング
        • 自動マッピング
        • 手動マッピング
        • 手動マッピング: 例
      • 出力形式の概要
        • JDBC出力形式
          • JDBCOutputFormatの概要
          • 構成プロパティ
        • Oracle OCIダイレクト・パス出力形式
          • OCIOutputFormatの概要
          • 構成プロパティ
        • デリミタ付きテキスト出力形式
          • DelimitedTextOutputFormatの概要
          • 構成プロパティ
        • Oracle Data Pump出力形式
          • DataPumpOutputFormatの概要
      • ローダー・ジョブの実行
        • Hive入力形式のJARファイルの指定
        • Oracle NoSQL Database入力形式のJARファイルの指定
        • ジョブのレポート作成
      • 拒否されたレコードの処理
        • 拒否されたレコードの不正なファイルへの記録
        • ジョブの拒否制限の設定
      • パーティション化表にデータをロードする場合のロード・バランシング
        • サンプリング機能の使用
        • ロード・バランシングのチューニング
        • サンプリング動作のチューニング
        • Oracle Loader for Hadoopがサンプラのパーティション化スキームを使用するのはどのような場合か
        • メモリーの問題の解決
        • サンプリング機能のプロパティの値が無効な場合
      • Oracleエンジニアド・システム間の通信の最適化
    • Oracle Loader for Hadoop構成プロパティ・リファレンス
• 第III部 Oracle XQuery for Apache Hadoop
  • 5 Oracle XQuery for Apache Hadoopの使用
    • Oracle XQuery for Hadoopとは
    • Oracle XQuery for Hadoopを使用する前に
      • 基本的なステップ
      • 例: Hello World!
    • Oracle XQuery for Hadoopの関数について
      • アダプタについて
      • Oracle XQuery for Hadoopで使用する他のモジュールについて
    • XQuery変換の作成
      • XQuery変換の要件
      • XQuery言語のサポートについて
      • Hadoop分散キャッシュのデータへのアクセス
      • XQueryからのカスタムJava関数の呼出し
      • ユーザー定義のXQueryライブラリ・モジュールおよびXMLスキーマのアクセス
      • XQuery変換の例
    • 問合せの実行
      • Oracle XQuery for Hadoopのオプション
      • 汎用オプション
      • ローカルでの問合せの実行について
    • Apache Oozieからの問合せの実行
      • Hadoopアクション用のOracle XQueryでのOozieの使用
      • サポートされているXML要素
      • 例: Hello World
    • Oracle XQuery for Hadoopの構成プロパティ
  • 6 Oracle XQuery for Apache Hadoopリファレンス
    • Avroファイル・アダプタ
      • Avroファイルを読み取る組込み関数
        • avro:collection-avroxml
        • avro:get
      • Avroコンテナ・ファイルを読み取るカスタム関数
      • Avroファイルを書き込むカスタム関数
      • Avroファイル・アダプタの関数の例
      • AvroとXML間の値の変換について
        • XMLとしてのAvroの読取り
          • レコードの読取り
          • マップの読取り
          • 配列の読取り
          • 共用体の読取り
          • プリミティブの読取り
        • AvroとしてのXMLの書込み
          • レコードの書込み
          • マップの書込み
          • 配列の書込み
          • 共用体の書込み
          • プリミティブの書込み
    • JSONファイル・アダプタ
      • JSONを読み取る組込み関数
        • json:collection-jsonxml
        • json:parse-as-xml
        • json:get
      • JSONファイルを読み取るカスタム関数
      • JSON関数の例
      • JSONファイル・アダプタの構成プロパティ
      • XMLへのJSONデータ形式の変換について
        • JSONオブジェクトからXMLへの変換について
        • JSON配列からXMLへの変換について
        • 他のJSONタイプの変換について
    • Oracle Databaseアダプタ
      • Oracle Databaseに書き込むカスタム関数
      • Oracle Databaseアダプタの関数の例
      • Oracle Loader for Hadoop構成プロパティおよび対応する%oracle-property注釈
    • Oracle NoSQL Databaseアダプタ
      • Oracle NoSQL Databaseアダプタを使用するための前提条件
      • Oracle NoSQL Databaseに対して読取りおよび書込みを実行する組込み関数
        • kv:collection-text
        • kv:collection-avroxml
        • kv:collection-xml
        • kv:collection-binxml
        • kv:collection-tika
        • kv:put-text
        • kv:put-xml
        • kv:put-binxml
        • kv:get-text
        • kv:get-avroxml
        • kv:get-xml
        • kv:get-binxml
        • kv:get-tika
        • kv:key-range
        • kv:key-range
      • 表APIを使用してOracle NoSQL Databaseに対して読取りおよび書込みを実行する組込み関数
        • kv-table:collection-jsontext
        • kv-table:get-jsontext
        • kv-table:put-jsontext
      • ラージ・オブジェクトAPIを使用してOracle NoSQL Databaseに対して読取りおよび書込みを実行する組込み関数
        • kv-lob:get-text
        • kv-lob:get-xml
        • kv-lob:get-binxml
        • kv-lob:get-tika
        • kv-lob:put-text
        • kv-lob:put-xml
        • kv-lob:put-binxml
      • Oracle NoSQL Databaseから値を読み取るカスタム関数
      • Oracle NoSQL Databaseから単一値を取得するためのカスタム関数
      • 表APIを使用してOracle NoSQL Databaseから値を読み取るカスタム関数
      • 表APIを使用してOracle NoSQL Databaseから単一列を読み取るカスタム関数
      • ラージ・オブジェクトAPIを使用してOracle NoSQL Databaseから単一値を取得するためのカスタム関数
      • Oracle NoSQL Databaseに書き込むカスタム関数
      • 表APIを使用してOracle NoSQL Databaseに値を書き込むカスタム関数
      • ラージ・オブジェクトAPIを使用してOracle NoSQL Databaseに値を書き込むカスタム関数
      • Oracle NoSQL Databaseアダプタの関数の例
      • Oracle NoSQL Databaseアダプタの構成プロパティ
    • 順序ファイル・アダプタ
      • 順序ファイルの読取りおよび書込みを実行する組込み関数
        • seq:collection
        • seq:collection-xml
        • seq:collection-binxml
        • seq:collection-tika
        • seq:put
        • seq:put-xml
        • seq:put-binxml
      • 順序ファイルを読み取るカスタム関数
      • 順序ファイルを書き込むカスタム関数
      • 順序ファイル・アダプタの関数の例
    • Solrアダプタ
      • Solrアダプタを使用するための前提条件
        • 構成設定
        • Solrアダプタを使用した問合せの例
      • データをSolrサーバーにロードするための組込み関数
        • solr:put
      • データをSolrサーバーにロードするためのカスタム関数
      • Solrアダプタの関数の例
      • Solrアダプタ構成プロパティ
    • テキスト・ファイル・アダプタ
      • テキスト・ファイルの読取りおよび書込みを実行する組込み関数
        • text:collection
        • text:collection-xml
        • text:put
        • text:put-xml
        • text:trace
      • テキスト・ファイルを読み取るカスタム関数
      • テキスト・ファイルを書き込むカスタム関数
      • テキスト・ファイル・アダプタの関数の例
    • Tikaファイル・アダプタ
      • Tikaを使用してファイルを解析するための組込みライブラリ関数
        • tika:collection
        • tika:parse
      • Tikaを使用してファイルを解析するためのカスタム関数
      • Tikaパーサーの出力形式
      • Tikaアダプタの構成プロパティ
      • Tikaファイル・アダプタの関数の例
    • XMLファイル・アダプタ
      • XMLファイルを読み取る組込み関数
        • xmlf:collection (単一のタスク)
        • xmlf:collection-multipart (単一のタスク)
        • xmlf:collection (複数のタスク)
      • XMLファイルを読み取るカスタム関数
      • XMLファイル・アダプタの関数の例
    • ユーティリティ・モジュール
      • 期間、日付および時刻のOracle XQuery関数
        • ora-fn:date-from-string-with-format
        • ora-fn:date-to-string-with-format
        • ora-fn:dateTime-from-string-with-format
        • ora-fn:dateTime-to-string-with-format
        • ora-fn:time-from-string-with-format
        • ora-fn:time-to-string-with-format
        • Format引数
        • Locale引数
      • 文字列のOracle XQuery関数
        • ora-fn:pad-left
        • ora-fn:pad-right
        • ora-fn:trim
        • ora-fn:trim-left
        • ora-fn:trim-right
    • Hadoopモジュール
      • Hadoopを使用するための組込み関数
        • oxh:find
        • oxh:increment-counter
        • oxh:println
        • oxh:println-xml
        • oxh:property
    • シリアライズ注釈
  • 7 Oracle XML Extensions for Hive
    • XML Extensions for Hiveとは
    • コマンドラインからのHive拡張の使用
    • HiveServer2でのHive拡張の使用
    • Hive関数について
    • Hive関数の永続的宣言
    • XML表の作成
      • XML表に対するHiveのCREATE TABLE構文
      • CREATE TABLE構成プロパティ
      • CREATE TABLEの例
        • 構文の例
        • 簡単な例
        • OpenStreetMapの例
    • Hive用のOracle XML関数のリファレンス
      • データ型変換
      • 外部ファイルへのHiveアクセス
    • 関数のオンライン・マニュアル
    • xml_exists
    • xml_query
    • xml_query_as_primitive
    • xml_table
• 第IV部 Oracle R Advanced Analytics for Apache Hadoop
  • 8 Oracle R Advanced Analytics for Apache Hadoop
    • Oracle R Advanced Analytics for Hadoopについて
      • Oracle R Advanced Analytics for Hadoopアーキテクチャ
      • Oracle R Advanced Analytics for Hadoopパッケージおよび関数
      • Oracle R Advanced Analytics for HadoopのAPI
      • Oracle R Advanced Analytics for Hadoopへの入力
    • HDFSファイルへのアクセス
    • Apache Hiveへのアクセス
      • HiveのORCH関数
      • HiveのORE関数
      • Hiveでサポートされる一般的なR関数
      • Hiveデータ型のサポート
      • Hiveアクセスの使用上のノート
      • 例: Oracle R Advanced Analytics for HadoopへのHive表のロード
    • Oracle Databaseへのアクセス
      • Oracle Databaseアクセスの使用上のノート
      • Oracle R EnterpriseでOracle R Advanced Analytics for Hadoopを使用する場合のシナリオ
    • Oracle R Advanced Analytics for Hadoop関数
      • ネイティブ分析関数
      • Hadoop Distributed File System (HDFS)の使用
      • Apache Hiveの使用
      • Hiveでの集計関数の使用
      • データベース接続の確立
      • データのコピーおよびHDFSファイルの操作
      • Rデータ型への変換
      • MapReduceの使用
      • スクリプトのデバッグ
    • Oracle R Advanced Analytics for Hadoop関数のデモ
    • Oracle R Advanced Analytics for Hadoopのセキュリティ上のノート
• 第V部 Oracle DataSource for Apache Hadoop
  • 9 Oracle DataSource for Apache Hadoop (OD4H)
    • 業務系データ、ビッグ・データおよび要件
    • Oracle DataSource for Apache Hadoop (OD4H)の概要
      • Hadoop 2.xを活用できる状況
      • Hadoopデータ・ソースとしてのOracle表
      • 外部表
        • TBLPROPERTIES
        • SERDE PROPERTIES
      • OD4Hパッケージ内のjarのリスト
    • OD4Hの動作方法
      • Oracle Database表の作成または既存の表の再利用
      • Hive DDL
      • Hiveでの外部表の作成
    • OD4Hの機能
      • パフォーマンスおよびスケーラビリティ機能
        • スプリッタ
        • スプリッタの選択
        • 述語のプッシュダウン
        • 予測のプッシュダウン
        • パーティション・プルーニング
      • スマート接続管理
      • セキュリティ機能
        • 認証の改善
    • OD4HでのHiveQLの使用
    • OD4HでのSpark SQLの使用
    • Oracle Databaseへの書込み
• 付録
  • A OraLoaderMetadataユーティリティ
  • B OracleのKafka用Hiveストレージ・ハンドラを使用したKafkaトピック用Hive外部表の作成
  • C Apacheのライセンス
    • Apacheライセンス・コード
  • D Oracle Big Data Connectorsのアクセシビリティ推奨事項
    • スクリーン・リーダーおよびブライユ点字の表示の使用上のヒント
    • 拡大表示の使用上のヒント
  • E Big Data Connectorのその他のリソース
  • F 最近の変更履歴
    • Oracle Big Data Connectorsリリース4.12の変更点
• 索引