目次

タイトルおよび著作権情報

はじめに

• 対象読者
• ドキュメントのアクセシビリティについて
• 関連ドキュメント
• テキストの表記規則
• 構文の表記規則

Oracle Big Data Connectorsユーザーズ・ガイドのこのリリースでの変更点

• Oracle Big Data Connectorsリリース2 (2.2)の変更点
• Oracle Big Data Connectorsリリース2 (2.0)の変更点

1 Oracle Big Data Connectorsを使用する前に

• 1.1 Oracle Big Data Connectorsについて
• 1.2 ビッグ・データの概念とテクノロジ
  • 1.2.1 MapReduceとは
  • 1.2.2 Apache Hadoopとは
• 1.3 Oracle Big Data Connectorsソフトウェアのダウンロード
• 1.4 Oracle SQL Connector for Hadoop Distributed File Systemの設定
  • 1.4.1 ソフトウェア要件
  • 1.4.2 Hadoopクライアントのインストールと構成
  • 1.4.3 Oracle SQL Connector for HDFSのインストール
  • 1.4.4 Hive表のサポート
  • 1.4.5 Oracle Databaseに対するユーザー・アクセス権の付与
  • 1.4.6 Oracle Databaseシステムへのユーザー・アカウントの設定
  • 1.4.7 Hadoopクラスタへのユーザー・アカウントの設定
• 1.5 Oracle Loader for Hadoopの設定
  • 1.5.1 ソフトウェア要件
  • 1.5.2 Oracle Loader for Hadoopのインストール
  • 1.5.3 オフライン・データベース・モードのサポート
• 1.6 Oracle Data Integrator Application Adapter for Hadoopの設定
  • 1.6.1 システム要件および動作要件
  • 1.6.2 テクノロジ固有の要件
  • 1.6.3 Oracle Data Integrator Application Adapter for Hadoopの場所
  • 1.6.4 トポロジの設定
• 1.7 Oracle R Connector for Hadoopの設定
  • 1.7.1 Hadoopへのソフトウェアのインストール
    • 1.7.1.1 サードパーティHadoopクラスタのソフトウェア要件
    • 1.7.1.2 HadoopクラスタへのSqoopのインストール
    • 1.7.1.3 HadoopクラスタへのHiveのインストール
    • 1.7.1.4 HadoopクラスタへのRのインストール
    • 1.7.1.5 HadoopクラスタへのORCHパッケージのインストール
  • 1.7.2 追加のRパッケージのインストール
  • 1.7.3 Rユーザーへのリモート・クライアント・アクセスの提供
    • 1.7.3.1 リモート・クライアント・アクセスのソフトウェア要件
    • 1.7.3.2 Hadoopクライアントとしてのサーバーの構成
    • 1.7.3.3 HadoopクライアントへのSqoopのインストール
    • 1.7.3.4 HadoopクライアントへのRのインストール
    • 1.7.3.5 HadoopクライアントへのORCHパッケージのインストール
    • 1.7.3.6 Oracle R Enterpriseクライアントのパッケージ(オプション)のインストール

2 Oracle SQL Connector for Hadoop Distributed File System

• 2.1 Oracle SQL Connector for HDFSについて
• 2.2 Oracle SQL Connector for HDFSを使用する前に
• 2.3 システムへのOracle SQL Connector for HDFSの構成
• 2.4 ExternalTableコマンドライン・ツールの使用方法
  • 2.4.1 外部表の概要
  • 2.4.2 ExternalTableコマンドライン・ツールの構文
• 2.5 外部表の作成
  • 2.5.1 ExternalTableツールによる外部表の作成
  • 2.5.2 データ・ポンプ形式ファイルからの外部表の作成
    • 2.5.2.1 必須プロパティ
    • 2.5.2.2 オプションのプロパティ
    • 2.5.2.3 データ・ポンプ形式ファイルのXMLファイルのプロパティの定義
    • 2.5.2.4 例
  • 2.5.3 Hive表からの外部表の作成
    • 2.5.3.1 Hive表の要件
    • 2.5.3.2 必須プロパティ
    • 2.5.3.3 オプションのプロパティ
    • 2.5.3.4 Hive表のXMLファイルのプロパティの定義
    • 2.5.3.5 例
  • 2.5.4 デリミタ付きテキスト・ファイルからの外部表の作成
    • 2.5.4.1 必須プロパティ
    • 2.5.4.2 オプションのプロパティ
    • 2.5.4.3 デリミタ付きテキスト・ファイルのXMLファイルのプロパティの定義
    • 2.5.4.4 例
  • 2.5.5 SQLでの外部表の作成
• 2.6 HDFSデータ・パスの公開
• 2.7 場所ファイルのメタデータと内容のリスト
• 2.8 外部表の説明
• 2.9 ExternalTableツールで生成された外部表の詳細
  • 2.9.1 場所ファイルとは
  • 2.9.2 並列処理の有効化
  • 2.9.3 場所ファイルの管理
  • 2.9.4 場所ファイルの名前
• 2.10 Oracle SQL Connector for HDFSの構成
  • 2.10.1 構成ファイルの作成
  • 2.10.2 Oracle SQL Connector for HDFS構成プロパティ・リファレンス
• 2.11 HDFS内のデータの問合せのパフォーマンスに関するヒント

3 Oracle Loader for Hadoop

• 3.1 Oracle Loader for Hadoopとは
• 3.2 操作モードの概要
  • 3.2.1 オンライン・データベース・モード
  • 3.2.2 オフライン・データベース・モード
• 3.3 Oracle Loader for Hadoopを使用する前に
• 3.4 ターゲット表の作成
  • 3.4.1 ターゲット表でサポートされるデータ型
  • 3.4.2 ターゲット表でサポートされるパーティション化方式
• 3.5 ジョブ構成ファイルの作成
• 3.6 ターゲット表のメタデータの概要
  • 3.6.1 オンライン・データベース・モードの接続詳細の指定
  • 3.6.2 ターゲット表メタデータの生成(オフライン・データベース・モードの場合)
    • 3.6.2.1 OraLoaderMetadataユーティリティ
• 3.7 入力形式の概要
  • 3.7.1 デリミタ付きテキスト入力形式
    • 3.7.1.1 DelimitedTextInputFormatの概要
    • 3.7.1.2 必須の構成プロパティ
    • 3.7.1.3 オプションの構成プロパティ
  • 3.7.2 複合テキスト入力形式
    • 3.7.2.1 RegexInputFormatの概要
    • 3.7.2.2 必須の構成プロパティ
    • 3.7.2.3 オプションの構成プロパティ
  • 3.7.3 Hive表入力形式
    • 3.7.3.1 HiveToAvroInputFormatの概要
    • 3.7.3.2 必須の構成プロパティ
  • 3.7.4 Avro入力形式
    • 3.7.4.1 構成プロパティ
  • 3.7.5 Oracle NoSQL Database入力形式
    • 3.7.5.1 KVAvroInputFormatの概要
    • 3.7.5.2 必須の構成プロパティ
  • 3.7.6 カスタム入力形式
    • 3.7.6.1 カスタム入力形式の実装の概要
    • 3.7.6.2 エラー処理の概要
    • 3.7.6.3 データ・サンプリングのサポート
    • 3.7.6.4 InputFormatのサンプル・ソース・コード
• 3.8 ターゲット表列への入力フィールドのマッピング
  • 3.8.1 自動マッピング
  • 3.8.2 手動マッピング
    • 3.8.2.1 ローダー・マップの作成
    • 3.8.2.2 サンプル・ローダー・マップ
• 3.9 出力形式の概要
  • 3.9.1 JDBC出力書式
    • 3.9.1.1 JDBCOutputFormatの概要
    • 3.9.1.2 構成プロパティ
  • 3.9.2 Oracle OCIダイレクト・パス出力形式
    • 3.9.2.1 OCIOutputFormatの概要
    • 3.9.2.2 構成プロパティ
    • 3.9.2.3 追加構成要件
  • 3.9.3 デリミタ付きテキスト出力形式
    • 3.9.3.1 DelimitedTextOutputFormatの概要
    • 3.9.3.2 構成プロパティ
  • 3.9.4 Oracle Data Pump出力形式
    • 3.9.4.1 DataPumpOutputFormatの概要
• 3.10 ローダー・ジョブの実行
  • 3.10.1 Hive入力形式のJARファイルの指定
  • 3.10.2 Oracle NoSQL Database入力形式のJARファイルの指定
  • 3.10.3 ジョブのレポート作成
• 3.11 拒否されたレコードの処理
  • 3.11.1 拒否されたレコードの不正なファイルへのロギング
  • 3.11.2 ジョブの拒否制限の設定
• 3.12 パーティション化表にデータをロードする場合のロード・バランシング
  • 3.12.1 サンプリング機能の使用方法
  • 3.12.2 ロード・バランシングのチューニング
  • 3.12.3 サンプリング動作のチューニング
  • 3.12.4 Oracle Loader for Hadoopがサンプラのパーティション化スキームを使用するのはどのような場合か
  • 3.12.5 メモリーの問題の解決
  • 3.12.6 サンプリング機能のプロパティの値が無効な場合
• 3.13 Oracleエンジニアド・システム間の通信の最適化
• 3.14 Oracle Loader for Hadoop構成プロパティ・リファレンス
• 3.15 同梱されているソフトウェアのサードパーティ・ライセンス
  • 3.15.1 Apache Licensed Code
  • 3.15.2 Apache Avro 1.7.3
  • 3.15.3 Apache Commons Mathematics Library 2.2
  • 3.15.4 Jackson JSON 1.8.8

4 Oracle Data Integrator Application Adapter for Hadoop

• 4.1 概要
  • 4.1.1 概念
  • 4.1.2 ナレッジ・モジュール
  • 4.1.3 セキュリティ
• 4.2 トポロジの設定
  • 4.2.1 ファイル・データソースの設定
  • 4.2.2 Hiveデータソースの設定
  • 4.2.3 Hadoopジョブを実行するためのOracle Data Integratorエージェントの設定
  • 4.2.4 ローカル・エージェントでHadoopジョブを実行するためのOracle Data Integrator Studioの構成
• 4.3 統合プロジェクトの設定
• 4.4 HiveモデルのリバースエンジニアリングからのOracle Data Integratorモデルの作成
  • 4.4.1 モデルの作成
  • 4.4.2 Hive表のリバースエンジニアリング
• 4.5 インタフェースの設計
  • 4.5.1 ファイルからHiveへのデータのロード
  • 4.5.2 Hive内のデータの検証と変換
    • 4.5.2.1 IKM Hive Control Append
    • 4.5.2.2 CKM Hive
    • 4.5.2.3 IKM Hive Transform
  • 4.5.3 HiveおよびHDFSからOracle Databaseへのデータのロード

5 Oracle R Connector for Hadoop

• 5.1 Oracle R Connector for Hadoopについて
• 5.2 HDFSファイルへのアクセス
• 5.3 Hiveへのアクセス
  • 5.3.1 HiveのORE関数
  • 5.3.2 Hiveでサポートされる一般的なR関数
  • 5.3.3 Hiveデータ型のサポート
  • 5.3.4 Hiveアクセスの使用上の注意
  • 5.3.5 例: Oracle R Connector for HadoopへのHive表のロード
• 5.4 Oracle Databaseへのアクセス
  • 5.4.1 Oracle Databaseアクセスの使用上の注意
  • 5.4.2 Oracle R EnterpriseでOracle R Connector for Hadoopを使用する場合のシナリオ
• 5.5 Oracle R Connector for Hadoopの分析関数
• 5.6 ORCH mapred.configクラス
• 5.7 Oracle R Connector for Hadoopの例とデモ
  • 5.7.1 デモの使用方法
  • 5.7.2 例の使用方法
• 5.8 Oracle R Connector for Hadoopのセキュリティ上の注意

6 ORCHライブラリ・リファレンス

• 6.1 アルファベット順の関数
• 6.2 カテゴリ別の関数
  • 6.2.1 接続
  • 6.2.2 データのコピー
  • 6.2.3 ファイルの調査
  • 6.2.4 MapReduce関数の記述
  • 6.2.5 デバッグ・スクリプト
  • 6.2.6 Hiveデータの使用方法
  • 6.2.7 分析関数の記述
• hadoop.exec
• hadoop.run
• hdfs.attach
• hdfs.cd
• hdfs.cp
• hdfs.describe
• hdfs.download
• hdfs.exists
• hdfs.get
• 「hdfs.head」
• hdfs.id
• hdfs.ls
• hdfs.mkdir
• hdfs.mv
• hdfs.parts
• hdfs.pull
• hdfs.push
• hdfs.put
• hdfs.pwd
• hdfs.rm
• hdfs.rmdir
• hdfs.root
• hdfs.sample
• 「hdfs.setroot」
• hdfs.size
• 「hdfs.tail」
• hdfs.upload
• is.hdfs.id
• orch.connect
• orch.connected
• orch.dbcon
• orch.dbg.lasterr
• orch.dbg.off
• orch.dbg.on
• orch.dbg.output
• orch.dbinfo
• orch.disconnect
• orch.dryrun
• orch.export
• orch.keyval
• orch.keyvals
• orch.pack
• orch.reconnect
• orch.temp.path
• orch.unpack
• orch.version

索引