目次

タイトルおよび著作権情報

はじめに

• 対象読者
• ドキュメントのアクセシビリティについて
• 関連ドキュメント
• テキストの表記規則
• 構文の表記規則

Oracle Big Data Connectorsユーザーズ・ガイドのこのリリースでの変更点

• Oracle Big Data Connectorsリリース2 (2.0)の変更点

1 Oracle Big Data Connectorsを使用する前に

• 1.1 Oracle Big Data Connectorsについて
• 1.2 ビッグ・データの概念とテクノロジ
  • 1.2.1 MapReduceとは
  • 1.2.2 Apache Hadoopとは
• 1.3 Oracle Big Data Connectorsソフトウェアのダウンロード
• 1.4 Oracle SQL Connector for Hadoop Distributed File Systemの設定
  • 1.4.1 ソフトウェア要件
  • 1.4.2 Hadoopのインストールと構成
  • 1.4.3 Oracle SQL Connector for HDFSのインストール
  • 1.4.4 Oracle SQL Connector for HDFSに対するユーザー・アクセス権の付与
• 1.5 Oracle Loader for Hadoopの設定
  • 1.5.1 ソフトウェア要件
  • 1.5.2 Oracle Loader for Hadoopのインストール
• 1.6 Oracle Data Integrator Application Adapter for Hadoopの設定
  • 1.6.1 システム要件および動作要件
  • 1.6.2 テクノロジ固有の要件
  • 1.6.3 Oracle Data Integrator Application Adapter for Hadoopの場所
  • 1.6.4 トポロジの設定
• 1.7 Oracle R Connector for Hadoopの設定
  • 1.7.1 Hadoopへのソフトウェアのインストール
    • 1.7.1.1 サードパーティHadoopクラスタのソフトウェア要件
    • 1.7.1.2 HadoopクラスタへのSqoopのインストール
    • 1.7.1.3 HadoopクラスタへのHiveのインストール
    • 1.7.1.4 HadoopクラスタへのRのインストール
    • 1.7.1.5 HadoopクラスタへのORCHパッケージのインストール
  • 1.7.2 追加のRパッケージのインストール
  • 1.7.3 Rユーザーへのリモート・クライアント・アクセスの提供
    • 1.7.3.1 リモート・クライアント・アクセスのソフトウェア要件
    • 1.7.3.2 Hadoopクライアントとしてのサーバーの構成
    • 1.7.3.3 HadoopクライアントへのSqoopのインストール
    • 1.7.3.4 HadoopクライアントへのRのインストール
    • 1.7.3.5 HadoopクライアントへのORCHパッケージのインストール
    • 1.7.3.6 Oracle R Enterpriseクライアントのパッケージ(オプション)のインストール

2 Oracle SQL Connector for Hadoop Distributed File System

• 2.1 Oracle SQL Connector for HDFSについて
• 2.2 外部表について
  • 2.2.1 場所ファイルとは
  • 2.2.2 並列処理の有効化
  • 2.2.3 場所ファイルの管理
  • 2.2.4 場所ファイルの名前
• 2.3 ExternalTableコマンドライン・ツールの使用方法
  • 2.3.1 外部表について
  • 2.3.2 HADOOP_CLASSPATHの変更
  • 2.3.3 ExternalTableコマンドライン・ツールの構文
• 2.4 外部表の作成
  • 2.4.1 ExternalTableツールによる外部表の作成
  • 2.4.2 データ・ポンプ形式ファイルからの外部表の作成
    • 2.4.2.1 必須プロパティ
    • 2.4.2.2 オプションのプロパティ
    • 2.4.2.3 例
  • 2.4.3 Hive表からの外部表の作成
    • 2.4.3.1 Hive表の要件
    • 2.4.3.2 必須プロパティ
    • 2.4.3.3 オプションのプロパティ
    • 2.4.3.4 例
  • 2.4.4 デリミタ付きテキスト・ファイルからの外部表の作成
    • 2.4.4.1 必須プロパティ
    • 2.4.4.2 オプションのプロパティ
    • 2.4.4.3 例
  • 2.4.5 SQLでの外部表の作成
• 2.5 HDFSデータ・パスの公開
• 2.6 場所ファイルのメタデータと内容のリスト
• 2.7 外部表の説明
• 2.8 HDFS内のデータの問合せ
• 2.9 Oracle SQL Connector for HDFSの構成
  • 2.9.1 構成ファイルの作成
  • 2.9.2 構成プロパティ

3 Oracle Loader for Hadoop

• 3.1 Oracle Loader for Hadoopとは
• 3.2 Oracle Loader for Hadoopの使用方法
  • 3.2.1 InputFormatの実装
    • 3.2.1.1 HiveToAvroInputFormat
    • 3.2.1.2 DelimitedTextInputFormat
    • 3.2.1.3 RegexInputFormat
    • 3.2.1.4 AvroInputFormat
    • 3.2.1.5 KVAvroInputFormat
  • 3.2.2 loaderMapドキュメントの作成
    • 3.2.2.1 loaderMapドキュメントの例
  • 3.2.3 表のメタデータへのアクセス
    • 3.2.3.1 OraLoaderMetadataユーティリティの実行
  • 3.2.4 OraLoaderの起動
  • 3.2.5 Oracle Databaseへのファイルのロード(オフライン・ロードのみ)
    • 3.2.5.1 デリミタ付きテキスト・ファイルからOracle Databaseへのロード
• 3.3 OraLoader起動時の出力モード
  • 3.3.1 JDBC出力
  • 3.3.2 Oracle OCIダイレクト・パス出力
  • 3.3.3 デリミタ付きテキスト出力
  • 3.3.4 Oracle Data Pump出力
• 3.4 エラー処理と診断
  • 3.4.1 拒否されたレコードの不正なファイルへのロギング
  • 3.4.2 ジョブの拒否制限の設定
• 3.5 パーティション表にデータをロードする場合のロード・バランシング
  • 3.5.1 サンプリング機能の使用方法
  • 3.5.2 ロード・バランシングとサンプリング動作のチューニング
    • 3.5.2.1 ロード・バランシングをチューニングするプロパティ
    • 3.5.2.2 サンプリング動作をチューニングするプロパティ
  • 3.5.3 Oracle Loader for Hadoopは常にサンプラのパーティション化スキームを使用するのか
  • 3.5.4 サンプリング機能のプロパティの値が無効な場合
  • 3.5.5 ロード・バランシング機能に関する主な構成プロパティ
• 3.6 OraLoaderの構成プロパティ
  • 3.6.1 主なジョブ構成プロパティ
  • 3.6.2 一般的なプロパティ
• 3.7 Oracle Loader for Hadoopの使用例
• 3.8 ターゲット表の特性
  • 3.8.1 サポートされるデータ型
  • 3.8.2 サポートされるパーティション化方法
• 3.9 ローダー・マップXMLスキーマ定義
• 3.10 構成プロパティのXMLドキュメント
• 3.11 同梱されているソフトウェアのサードパーティ・ライセンス
  • 3.11.1 Apache Licensed Code
  • 3.11.2 Apache Avro 1.6.3
  • 3.11.3 Apache Commons Mathematics Library 2.2
  • 3.11.4 Jackson JSON 1.8.8

4 Oracle Data Integrator Application Adapter for Hadoop

• 4.1 概要
  • 4.1.1 概念
  • 4.1.2 ナレッジ・モジュール
  • 4.1.3 セキュリティ
• 4.2 トポロジの設定
  • 4.2.1 ファイル・データソースの設定
  • 4.2.2 Hiveデータソースの設定
  • 4.2.3 Hadoopジョブを実行するためのOracle Data Integratorエージェントの設定
  • 4.2.4 ローカル・エージェントでHadoopジョブを実行するためのOracle Data Integrator Studioの構成
• 4.3 統合プロジェクトの設定
• 4.4 HiveモデルのリバースエンジニアリングからのOracle Data Integratorモデルの作成
  • 4.4.1 モデルの作成
  • 4.4.2 Hive表のリバースエンジニアリング
• 4.5 インタフェースの設計
  • 4.5.1 ファイルからHiveへのデータのロード
  • 4.5.2 Hive内のデータの検証と変換
    • 4.5.2.1 IKM Hive Control Append
    • 4.5.2.2 CKM Hive
    • 4.5.2.3 IKM Hive Transform
  • 4.5.3 HiveおよびHDFSからOracle Databaseへのデータのロード

5 Oracle R Connector for Hadoop

• 5.1 Oracle R Connector for Hadoopについて
• 5.2 HDFSファイルへのアクセス
• 5.3 Hiveへのアクセス
  • 5.3.1 HiveのORE関数
  • 5.3.2 Hiveでサポートされる一般的なR関数
  • 5.3.3 Hiveデータ型のサポート
  • 5.3.4 Hiveアクセスの使用上の注意
  • 5.3.5 例: Oracle R Connector for HadoopへのHive表のロード
• 5.4 Oracle Databaseへのアクセス
  • 5.4.1 Oracle Databaseアクセスの使用上の注意
  • 5.4.2 Oracle R EnterpriseでOracle R Connector for Hadoopを使用する場合のシナリオ
• 5.5 Oracle R Connector for Hadoopの分析関数
• 5.6 ORCH mapred.configクラス
• 5.7 Oracle R Connector for Hadoopの例とデモ
  • 5.7.1 デモの使用方法
  • 5.7.2 例の使用方法
• 5.8 Oracle R Connector for Hadoopのセキュリティ上の注意

6 ORCHライブラリ・リファレンス

• 6.1 アルファベット順の関数
• 6.2 カテゴリ別の関数
  • 6.2.1 接続
  • 6.2.2 データのコピー
  • 6.2.3 ファイルの調査
  • 6.2.4 MapReduce関数の記述
  • 6.2.5 デバッグ・スクリプト
  • 6.2.6 Hiveデータの使用方法
  • 6.2.7 分析関数の記述
• hadoop.exec
• hadoop.run
• hdfs.attach
• hdfs.cd
• hdfs.cp
• hdfs.describe
• hdfs.download
• hdfs.exists
• hdfs.get
• hdfs.head
• hdfs.id
• hdfs.ls
• hdfs.mkdir
• hdfs.mv
• hdfs.parts
• hdfs.pull
• hdfs.push
• hdfs.put
• hdfs.pwd
• hdfs.rm
• hdfs.rmdir
• hdfs.root
• hdfs.sample
• hdfs.setroot
• hdfs.size
• hdfs.tail
• hdfs.upload
• is.hdfs.id
• orch.connect
• orch.connected
• orch.dbcon
• orch.dbg.lasterr
• orch.dbg.off
• orch.dbg.on
• orch.dbg.output
• orch.dbinfo
• orch.disconnect
• orch.dryrun
• orch.export
• orch.keyval
• orch.keyvals
• orch.pack
• orch.reconnect
• orch.temp.path
• orch.unpack
• orch.version

索引