プライマリ・コンテンツに移動
Oracle® Fusion Middleware Oracle Data IntegratorによるBig Dataの統合
12
c
(12.2.1.2.6)
E85903-01
次
目次
例一覧
図一覧
表一覧
タイトルおよび著作権情報
はじめに
対象読者
ドキュメントのアクセシビリティについて
関連ドキュメント
表記規則
1
Oracle Data Integratorによるビッグ・データの統合
1.1
Hadoopデータ統合の概要
1.2
ビッグ・データ・ナレッジ・モジュール・マトリックス
2
Hadoopデータ統合の概念
2.1
Oracle Data IntegratorによるHadoopデータの統合
2.2
Oracle Data Integratorによる異なる言語のコードの生成
2.3
Apache Oozieを利用したOracle Data Integratorプロジェクトの実行
2.4
Oozieワークフローの実行モード
2.5
Lambdaアーキテクチャ
2.6
Sparkチェックポイント
2.7
Sparkのウィンドウおよびステートフル集計
2.8
Sparkの再パーティション化およびキャッシング
2.9
Oracle Data IntegratorとのKafkaの統合
3
Hadoopデータを統合する環境の設定
3.1
ビッグ・データ構成ウィザードの使用によるビッグ・データ・テクノロジの構成
3.1.1
一般設定
3.1.2
HDFSデータ・サーバーの定義
3.1.3
HBaseデータ・サーバーの定義
3.1.4
Kafkaデータ・サーバーの定義
3.1.5
Kafkaデータ・サーバー・プロパティ
3.2
Hadoopデータ・サーバーの作成と初期化
3.2.1
Hadoopデータ・サーバーの定義
3.2.2
Hadoopデータ・サーバー・プロパティ
3.3
Hadoop物理スキーマの作成
3.4
Hadoopジョブを実行するためのOracle Data Integratorエージェントの構成
3.5
Oracle Loader for Hadoopの構成
3.6
保護されたクラスタに接続するためのOracle Data Integratorの構成
3.7
ローカル・エージェントでHadoopジョブを実行するためのOracle Data Integrator Studioの構成
4
Hadoopデータの統合
4.1
Hadoopデータの統合
4.2
ファイル・データソースの設定
4.3
HDFSデータソースの設定
4.4
Hiveデータソースの設定
4.5
HBaseデータソースの設定
4.6
Kafkaデータソースの設定
4.7
Cassandraデータソースの設定
4.8
Hadoopナレッジ・モジュールのインポート
4.9
リバースエンジニアリングされたHive、HBaseおよびHDFSモデルからのOracle Data Integratorモデルの作成
4.9.1
モデルの作成
4.9.2
Hive表のリバース・エンジニアリング
4.9.3
HBase表のリバース・エンジニアリング
4.9.4
HDFS表のリバース・エンジニアリング
4.9.5
Cassandra表のリバース・エンジニアリング
4.10
ファイルからHiveへのデータのロード
4.11
Hiveからファイルへのデータのロード
4.12
HBaseからHiveへのデータのロード
4.13
HiveからHbaseへのデータのロード
4.14
SQOOPの使用によるSQLデータベースからHive、HBaseおよびファイルへのデータのロード
4.15
SQOOPの使用によるSQLデータベースからHiveへのデータのロード
4.16
SQOOPの使用によるSQLデータベースからファイルへのデータのロード
4.17
SQOOPの使用によるSQLデータベースからHBaseへのデータのロード
4.18
Hive内のデータの検証と変換
4.19
HiveおよびファイルからOracleデータベースへのデータのロード
4.20
SQOOPの使用によるHBase、HiveおよびファイルからSQLデータベースへのデータのロード
4.21
KafkaからSparkへのデータのロード
5
Oozieワークフローの実行
5.1
Oracle Data IntegratorによるOozieワークフローの実行
5.2
Oozieランタイム・エンジンの設定および初期化
5.2.1
Oozieランタイム・エンジン定義
5.2.2
Oozieランタイム・エンジンのプロパティ
5.3
論理Oozieエンジンの作成
5.4
Oozieワークフローの実行またはデプロイ
5.5
Hadoopログの監査
5.6
ODI Oozieワークフロー実行におけるUserlib jarのサポート
6
Sparkストリーミングのサポート
6.1
Oracle Data Integratorでのストリーミングのサポートの有効化
6.2
ストリーミングのサポートの有効化
6.2.1
Sparkストリーミング・データサーバー・プロパティ
6.2.2
その他のSparkストリーミング・データ・プロパティ
6.3
ストリーミング・モードでのマッピングの実行
7
問合せ処理エンジンの使用による異なる言語のコードの生成
7.1
Oracle Data Integratorでサポートされている問合せ処理エンジン
7.2
Hiveデータ・サーバーの設定
7.2.1
Hiveデータ・サーバーの定義
7.2.2
Hiveデータ・サーバー接続の詳細
7.3
Hive物理スキーマの作成
7.4
Pigデータ・サーバーの設定
7.4.1
Pigデータ・サーバーの定義
7.4.2
Pigデータ・サーバー・プロパティ
7.5
Pig物理スキーマの作成
7.6
Sparkデータ・サーバーの設定
7.6.1
Sparkデータ・サーバーの定義
7.6.2
Sparkデータ・サーバー・プロパティ
7.7
Spark物理スキーマの作成
7.8
異なる言語のコードの生成
8
構造化されていないデータの使用
8.1
構造化されていないデータの使用
9
複合ファイルの使用
9.1
HDFSの形式
9.2
複合ファイルの使用
9.3
フラット化された属性の識別、追加および削除
9.4
HDFSファイルからHiveへのデータのロード
9.5
HDFSファイルからSparkへのデータのロード
A
Hiveナレッジ・モジュール
A.1
LKM SQL to Hive SQOOP
A.2
LKM SQL to File SQOOP Direct
A.3
LKM SQL to HBase SQOOP Direct
A.4
LKM File to SQL SQOOP
A.5
LKM Hive to SQL SQOOP
A.6
LKM HBase to SQL SQOOP
A.7
LKM HDFS File to Hive
A.8
LKM HDFS File to Hive (Direct)
A.9
IKM Hive Append
A.10
IKM Hive Incremental Update
A.11
LKM File to Hive LOAD DATA
A.12
LKM File to Hive LOAD DATA Direct
A.13
LKM HBase to Hive HBASE-SERDE
A.14
LKM Hive to HBase Incremental Update HBASE-SERDE Direct
A.15
LKM Hive to File Direct
A.16
XKM Hive Sort
A.17
LKM File to Oracle OLH-OSCH
A.18
LKM File to Oracle OLH-OSCH Direct
A.19
LKM Hive to Oracle OLH-OSCH
A.20
LKM Hive to Oracle OLH-OSCH Direct
A.21
RKM Hive
A.22
RKM HBase
A.23
IKM File to Hive (非推奨)
A.24
LKM HBase to Hive (HBase-SerDe) [非推奨]
A.25
IKM Hive to HBase Incremental Update (HBase-SerDe) [非推奨]
A.26
IKM SQL to Hive-HBase-File (SQOOP) [非推奨]
A.27
IKM Hive Control Append (非推奨)
A.28
CKM Hive (非推奨)
A.29
IKM Hive Transform (非推奨)
A.30
IKM File-Hive to Oracle (OLH-OSCH) [非推奨]
A.31
IKM File-Hive to SQL (SQOOP) [非推奨]
B
Pigナレッジ・モジュール
B.1
LKM File to Pig
B.2
LKM Pig to File
B.3
LKM HBase to Pig
B.4
LKM Pig to HBase
B.5
LKM Hive to Pig
B.6
LKM Pig to Hive
B.7
LKM SQL to Pig SQOOP
B.8
XKM Pig Aggregate
B.9
XKM Pig Distinct
B.10
XKM Pig Expression
B.11
XKM Pig Filter
B.12
XKM Pig Flatten
B.13
XKM Pig Join
B.14
XKM Pig Lookup
B.15
XKM Pig Pivot
B.16
XKM Pig Set
B.17
XKM Pig Sort
B.18
XKM Pig Split
B.19
XKM Pig Subquery Filter
B.20
XKM Pig Table Function
B.21
XKM Pig Unpivot
C
Sparkナレッジ・モジュール
C.1
LKM File to Spark
C.2
LKM Spark to File
C.3
LKM Hive to Spark
C.4
LKM Spark to Hive
C.5
LKM HDFS to Spark
C.6
LKM Spark to HDFS
C.7
LKM Kafka to Spark
C.8
LKM Spark to Kafka
C.9
LKM SQL to Spark
C.10
LKM Spark to SQL
C.11
RKM Cassandra
C.12
XKM Spark Aggregate
C.13
XKM Spark Distinct
C.14
XKM Spark Expression
C.15
XKM Spark Filter
C.16
XKM Spark Input SignatureおよびOutput Signature
C.17
XKM Spark Join
C.18
XKM Spark Lookup
C.19
XKM Spark Pivot
C.20
XKM Spark Set
C.21
XKM Spark Sort
C.22
XKM Spark Split
C.23
XKM Spark Table Function
C.24
IKM Spark Table Function
C.25
XKM Spark Unpivot
D
コンポーネント・ナレッジ・モジュール
D.1
XKM Oracle Flatten
D.2
XKM Oracle Flatten XML
D.3
XKM Spark Flatten
D.4
XKM Jagged
E
考慮点、制限および問題
E.1
考慮点、制限および問題
