目次
- タイトルおよび著作権情報
- はじめに
- 1 Oracle Data Integratorによるビッグ・データの統合
- 2 Hadoopデータ統合の概念
- 3 ビッグ・データを統合する環境の設定
-
4 Hadoopデータの統合
- Hadoopデータの統合
- ファイル・データソースの設定
- HDFSデータソースの設定
- Hiveデータソースの設定
- HBaseデータソースの設定
- Kafkaデータソースの設定
- Cassandraデータソースの設定
- Hadoopナレッジ・モジュールのインポート
- Hive表、HBase表、Cassandra表およびHDFSファイルを表すODIモデルとデータ・ストアの作成
- Hadoopのパスワード処理
- ファイルからHiveへのデータのロード
- Hiveからファイルへのデータのロード
- HBaseからHiveへのデータのロード
- HiveからHBaseへのデータのロード
- SQOOPの使用によるSQLデータベースからHive、HBaseおよびファイルへのデータのロード
- SQOOPの使用によるSQLデータベースからHiveへのデータのロード
- SQOOPの使用によるSQLデータベースからHDFSファイルへのデータのロード
- SQOOPの使用によるSQLデータベースからHBaseへのデータのロード
- Hive内のデータの検証と変換
- HiveおよびファイルからOracleデータベースへのデータのロード
- SQOOPの使用によるHBase、HiveおよびファイルからSQLデータベースへのデータのロード
- KafkaからSpark処理エンジンへのデータのロード
- 5 Oozieワークフローの実行
- 6 問合せ処理エンジンの使用による異なる言語のコードの生成
- 7 Sparkの操作
- 8 構造化されていないデータの使用
- 9 複合データ型およびHDFSファイル形式の操作
-
A Hiveナレッジ・モジュール
- LKM SQL to Hive SQOOP
- LKM SQL to File SQOOP Direct
- LKM SQL to HBase SQOOP Direct
- LKM File to SQL SQOOP
- LKM Hive to SQL SQOOP
- LKM HBase to SQL SQOOP
- LKM HDFS File to Hive Load Data
- LKM HDFS File to Hive Load Data (Direct)
- IKM Hive Append
- IKM Hive Incremental Update
- LKM File to Hive LOAD DATA
- LKM File to Hive LOAD DATA Direct
- LKM HBase to Hive HBASE-SERDE
- LKM Hive to HBase Incremental Update HBASE-SERDE Direct
- LKM Hive to File Direct
- XKM Hive Sort
- LKM File to Oracle OLH-OSCH
- LKM File to Oracle OLH-OSCH Direct
- LKM Hive to Oracle OLH-OSCH
- LKM Hive to Oracle OLH-OSCH Direct
- RKM Hive
- RKM HBase
- IKM File to Hive (非推奨)
- LKM HBase to Hive (HBase-SerDe) [非推奨]
- IKM Hive to HBase Incremental Update (HBase-SerDe) [非推奨]
- IKM SQL to Hive-HBase-File (SQOOP) [非推奨]
- IKM Hive Control Append (非推奨)
- CKM Hive
- IKM Hive Transform (非推奨)
- IKM File-Hive to Oracle (OLH-OSCH) [非推奨]
- IKM File-Hive to SQL (SQOOP) [非推奨]
-
B Pigナレッジ・モジュール
- LKM File to Pig
- LKM Pig to File
- LKM HBase to Pig
- LKM Pig to HBase
- LKM Hive to Pig
- LKM Pig to Hive
- LKM SQL to Pig SQOOP
- XKM Pig Aggregate
- XKM Pig Distinct
- XKM Pig Expression
- XKM Pig Filter
- XKM Pig Flatten
- XKM Pig Join
- XKM Pig Lookup
- XKM Pig Pivot
- XKM Pig Set
- XKM Pig Sort
- XKM Pig Split
- XKM Pig Subquery Filter
- XKM Pig Table Function
- XKM Pig Unpivot
-
C Sparkナレッジ・モジュール
- LKM File to Spark
- LKM Spark to File
- LKM Hive to Spark
- LKM Spark to Hive
- LKM HDFS to Spark
- LKM Spark to HDFS
- LKM Kafka to Spark
- LKM Spark to Kafka
- LKM SQL to Spark
- LKM Spark to SQL
- LKM Spark to Cassandra
- RKM Cassandra
- XKM Spark Aggregate
- XKM Spark Distinct
- XKM Spark Expression
- XKM Spark Filter
- XKM Spark Input SignatureおよびOutput Signature
- XKM Spark Join
- XKM Spark Lookup
- XKM Spark Pivot
- XKM Spark Set
- XKM Spark Sort
- XKM Spark Split
- XKM Spark Table Function
- IKM Spark Table Function
- XKM Spark Unpivot
- D コンポーネント・ナレッジ・モジュール
- E 考慮点、制限および問題