目次
- タイトルおよび著作権情報
- はじめに
- 1 Oracle Data Integratorによるビッグ・データの統合
- 2 Hadoopデータ統合の概念
- 3 ビッグ・データを統合する環境の設定
-
4 Hadoopデータの統合
- 4.1 Hadoopデータの統合
- 4.2 ファイル・データソースの設定
- 4.3 HDFSデータソースの設定
- 4.4 Hiveデータソースの設定
- 4.5 HBaseデータソースの設定
- 4.6 Kafkaデータソースの設定
- 4.7 Cassandraデータソースの設定
- 4.8 Hadoopナレッジ・モジュールのインポート
- 4.9 Hive表、HBase表、Cassandra表およびHDFSファイルを表すODIモデルとデータ・ストアの作成
- 4.10 Hadoopのパスワード処理
- 4.11 ファイルからHiveへのデータのロード
- 4.12 Hiveからファイルへのデータのロード
- 4.13 HBaseからHiveへのデータのロード
- 4.14 HiveからHBaseへのデータのロード
- 4.15 SQOOPの使用によるSQLデータベースからHive、HBaseおよびファイルへのデータのロード
- 4.16 SQOOPの使用によるSQLデータベースからHiveへのデータのロード
- 4.17 SQOOPの使用によるSQLデータベースからHDFSファイルへのデータのロード
- 4.18 SQOOPの使用によるSQLデータベースからHBaseへのデータのロード
- 4.19 Hive内のデータの検証と変換
- 4.20 HiveおよびファイルからOracleデータベースへのデータのロード
- 4.21 SQOOPの使用によるHBase、HiveおよびファイルからSQLデータベースへのデータのロード
- 4.22 KafkaからSpark処理エンジンへのデータのロード
- 5 Oozieワークフローの実行
- 6 問合せ処理エンジンの使用による異なる言語のコードの生成
- 7 Sparkの操作
- 8 構造化されていないデータの使用
- 9 複合データ型およびHDFSファイル形式の操作
-
A Hiveナレッジ・モジュール
- A.1 LKM SQL to Hive SQOOP
- A.2 LKM SQL to File SQOOP Direct
- A.3 LKM SQL to HBase SQOOP Direct
- A.4 LKM File to SQL SQOOP
- A.5 LKM Hive to SQL SQOOP
- A.6 LKM HBase to SQL SQOOP
- A.7 LKM HDFS File to Hive Load Data
- A.8 LKM HDFS File to Hive Load Data (Direct)
- A.9 IKM Hive Append
- A.10 IKM Hive Incremental Update
- A.11 LKM File to Hive LOAD DATA
- A.12 LKM File to Hive LOAD DATA Direct
- A.13 LKM HBase to Hive HBASE-SERDE
- A.14 LKM Hive to HBase Incremental Update HBASE-SERDE Direct
- A.15 LKM Hive to File Direct
- A.16 XKM Hive Sort
- A.17 LKM File to Oracle OLH-OSCH
- A.18 LKM File to Oracle OLH-OSCH Direct
- A.19 LKM Hive to Oracle OLH-OSCH
- A.20 LKM Hive to Oracle OLH-OSCH Direct
- A.21 RKM Hive
- A.22 RKM HBase
- A.23 IKM File to Hive (非推奨)
- A.24 LKM HBase to Hive (HBase-SerDe) [非推奨]
- A.25 IKM Hive to HBase Incremental Update (HBase-SerDe) [非推奨]
- A.26 IKM SQL to Hive-HBase-File (SQOOP) [非推奨]
- A.27 IKM Hive Control Append (非推奨)
- A.28 CKM Hive
- A.29 IKM Hive Transform (非推奨)
- A.30 IKM File-Hive to Oracle (OLH-OSCH) [非推奨]
- A.31 IKM File-Hive to SQL (SQOOP) [非推奨]
-
B Pigナレッジ・モジュール
- B.1 LKM File to Pig
- B.2 LKM Pig to File
- B.3 LKM HBase to Pig
- B.4 LKM Pig to HBase
- B.5 LKM Hive to Pig
- B.6 LKM Pig to Hive
- B.7 LKM SQL to Pig SQOOP
- B.8 XKM Pig Aggregate
- B.9 XKM Pig Distinct
- B.10 XKM Pig Expression
- B.11 XKM Pig Filter
- B.12 XKM Pig Flatten
- B.13 XKM Pig Join
- B.14 XKM Pig Lookup
- B.15 XKM Pig Pivot
- B.16 XKM Pig Set
- B.17 XKM Pig Sort
- B.18 XKM Pig Split
- B.19 XKM Pig Subquery Filter
- B.20 XKM Pig Table Function
- B.21 XKM Pig Unpivot
-
C Sparkナレッジ・モジュール
- C.1 LKM File to Spark
- C.2 LKM Spark to File
- C.3 LKM Hive to Spark
- C.4 LKM Spark to Hive
- C.5 LKM HDFS to Spark
- C.6 LKM Spark to HDFS
- C.7 LKM Kafka to Spark
- C.8 LKM Spark to Kafka
- C.9 LKM SQL to Spark
- C.10 LKM Spark to SQL
- C.11 LKM Spark to Cassandra
- C.12 RKM Cassandra
- C.13 XKM Spark Aggregate
- C.14 XKM Spark Distinct
- C.15 XKM Spark Expression
- C.16 XKM Spark Filter
- C.17 XKM Spark Input SignatureおよびOutput Signature
- C.18 XKM Spark Join
- C.19 XKM Spark Lookup
- C.20 XKM Spark Pivot
- C.21 XKM Spark Set
- C.22 XKM Spark Sort
- C.23 XKM Spark Split
- C.24 XKM Spark Table Function
- C.25 IKM Spark Table Function
- C.26 XKM Spark Unpivot
- D コンポーネント・ナレッジ・モジュール
- E 考慮点、制限および問題