プライマリ・コンテンツに移動
Oracle® Fusion Middleware Oracle Data IntegratorによるBig Dataの統合
12c (12.2.1.1)
E79303-01
  目次へ移動
目次
索引へ移動
索引

前
 
次
 

1 Oracle Data Integratorによるビッグ・データの統合

この章では、Oracle Data Integratorの使用によるビッグ・データの統合の概要について説明します。また、サポートされているビッグ・データ・テクノロジの互換性マトリクスも提供します。

この章の内容は次のとおりです。

1.1 Hadoopデータ統合の概要

Apache Hadoopは、リレーショナルでないデータソースからのデータや、リレーショナル・データベースで処理できないデータ・ボリュームを処理するように設計されています。

Oracle Data Integratorは統合フローの「要素」を設計し、ナレッジ・モジュールを割り当てて拡張可能メカニズムの範囲におけるフローの「処理」を定義するのに使用できます。この「処理」とはOracle、Teradata、Hive、Spark、Pigなどです。

Oracle Data Integratorでは、使い慣れて使いやすいツールおよびあらかじめ構成されているナレッジ・モジュール(KM)を採用することにより、次のことが可能です。

1.2 ビッグ・データ・ナレッジ・モジュール・マトリックス

ソースおよびターゲット・テクノロジに基づき、統合プロジェクトにおいて次の表に示すKMを使用できます。また、これらのKMは組み合せて使用することもできます。たとえば、データをSQLからSparkへと読み込むには、LKM SQL to File Directを使用してデータをまずHDFSにロードし、それからLKM File to Sparkを使用して続行します。

次の表は、様々なソースおよびターゲット・テクノロジ間でデータを統合するための、Oracle Data Integratorによって提供されるビッグ・データKMを示します。

表1-1 ビッグ・データ・ナレッジ・モジュール

ソース ターゲット ナレッジ・モジュール

OSファイル

HDFSファイル

-

Hive

LKM File to Hive LOAD DATA Direct


HBase

-

Pig

LKM File to Pig


Spark

LKM File to Spark


汎用SQL

HDFSファイル

LKM SQL to File SQOOP Direct


Hive

LKM SQL to Hive SQOOP


HBase

LKM SQL to HBase SQOOP Direct


Pig

-

Spark

-

HDFSファイル

OSファイル

-

汎用SQL

LKM File to SQL SQOOP


Oracle SQL

LKM File to Oracle OLH-OSCH Direct


HDFSファイル

-

Hive

LKM File to Hive LOAD DATA Direct


HBase

-

Pig

LKM File to Pig


Spark

LKM File to Spark


Hive

OSファイル

LKM Hive to File Direct


汎用SQL

LKM Hive to SQL SQOOP


Oracle SQL

LKM Hive to Oracle OLH-OSCH Direct


HDFSファイル

LKM Hive to File Direct


Hive

IKM Hive Append


HBase

LKM Hive to HBase Incremental Update HBASE-SERDE Direct


Pig

LKM Hive to Pig


Spark

LKM Hive to Spark


HBase

OSファイル

-

汎用SQL

LKM HBase to SQL SQOOP


Oracle SQL

-

HDFSファイル

-

Hive

LKM HBase to Hive HBASE-SERDE


HBase

-

Pig

LKM HBase to Pig

Spark

-

Pig

OSファイル

LKM Pig to File


汎用SQL

LKM SQL to Pig SQOOP


Oracle SQL

-

HDFSファイル

LKM Pig to File


Hive

LKM Pig to Hive


HBase

LKM Pig to HBase


Pig

-

Spark

-

Spark

OSファイル

LKM Spark to File


汎用SQL

-

Oracle SQL

-

HDFSファイル

LKM Spark to File


Hive

LKM Spark to Hive


HBase

-

Pig

-

Spark

-