9.5 HDFSファイルからSparkへのデータのロード

HDFSファイルからSparkにデータをロードする手順を示します。

1. 複合ファイルのデータ・モデルを作成します。
2. HIVE表のデータ・ストアを作成します。
3. 「記憶域」パネルで、「記憶域形式」を設定します。
4. ソースおよびターゲットとしてHDFSファイルを使用して、マッピングを作成します。
5. マッピングの物理ダイアグラムで指定されているLKM HDFS to SparkおよびLKM Spark to HDFSを使用します。

   注意:

   AVRO形式の場合は、スキーマ・ファイルの場所を指定できます。リバース・エンジニアリングの詳細は、「Hive表のリバース・エンジニアリング」を参照してください。AvroファイルをSparkにロードするには、AVSCファイルありとAVSCファイルなしの2つの方法があります。