変換済データからの新しいデータ・セットの作成

変換スクリプトを実行したら、変換済プロジェクト・データに基づいて、カタログに新しいデータ・セットを作成できます。

新規データ・セットを作成すると、Studioではプロジェクト内のデータ・サンプルだけでなくデータ・セット全体に対して変換スクリプトが実行され、Studioは変換およびエンリッチメントを新規データ・セットに適用します。新しいサンプルが生成され、カタログでデータ・セットが使用可能になります。

注意:

BDDによるHiveソース表データ型への変換方法が原因で、スクリプトをソース・データ・セットに適用すると、いくつかのデータ型または変更されたデータ型が省略される場合があります。たとえば、Dgraphデータ型と一致しない複合Hiveデータ型の一部は省略されます。詳細は、「データ型変換」を参照してください。

変換済データから新しいデータ・セットを作成するには:

「変換」を選択します。
変換スクリプト・メニューから、「データ・セットの作成」を選択します。
次に例を示します。:
「データ・セット名」フィールドに、新しいデータ・セットの名前を入力します。
必要に応じて、「説明」フィールドに新しいデータ・セットに関する注釈を入力します。
(オプション) 「Hadoopの拡張オプション」を展開し、Hive表名を指定します。デフォルトでは、Hive表の名前はデータ・セット名と同じです。既存のデータ・セットと同じ名前でデータ・セットを作成する場合、別のHive表名を指定する必要があります。 Studioでは、データ・セット名が一意の表名にマップされます。
「データ・セットの作成」をクリックします。
(Oozie Web UIツールを参照してこのプロセスの進捗を確認できます。)

BDDによってHiveデータベースでの新しい表の作成とデータ処理が終了すると、データ・セットはカタログで使用できるようになります。カタログに新規データ・セットが表示されない場合は、スクリプトが失敗しています。データ処理ログを確認することで、失敗した理由の詳細を確認できます。詳細は、「変換ロギング」を参照してください。