ワークフローについて

このトピックでは、データ処理ワークフローの概要について説明します。

データ処理(DP)ワークフローは、Hive表からデータおよびメタデータを抽出し、Dgraphでデータ・セットとして収集するプロセスです。抽出されたデータはレコードに変換されますが、メタデータは、BDDデータ・セットを定義する属性を含む、レコードのスキーマを提供します。データ処理ワークフローは、Studioから起動するか、DP CLI (コマンド行インタフェース)ユーティリティを実行することによって起動します。

データ・セットがDgraphに収集されたら、Studioユーザーはデータ・セットを参照し、データ・セット内のレコードを問い合せることができます。Studioユーザーは、データ・セットを変更(変換)することも、削除することもできます。

データ処理ジョブは、Oozieによって割り当てられたSparkワーカーによって実行されます。データ処理は非同期実行されます。つまり、Sparkジョブは各Hive表のキューに配置されます。最初のHive表の最初のSparkジョブが終了すると、(2番目のHive表の)2番目のSparkジョブが開始され、以下順に続きます。

BDDデータ・セットはStudioユーザーが削除できますが、データ処理ソフトウェアでHive表を削除することはできません。この場合、廃止されたHive表を削除するかどうかはHive管理者次第です。