Studioロード・ファイル: データ更新ダイアグラム

このトピックの図は、個人ファイルをアップロードするか、JDBCソースからデータをインポートすることによってStudioにロードされるデータ・セットを示しています。 Studioで、このデータ・セットをリロードする方法を示します。また、DP CLIを使用してデータ・セットを更新し、サンプルから完全にサイズを増やします。

この図は、StudioファイルのアップロードによってBDDにロードされるデータ・セットについて、データ・ロード・オプションと更新オプションのサマリーを示しています。

このダイアグラムでは、次のアクションが左から右に実行されます:

Studio 「データ・セットの追加」アクションでデータをロードします。これにより、個人ファイルまたはJDBCデータ・ソースからデータをロードできます。ロードすると、データ・セットはカタログに表示されます。 BDDにより、各データ・セットにHive表が作成されます。このHive表は、カタログのデータ・セットに関連付けられています。
これらのファイルの新しいバージョンがある場合は、データ・セットの詳細にある「データ・セットのリロード」アクションでカタログにリロードできます。
次に、変換する場合、またはDiscover領域を使用してビジュアライゼーションを作成する場合、プロジェクトを作成する必要があります。これは、中央の円のダイアグラムに表示されます。この円では、データ・セットは現在プロジェクト内にあり、カタログにないことに注意してください。他のユーザーがこのデータ・セットを表示する権限を持っている場合、このデータ・セットは引き続きカタログに表示できます。ただし、このデータ・セットには、プロジェクト内に独自のバージョンがあります。
次に、データ・セット・マネージャにある「データ全体のロード」を使用して、このデータ・セットにデータ全体をロードすることを選択できます。これにより、データ・セット・サンプルはプロジェクト内に完全にロードされたデータ・セットで置き換えられます。または、データ・セットがすでに完全にロードされている場合、このオプションを再度使用することで、プロジェクト内の完全なデータ・セットをリロードできます。これは、中央の円の上に円の矢印として表示されます。
または、データ処理CLIのオプションを使用して、スクリプト更新を実行できます。スクリプト更新には2つのタイプがあります: Refresh DataおよびIncremental update。
DP CLIを使用してRefresh Dataを実行するには、Studioで、このデータ・セットのプロパティでデータ・セットの論理名を特定します。 DP CLIのデータ・リフレッシュ・コマンドのパラメータとして、そのデータ・セットの論理名を使用する必要があります。
DP CLIを使用してIncremental updateを実行するには、主キー(Studioのレコード識別子とも呼ばれる)を指定する必要があります。主キーを追加するには、「コントロール・パネル」 > 「データ・セット・マネージャ」 > 「更新用の構成」を使用します。増分更新のデータ・セット論理名も必要です。
正しいデータ・セットの論理名を使用してください。カタログのデータ・セットがプロジェクトのデータ・セットと異なることに注意してください。
カタログで「データ・セットのリロード」を実行できるのは、カタログのデータ・セットに対してのみです。プロジェクトにすでに追加されているデータ・セットを更新する場合は、DP CLIからスクリプト更新の1つを使用する必要があります。
プロジェクトにプライベート・コピーがあるカタログにデータ・セットをリロードすると、Studioではプロジェクトを開くときにこのアラートが表示され、ユーザーはこれらの更新を受け入れることができます。プロジェクト内のデータ・セットに変換が行われた場合は、カタログのデータ・セットに変換を適用できます。

このダイアグラムについては、次の点に注意してください:

Refresh Dataでは、カタログおよびプロジェクトでデータ・セットのDP CLIを使用できます。通常、プロジェクト内のデータ・セットにはDP CLI Refresh Dataを使用します。
レコード識別子を指定したら、DP CLIを使用してIncremental Updateを実行できます。このためには、データ・セットをStudioのプロジェクトに移動する必要があります。
データ全体をロードした後は、カタログに表示されるデータ・セットを変更しません。データ・セットをプロジェクトに移動する方法は、データ・セットの個人用バージョンを作成する方法と同じです。次に、DP CLIコマンドRefresh dataおよびIncremental updateを使用して、このデータ・セットに対する完全なデータのロードおよびスクリプト化された更新の書込みを行うことができます。これらの更新は、cronジョブとして定期的に実行できます。更新は、このプロジェクトのこのデータ・セットの個人バージョンで実行されます。これにより、このデータ・セットのバージョンは、カタログに表示されるデータ・セットのバージョンとは無関係です。