リフレッシュ・フラグ構文

このトピックでは、--refreshDataフラグの構文について説明します。

リフレッシュ更新操作用のDP CLIフラグ構文は、次のいずれかの構文を持ちます:

./data_processing_CLI --refreshData <logicalName>

または

./data_processing_CLI --refreshData <logicalName> --table <tableName>

または

./data_processing_CLI --refreshData <logicalName> --table <tableName> --database <dbName>

説明:

--refreshData (-refreshという省略形)は必須で、更新するデータ・セットの論理名を指定します。
--table (-tという省略形)はオプションで、ソース・データに使用するHive表を指定します。このフラグを使用すると、元のデータ・セットの作成に使用されたソースHive表をオーバーライドできます(元のHive表の名前は、データ・セット・メタデータに格納されます)。
--database (-dという省略形)はオプションで、--tableフラグで指定されているHive表のデータベースを指定します。このフラグを使用すると、元のデータ・セットの作成に使用されたデータベースをオーバーライドできます)。 --databaseフラグは、--tableフラグも使用する場合のみ使用できます。

logicalName値は、Studioの「データ・セット論理名」プロパティで使用できます。詳細は、「データ・セットの論理名の取得」を参照してください。

--tableフラグと----databaseフラグの使用

データ・セットを最初に作成すると、ソースのHive表およびソースのHiveデータベースの名前が、そのデータ・セットのDSI (DataSet Inventory)メタデータに格納されます。 --tableフラグを使用すると、デフォルトのソースHive表をオーバーライドできますが、--databaseフラグはデータ・セット・メタデータのデータベース・セットをオーバーライドできます。

これらの2つのフラグは一時的なものです。つまり、操作の特定の実行のみに使用され、データ・セットのメタデータは更新されません。

これらのフラグが指定されない場合、使用されるHive表およびHiveデータベースは、データ・セット・メタデータ内のものです。

これらのフラグは、データ・セットのデータを別のHive表のデータと一時的に置換する場合に使用します。データ変更が永続的な場合は、目的のHive表から新規データ・セットを作成することをお薦めします。これにより、新規データ・セットに厳密に調整された変換スクリプトを作成することもできます。