DP CLIワークフローの例

このトピックでは、DP CLIを使用したワークフローの例を示します。

特定のデータ・エンリッチメント・モジュールの除外

--excludePluginsフラグ(-epと略記)では、エンリッチメントの実行時に除外するデータ・エンリッチメント・モジュールのリストを指定します。このフラグは、ワークフローの一部として(たとえば--excludePluginsフラグ付きで)実行されているエンリッチメントのみで使用される必要があります。

構文は次のとおりです。

./data_processing_CLI --excludePlugins <excludeList>

ここで、excludeListは、次のデータ・エンリッチメントの正規モジュール名のうち、空白で区切られた1つ以上の文字列です:

address_geo_tagger( Address GeoTaggerの場合)
ip_geo_extractor (IP Address GeoTaggerの場合)
reverse_geo_tagger (Reverse GeoTagger用)
tfidf_term_extractor (TF.IDF用語エクストラクタの場合)
doc_level_sentiment_analysis (ドキュメント・レベルのSentiment分析モジュールの場合)
language_detection (言語検出モジュール用)

次に例を示します。

./data_processing_CLI --table masstowns --runEnrichment --excludePlugins reverse_geo_tagger

データ・エンリッチメント・モジュールの詳細は、「データ・エンリッチメント・モジュール」を参照してください。

中断されたジョブのクリーンアップ

--cleanAbortedJobsフラグ(-cleanと省略されています)では、データ処理が不完全なワークフローから残っているアーティファクトがクリーンアップされます:

./data_processing_CLI --cleanAbortedJobs

成功した結果は、次の例のようになります:

...
[2015-07-13T10:18:13.683-04:00] [DataProcessing] [INFO] [] [org.apache.spark.Logging$class] [tid:main] [userID:fcalvill] 
         client token: N/A
         diagnostics: N/A
         ApplicationMaster host: web12.example.com
         ApplicationMaster RPC port: 0
         queue: root.fcalvill
         start time: 1436797065603
         final status: SUCCEEDED
         tracking URL: http://web12.example.com:8088/proxy/application_1434142292832_0016/A
         user: fcalvill
Clean aborted job completed.
data_processing_CLI finished with state SUCCESS

「YARNすべてのアプリケーション」ページのワークフローの名前は、次の点に注意してください:

EDP: CleanAbortedJobsConfig{}

PingでのDPコンポーネントの確認

--pingCheckフラグ(-pingと省略されています) pingでは、データ処理に必要なコンポーネントのステータスがチェックされます:

./data_processing_CLI --pingCheck

成功した結果は、次の例のようになります:

...
[2015-07-14T14:52:32.270-04:00] [DataProcessing] [INFO] [] [com.oracle.endeca.pdi.logging.ProvisioningLogger]
[tid:main] [userID:fcalvill] Ping check time elapsed: 7 ms
data_processing_CLI finished with state SUCCESS