3 データ処理構成

この項では、Sparkの属性検索可能性、日付書式および構成の構成について説明します。また、SerDe JARをデータ処理ワークフローに追加する方法についても説明します。

「日付書式構成」
dateFormats.txtファイルは、データ処理ワークフローでサポートされる日付書式のリストを提供します。このトピックでは、このファイルで使用されるデフォルトを示します。このファイルでサポートされている書式を使用すると、このファイルから日付書式を追加または削除できます。
「Spark構成」
データ処理は、Spark構成ファイルsparkContext.propertiesを使用します。このトピックでは、データ処理がこのファイルの設定を取得する方法とファイルのサンプルを示します。また、このファイルで調整し、データ処理ワークフローを正常に完了するために必要なメモリー量を調整するためのオプションについても説明します。
「DPワークフローへのSerDe JARの追加」
このトピックでは、データ処理(DP)クラスパスにカスタムSerializer-Deserializer (SerDe)を追加するプロセスについて説明します。