内部設定

bdd.confの3番目の部分には、インストーラが必要とする、またはOracle Supportが使用するための内部設定が含まれています。インストーラでは実行時に自動的にこのセクションにプロパティが追加されることに注意してください。

警告: Oracle Supportの指示がない限り、この部分のいずれのプロパティも変更しないでください。
構成プロパティ 説明
DP_POOL_SIZE Studioがデータ処理に対して同時に実行できる呼出しの最大数。
DP_TASK_QUEUE_SIZE Studioがデータ処理キューに追加できるジョブの最大数。
MAX_INPUT_SPLIT_SIZE Spark入力に使用される最大パーティション・サイズ(MB)。これは、データ処理ジョブによって処理されるデータのブロックのサイズを制御します。

パーティション・サイズは、データ処理のパフォーマンスに直接影響を及ぼします。パーティションが小さければ、より多くのジョブを並列実行でき、クラスタ・リソースをより効率的に使用できます。これにより、速度と安定性の両方が向上します。

デフォルト値は32です。いくつかの例外を除き、ほとんどのクラスタではこの値で十分です。
  • Hadoopクラスタの処理容量が非常に大きく、データ・セットのほとんどが小さい(約1GB)の場合、この値を減らすことができます。
  • まれなケースですが、データ・エンリッチメントが有効な場合、エンリッチされたパーティション内のデータ・セットが、YARNコンテナで処理するには大きくなりすぎることがあります。これが発生した場合、この値を減らして、各パーティションが必要とするメモリーの量を削減できます。

このプロパティによって、Hadoopで使用されるHDFSブロック・サイズがオーバーライドされることに注意してください。

SPARK_DYNAMIC_ALLOCATION 処理中にSparkエグゼキュータに割り当てられるリソースをデータ処理で動的に計算するかどうかを決定します。この値は、常にtrueに設定する必要があります。
falseは、Oracleサポートによる使用のみを目的としています。設定した場合、データ処理では、次のプロパティによって定義された静的構成に応じてSparkリソースを割り当てます。
  • SPARK_DRIVER_CORES
  • SPARK_DRIVER_MEMORY
  • SPARK_EXECUTORS
  • SPARK_EXECUTOR_CORES
  • SPARK_EXECUTOR_MEMORY
SPARK_DRIVER_CORES Sparkジョブ・ドライバで使用されるコアの数。
SPARK_DRIVER_MEMORY Sparkジョブ・ドライバの最大メモリー・ヒープ・サイズ。これはJVMメモリー設定と同じ形式である必要があります。例: 512mまたは2g。
SPARK_EXECUTORS 起動するSparkエグゼキュータの合計数。
SPARK_EXECUTOR_CORES 各Sparkエグゼキュータのコアの数。
SPARK_EXECUTOR_MEMORY 各Sparkエグゼキュータの最大メモリー・ヒープ・サイズ。これはJVMメモリー設定と同じ形式である必要があります。例: 512Mまたは2g。
RECORD_SEARCH_THRESHOLD レコード検索可能であるために、String属性の平均値に含まれている必要がある最小文字数。
VALUE_SEARCH_THRESHOLD 値検索可能であるために、String属性の平均値に含まれている必要がある最小文字数。
BDD_VERSION BDDのバージョン。このプロパティはOracle Supportが使用するためのものです。変更しないでください。
BDD_RELEASE_VERSION BDDのホットフィックスまたはパッチのバージョン。このプロパティはOracle Supportが使用するためのものです。変更しないでください。