bdd.confの3番目の部分には、インストーラが必要とする、またはOracle Supportが使用するための内部設定が含まれています。
構成プロパティ | 説明 |
---|---|
DP_POOL_SIZE | Studioがデータ処理に対して一度に実行できる呼出しの最大数。 |
DP_TASK_QUEUE_SIZE | Studioがデータ処理キューに追加できるジョブの最大数。 |
MAX_INPUT_SPLIT_SIZE | Spark入力の最大パーティション・サイズ(MB)。これは、データ処理ジョブによって処理されるデータのブロックのサイズを制御します。
パーティション・サイズは、データ処理のパフォーマンスに直接影響を及ぼします。パーティションが小さければ、より多くのジョブを並列実行でき、クラスタ・リソースをより効率的に使用できます。これにより、速度と安定性の両方が向上します。 デフォルト値は32です。いくつかの例外を除き、ほとんどのクラスタではこの値で十分です。
このプロパティによって、Hadoopで使用されるHDFSブロック・サイズがオーバーライドされることに注意してください。 |
SPARK_DYNAMIC_ALLOCATION | 処理中にSparkエグゼキュータに割り当てられるリソースをデータ処理で動的に計算するかどうかを決定します。この値は、常にtrueに設定する必要があります。
falseは、Oracleサポートによる使用のみを目的としています。設定した場合、データ処理では、次のプロパティによって定義された静的構成に応じてSparkリソースを割り当てます。
|
SPARK_DRIVER_CORES | Sparkジョブ・ドライバで使用されるコアの数。 |
SPARK_DRIVER_MEMORY | Sparkジョブ・ドライバの最大メモリー・ヒープ・サイズ。これはJVMメモリー設定と同じ形式である必要があります。例: 512mまたは2g。 |
SPARK_EXECUTORS | 起動するSparkエグゼキュータの合計数。 |
SPARK_EXECUTOR_CORES | 各Sparkエグゼキュータのコアの数。 |
SPARK_EXECUTOR_MEMORY | 各Sparkエグゼキュータの最大メモリー・ヒープ・サイズ。これはJVMメモリー設定と同じ形式である必要があります。例: 512Mまたは2g。 |
DP_ADDITIONAL_JARS | オプション。SerDe jarなど、データ処理中に使用する追加のjarへの絶対パスのカンマ区切りリスト。これらは、CLIクラスパスに追加されます。
インストールする前に、各SerDe jarをすべてのクラスタ・ノードの同じ場所に手動でコピーする必要があります。 |
BDD_VERSION | インストールしているBDDのバージョン。このプロパティはOracle Supportが使用するためのものです。変更しないでください。 |
BDD_RELEASE_VERSION | インストールするBDDホットフィックスまたはパッチのバージョン。このプロパティはOracle Supportが使用するためのものです。変更しないでください。 |