YARN設定変更

処理中に各YARNワーカー・ノードが十分なリソースにアクセスできるように、次のYARN固有のHadoopプロパティを更新する必要があります。

これらのプロパティには、Cloudera Manager/Ambariでアクセスできます。これらを見つけるための助けが必要な場合、Hadoopディストリビューションのドキュメントを参照してください。

プロパティ 説明
yarn.nodemanager.resource.memory-mb YARNクラスタ全体に使用可能なメモリーの合計量。16GB以上にする必要がありますが、処理する予定のデータの量によっては、より大きい値に設定する必要があります。
yarn.scheduler.maximum-allocation-vcores リクエストごとに各YARNコンテナに割り当てられる仮想CPUコアの最大数。

クラスタに1つのYARNワーカー・ノードのみが含まれる場合、この値はそのノードのコアの半分以下にする必要があります。クラスタに複数のYARNワーカー・ノードが含まれる場合、この値は各ノードの合計コア数以下にする必要があります。

yarn.scheduler.maximum-allocation-mb リクエストごとに各YARNコンテナに割り当てられるRAMの最大量。

クラスタに1つのYARNワーカー・ノードのみが含まれる場合、この値はそのノードのRAMの半分以下にする必要があります。クラスタに複数のYARNワーカー・ノードが含まれる場合、この値は各ノードのRAM合計量以下にする必要があります。

yarn.scheduler.capacity.maximum-applications 各ノードに許可される同時実行ジョブの最大数。2から8の値を指定できます。

大きい値を設定すると、同時に送信されたジョブが無期限に停止することがあります。