YARN設定変更

処理時にYARNクラスタの各ノードが十分なリソースにアクセスできるように、次のYARN固有のHadoopプロパティを更新する必要があります。

Hadoopクラスタ・マネージャ(Cloudera Manager、AmbariまたはMCS)から、これらのプロパティにアクセスできます。これらを見つけるための助けが必要な場合、ディストリビューションのドキュメントを参照してください。

プロパティ 説明
yarn.nodemanager.resource.memory-mb YARNが特定のノードで使用できるメモリーの合計量。16GB以上にする必要がありますが、処理する予定のデータの量によっては、より大きい値に設定する必要があります。
yarn.scheduler.maximum-allocation-vcores リクエストごとに各YARNコンテナに割り当てられる仮想CPUコアの最大数。

Hadoopクラスタに1つのYARNワーカー・ノードのみが含まれる場合、この値はそのノードのコアの半分以下にする必要があります。それに複数のYARNワーカー・ノードが含まれる場合、この値は各ノードの合計コア数以下にする必要があります。

yarn.scheduler.maximum-allocation-mb リクエストごとに各YARNコンテナに割り当てられるRAMの最大量。これは、16GB以上にする必要があります。また、
  • Hadoopクラスタに1つのYARNノードのみが含まれる場合、この値はそのノードのRAMの半分以下にする必要があります。
  • Hadoopクラスタに複数のYARNノードが含まれる場合、この値は各ノードのRAM合計量以下にする必要があります。
yarn.scheduler.capacity.maximum-applications 各ノードに許可される同時実行ジョブの最大数。2から8の値を指定できます。

大きい値を設定すると、同時に送信されたジョブが無期限に停止することがあります。