処理中に各YARNワーカー・ノードが十分なリソースにアクセスできるように、次のYARN固有のHadoopプロパティを更新する必要があります。
これらのプロパティには、Cloudera Manager/Ambariでアクセスできます。これらを見つけるための助けが必要な場合、Hadoopディストリビューションのドキュメントを参照してください。
プロパティ | 説明 |
---|---|
yarn.nodemanager.resource.memory-mb | YARNクラスタ全体に使用可能なメモリーの合計量。16GB以上にする必要がありますが、処理する予定のデータの量によっては、より大きい値に設定する必要があります。 |
yarn.scheduler.maximum-allocation-vcores | リクエストごとに各YARNコンテナに割り当てられる仮想CPUコアの最大数。
クラスタに1つのYARNワーカー・ノードのみが含まれる場合、この値はそのノードのコアの半分以下にする必要があります。クラスタに複数のYARNワーカー・ノードが含まれる場合、この値は各ノードの合計コア数以下にする必要があります。 |
yarn.scheduler.maximum-allocation-mb | リクエストごとに各YARNコンテナに割り当てられるRAMの最大量。
クラスタに1つのYARNワーカー・ノードのみが含まれる場合、この値はそのノードのRAMの半分以下にする必要があります。クラスタに複数のYARNワーカー・ノードが含まれる場合、この値は各ノードのRAM合計量以下にする必要があります。 |
yarn.scheduler.capacity.maximum-applications | 各ノードに許可される同時実行ジョブの最大数。2から8の値を指定できます。
大きい値を設定すると、同時に送信されたジョブが無期限に停止することがあります。 |