5.7 Perfect Balanceレポートについて

Perfect Balanceは、ジョブの実行時に次のレポートを生成します。

• Job Analyzerレポート: ジョブ内のロードの分散に関する様々な指標を含みます。このレポートは、ユーザー用のHTML形式と、Perfect Balanceで使用するためのXML形式で保存されます。このレポートには常に、jobanalyzer-report.htmlおよび-.xmlという名前が付けられます。「Job Analyzerレポートの分析」を参照してください。

• パーティション・レポート: 様々なリデューサに割り当てられたキーを識別します。このレポートは、Perfect Balanceで使用するためのJSON形式で保存され、ユーザーが使用するための情報を含みません。このレポートには、${job_output_dir}/_balancer/orabalancer_report.jsonという名前が付けられます。均衡化されたジョブのためにのみ生成されます。

• リデュース・キー・メトリック・レポート: 適切な構成プロパティが設定されている場合、Perfect Balanceは各ファイル・パーティションに対してレポートを生成します。これらのレポートは、Perfect Balanceで使用するためのXML形式で保存されます。ユーザーが使用するための情報は含まれません。これらのレポートには、${job_output_dir}/_balancer/ReduceKeyMetricList-attempt_jobid_taskid_task_attemptid.xmlという名前が付けられます。これらはカウンティング・リデューサを使用する場合のみ生成されます(つまり、ジョブの発行前にBalancer.configureCountingReducerが呼び出された場合。

  「追加メトリックの収集」を参照してください。

これらのレポートは、デフォルトではYARNのジョブ出力ディレクトリ(${mapreduce.output.fileoutputformat.outputdir})に保存されます。次に示すのは、このディレクトリの構造です。

job_output_directory
   /_SUCCESS
   /_balancer
      ReduceKeyMetricList-attempt_201305031125_0016_r_000000_0.xml
      ReduceKeyMetricList-attempt_201305031125_0016_r_000001_0.xml
        .
        .
        .
     jobanalyzer-report.html
     jobanalyzer-report.xml
     orabalancer_report.json
   /part-r-00000
   /part-r-00001
     .
     .
     .