3.3 Sparkコンソールでのパイプラインのモニタリング

Sparkコンソールで、ローカルSparkクラスタで実行されているパイプラインをモニターできます。

Sparkコンソールを開くには、Chromeブラウザにhttps://<IP_of_Instance/spark>と入力し、「GGSAインスタンスの保護」の項で使用したSparkのユーザーとパスワードを入力します。実行中および完了したアプリケーションのリストが表示されます。

ドラフト状態のパイプラインは、パイプライン・エディタを終了すると自動的にアンデプロイされますが、パブリッシュ済状態のパイプラインは、次のスクリーンショットに示すように、引き続き実行されます。

ドラフト状態のパイプラインは、末尾に_draftが付いています。「期間」列に、パイプラインが実行されている期間が表示されます。

ストリーミングの統計を表示するには、「アプリケーションID」→「アプリケーションの詳細」UI→「ストリーミング」をクリックします。

ストリーミングの統計のページには、データ収集率、マイクロ・バッチの処理時間、スケジュール遅延などが表示されます。これらのメトリックの詳細は、Sparkのドキュメントを参照してください。