3.1.3 ローカルのSparkクラスタの活用

ローカルSparkクラスタは、GGSAパイプラインに加え、独自のSparkジョブの実行に使用されます。Sparkジョブはlocalhostとポート6066を使用してRESTエンドポイントに送信できます。Sparkは/u01/app/sparkにインストールされています。Sparkのドキュメントを参照して構成を変更できます。

Sparkコンソールにアクセスするには、https://<IP_of_Instance/spark>と入力して、ユーザー名/パスワードを指定します。デフォルトでは、Sparkクラスタには2つのワーカーが構成され、それぞれのワーカーに16個の仮想コアがあります。