2.11 GoldenGate Stream Analyticsサーバーのランタイムの設定
GoldenGate Stream Analyticsの使用を開始する前に、ランタイム・サーバー、環境およびノードの詳細を指定する必要があります。この手順は、初めてGoldenGate Stream Analytics (GGSA)を起動した直後に実行する必要があります。
- ディレクトリを
OSA-19.1.0.0.*.*/osa-base/binに変更し、./start-osa.sh
を実行します。コンソールに次のメッセージが表示されます。サポートされているOSAスキーマのバージョンは次のとおりです: [18.4.3、18.1.0.1.0、18.1.0.1.1、19.1.0.0.0、19.1.0.0.1、19.1.0.0.2、19.1.0.0.3、19.1.0.0.5、19.1.0.0.6、19.1.0.0.7、19.1.0.0.8]
事前に構成された最新のスキーマです。変更や更新は必要ありません。
このメッセージが表示されない場合は、
OSA-19.1.0.0.*.*/osa-base/logs
フォルダ内のログ・ファイルを確認してください。 - Chromeブラウザで、
localhost:9080/osa
を入力してOracle Stream Analyticsのログイン・ページにアクセスし、資格証明を使用してログインします。ノート:
パスワードは、プレーン・テキストのパスワードです。 - 画面の右上隅のユーザー名をクリックします。
- 「システム設定」をクリックします。
- 「環境」をクリックします。
- 「ランタイム・サーバー」を選択します。YarnおよびSparkスタンドアロン・ランタイム構成の詳細は、次の各項を参照してください。
Yarn構成
-
-
YARNリソース・マネージャのURL: YARNリソース・マネージャが構成されているURLを入力します。
-
ストレージ: パイプラインのストレージのタイプを選択します。GGSAパイプラインをSparkに送信するには、すべてのSparkノードからアクセス可能なストレージの場所にパイプラインをコピーする必要があります。
- ストレージ・タイプがWebHDFSの場合:
-
パス: 生成されたSparkパイプラインのコピー先および送信元のWebHDFSディレクトリ(hostname:port/path)を入力します。この場所には、すべてのSparkノードからアクセスできる必要があります。後続の認証セクションで指定するユーザーには、このディレクトリに対する読取り/書込みアクセス権が必要です。
-
HA Namenode: HA Namenodeを設定します。前述のURLのホスト名が論理HAクラスタを参照している場合、ここには、
Hostname1:Port, Hostname2:Port
という書式で実際のnamenodeを指定します。
-
- ストレージ・タイプがHDFSの場合:
-
パス: パスは
<HostOrIPOfNameNode><HDFSパス>
のようになります。たとえば、xxx.xxx.xxx.xxx/user/oracle/ggsapipelines
です。Hadoopユーザーには、Write
権限が必要です。フォルダが存在しない場合は、自動的に作成されます。 -
HAネームノード: 前述のURLのホスト名が論理HAクラスタを参照している場合、
Hostname1:Port, Hostname2:Port
の形式でここに実際のネームノードを指定します。
-
- ストレージ・タイプがNFSの場合:
パス: パスは
/oracle/spark-deploy
のようになります。ノート:
/oracleが存在する必要があり、存在しない場合はspark-deployが自動的に作成されます。/oracleディレクトリに対するWrite
権限が必要です。
- ストレージ・タイプがWebHDFSの場合:
-
- Hadoop認証:
- 簡易認証資格証明:
- 保護ポリシー: ドロップダウン・リストから保護ポリシーを選択します。この値は、クラスタ上の値と一致する必要があります。
- ユーザー名: Sparkパイプラインの送信に使用するユーザー・アカウントを入力します。このユーザーには、上で指定したパスに対する読取り/書込みアクセス権が必要です。
- Kerberos認証資格証明:
- 保護ポリシー: ドロップダウン・リストから保護ポリシーを選択します。この値は、クラスタ上の値と一致する必要があります。
- Kerberosレルム: Kerberosがユーザー、ホストまたはサービスを認証するドメインを入力します。この値は
krb5.confファイル
にあります。 - Kerberos KDC: キー配布センターが実行されているサーバーを入力します。この値は
krb5.confファイル
にあります。 - プリンシパル: アプリケーション・デプロイメント用にHadoopクラスタに対してGGSA Webアプリケーションを認証するために使用するGGSAサービス・プリンシパルを入力します。このユーザーは、HDFSにGGSAアプリケーションをデプロイするために使用されるフォルダの所有者である必要があります。このユーザーは、yarnノード・マネージャでも作成する必要があります。
- キータブ: GGSAサービス・プリンシパルに関連するキータブを入力します。
- Yarnリソース・マネージャ・プリンシパル: yarnプリンシパルを入力します。HadoopクラスタがKerberosで構成されている場合、hdfs、https、yarnなどのhadoopサービスのプリンシパルも作成されます。
- 簡易認証資格証明:
- Yarnマスター・コンソール・ポート: Yarnマスター・コンソールが実行されるポートを入力します。デフォルト・ポートは
8088
です - 「保存」をクリックします。
Sparkスタンドアロン
- 「ランタイム・サーバー」にSparkスタンドアロンを選択し、次の詳細を入力します:
-
Spark REST URL: SparkスタンドアロンのREST URLを入力します。SparkスタンドアロンがHAに対応している場合は、アクティブ・ノードとスタンバイ・ノードをカンマで区切ったリストを入力できます。
-
ストレージ: パイプラインのストレージのタイプを選択します。GGSAパイプラインをSparkに送信するには、すべてのSparkノードからアクセス可能なストレージの場所にパイプラインをコピーする必要があります。
- ストレージ・タイプがWebHDFSの場合:
-
パス: 生成されたSparkパイプラインのコピー先および送信元のWebHDFSディレクトリ(hostname:port/path)を入力します。この場所には、すべてのSparkノードからアクセスできる必要があります。後続の認証セクションで指定するユーザーには、このディレクトリに対する読取り/書込みアクセス権が必要です。
-
HAネームノード: 前述のURLのホスト名が論理HAクラスタを参照している場合、
Hostname1:Port, Hostname2:Port
の形式でここに実際のネームノードを指定します。
-
- ストレージ・タイプがHDFSの場合:
-
パス: パスは
<HostOrIPOfNameNode><HDFSパス>
のようになります。たとえば、xxx.xxx.xxx.xxx/user/oracle/ggsapipelines
です。Hadoopユーザーには、Write
権限が必要です。フォルダが存在しない場合は、自動的に作成されます。 -
HAネームノード: 前述のURLのホスト名が論理HAクラスタを参照している場合、
Hostname1:Port, Hostname2:Port
の形式でここに実際のネームノードを指定します。このフィールドは、ストレージ・タイプがHDFSの場合にのみ適用されます。
-
- WebHDFSおよびHDFSストレージ・タイプのHadoop認証:
- 簡易認証資格証明:
- 保護ポリシー: ドロップダウン・リストから保護ポリシーを選択します。
- ユーザー名: Sparkパイプラインの送信に使用するユーザー・アカウントを入力します。このユーザーには、上で指定したパスに対する読取り/書込みアクセス権が必要です。
- Kerberos認証資格証明:
- 保護ポリシー: ドロップダウン・リストから保護ポリシーを選択します。
- Kerberosレルム: Kerberosがユーザー、ホストまたはサービスを認証するドメインを入力します。この値は
krb5.confファイル
にあります。 - Kerberos KDC: キー配布センターが実行されているサーバーを入力します。この値は
krb5.confファイル
にあります。 - プリンシパル: アプリケーション・デプロイメント用にHadoopクラスタに対してGGSA Webアプリケーションを認証するために使用するGGSAサービス・プリンシパルを入力します。このユーザーは、HDFSにGGSAアプリケーションをデプロイするために使用されるフォルダの所有者である必要があります。このユーザーは、yarnノード・マネージャでも作成する必要があります。
- キータブ: GGSAサービス・プリンシパルに関連するキータブを入力します。
- Yarnリソース・マネージャ・プリンシパル: yarnプリンシパルを入力します。HadoopクラスタがKerberosで構成されている場合、hdfs、https、yarnなどのhadoopサービスのプリンシパルも作成されます。
- 簡易認証資格証明:
- ストレージ・タイプがNFSの場合:
パス: パスは
/oracle/spark-deploy
のようになります。ノート:
/oracleが存在する必要があり、存在しない場合はspark-deployが自動的に作成されます。/oracleディレクトリに対するWrite
権限が必要です。
- ストレージ・タイプがWebHDFSの場合:
-
- Sparkスタンドアロン・マスター・コンソール・ポート: Sparkスタンドアロン・コンソールが実行されるポートを入力します。デフォルトのポートは
8080
です。ノート:
カンマ区切りのポートの順序は、「パス」に記載されているカンマ区切りのSpark REST URLの順序と一致する必要があります。 - Sparkマスター・ユーザー名: Sparkスタンドアロン・サーバーのユーザー名を入力します。
- Sparkマスター・パスワード: 「パスワードの変更」をクリックして、Sparkスタンドアロン・サーバーのパスワードを変更します。
ノート:
この画面で、Sparkスタンドアロン・サーバーのユーザー名とパスワードを変更できます。デフォルトでは、ユーザー名とパスワードのフィールドは空白のままです。 - 「保存」をクリックします。