Kafkaソース用のExtractの追加

KafkaソースのExtractの追加は、ビッグ・データ・デプロイメント・バージョン間で異なります。OCI GoldenGate Big Dataデプロイメント・バージョンに従って、指示に従ってください。

OCI GoldenGateバージョンを確認するには、デプロイメントの詳細ページでバージョン情報を表示します。

次のストリーミング・ソースからメッセージを取得できます。

• Apache Kafka

• OCIストリーミング

• Apache Kafkaを使用したOCIストリーミング

• Confluent KafkaとConfluent Schema Registryの有無

• Azure Event Hubs

• Amazon MSK

• Microsoft Fabric Eventstream

OCI GoldenGateは、1つ以上のKafkaトピックからメッセージを読み取り、GoldenGate証跡ファイルに書き込まれる論理変更レコードにデータを変換します。GoldenGate Replicatプロセスは、生成された証跡ファイルを使用してデータを伝播し、リレーショナル・データベース管理システム(RDBMS)の実装をサポートできます。

OCI GoldenGate Big Dataデプロイメントでは、同じデプロイメント内で複数のソース・テクノロジがサポートされるため、同じデプロイメント内でサポートされている様々なソース・テクノロジからの複数の抽出を構成できます。OCI GoldenGateは、資格証明ストア・エントリを使用してソース・テクノロジを識別します。たとえば、OCI GoldenGateでは、資格証明のユーザーIDを使用して、Kafka (kafka://)またはMongo (Mongo://) Extractを起動するかどうかを決定します。

Extractの追加(26ai)

Extractを追加および実行する前に、次のことを確認してください。

• このソース接続タイプに固有の詳細を確認します。

• ビッグ・データ・デプロイメント・コンソールで資格証明を作成します:

  1. デプロイメントの詳細ページからビッグ・データ・デプロイメント・コンソールを起動し、ログインします。

  2. 管理サービスの左側のナビゲーション・メニューで、「DB接続」を選択します。

  3. 「DB接続」ページで、「資格証明の追加」(プラス・アイコン)を選択します。

  4. 表示されるフィールドに次の詳細を入力し、「送信」を選択します。

     • 「資格証明ドメイン」に、OracleGoldenGateと入力します。

     • 「資格証明別名」に、kafkaと入力します。

     • 「ユーザーID」に、kafka://と入力します

     • 「パスワード」に、パスワードを入力します。

     • 「Verify Password」に、パスワードを再度入力します。

Oracle GoldenGate 26aiにExtractを追加するには:

1. OCI GoldenGateデプロイメント・コンソール・ナビゲーション・メニューで、「Extract」を選択します。

2. 「Extract」ページで、「Extractの追加」を選択します。

3. 「Extractの追加」パネルの「Extract情報」ページで、必要に応じて次のフィールドに入力し、「次へ」を選択します。

   • 「プロセス名」に8文字以内で入力します。

   • このプロセスと他のプロセスの区別に役立つ「説明」(オプション)を入力します。

   • ドロップダウンから「ソース」を選択します。

4. 「抽出オプション」ページで、必要に応じて次のフィールドに入力し、「次へ」を選択します。

   1. 「Extract Trail」の場合:

      1. Extractプロセスの「名前」を入力します。

      2. サブディレクトリ名を入力して、生成された証跡ファイルのカスタムの場所を設定します。

      3. 「証跡順序」を入力して、証跡ファイルの開始番号を設定します。

      4. 「トレイル・サイズ」を入力して、生成されるトレイル・ファイルの最大サイズを設定します。

      5. 「暗号化プロファイル」を選択します。暗号化プロファイルが作成されていない場合は、デフォルトでローカル・ウォレット・プロファイルが選択されます。

      6. 「暗号化のアルゴリズム」を選択します。

         • なし

         • AES256

         • AES192

         • AES128

   2. 「ソース資格証明」で、次を選択します:

      1. ドメイン

      2. 別名

      3. 開始する時期/場所

5. 「管理対象オプション」ページで、必要に応じて次のオプション・フィールドに入力し、「次へ」を選択します。

   • プロファイル名

   • デプロイメントのヘルスに不可欠

   • 自動開始

   • 自動再起動

     ノート:プロファイルを追加し、「自動起動」および「自動再起動」オプションを構成すると、ネットワークの中断後にデプロイメントを自動的に再起動できます。詳細は、管理対象プロセスの構成を参照してください。

6. 「パラメータ・ファイル」ページで、次を更新します。

   1. SOURCEDB USERIDALIASをSOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGateに更新します。

   2. 指定されたブートストラップ・サーバー内のすべてのトピックをリスニングするには、表マッピングをそのまま(TABLE source.*;)にします。指定されたトピックから取得するには、マッピングをTABLE source.<topic-name>;に変更します。ここで、<topic-name>は取得元のトピックの名前です。

      ノート: Extractマッピング形式はTable SourceSchema.Tableです。Kafkaには、ソース・スキーマ/テーブルはありません。OCI GoldenGateは、最初の部分(前述のステップのソース)をスキーマ名として、2番目の部分を表名として証跡ファイルに書き込みます。これにより、取得したkafkaメッセージを、サポートされている他のGoldenGateターゲットにレプリケートできます。

7. 「作成および実行」を選択すると、Extractが作成および起動されます。「作成」を選択した場合は、後で「Extract」ページからExtractを手動で起動できます。

Extractの追加(21c)

Extractを作成する前に、ビッグ・データ・デプロイメント・コンソールで資格証明を作成します:

1. 「デプロイメント」ページで、ビッグ・データ・デプロイメントを選択してその詳細を表示します。

2. デプロイメントの作成時に指定された資格証明を使用して、ビッグ・データ・デプロイメント・コンソールにログインします。管理サーバーの「概要」ページが表示されます。

3. 資格証明を追加します。

   1. ナビゲーション・メニューを開き、「構成」を選択します。

   2. 資格証明ページで、「資格証明の追加」(プラス・アイコン)を選択します。

   3. 表示されるフィールドに次の詳細を入力し、「送信」を選択します。

      • 「資格証明ドメイン」に、OracleGoldenGateと入力します。

      • 「資格証明別名」に、kafkaと入力します。

      • 「ユーザーID」に、kafka://と入力します

      • 「パスワード」に、パスワードを入力します。

      • 「Verify Password」に、パスワードを再度入力します。

OCI GoldenGate for Big Dataデプロイメント・バージョン21.9以降にExtract for Kafkaを追加するには:

1. ナビゲーション・メニューで、「概要」を選択して「管理サービスの概要」ページに戻ります。

2. 「抽出の追加」(プラス・アイコン)を選択します。

3. 「Extractの追加」ページで、次を選択し、「次へ」を選択します。

   • 出典: Kafka

   • 抽出タイプ: 変更データ取得Extract

4. 「Extractオプション」ページで、次のようにフィールドに入力します。「次」を選択します。

   • 「プロセス名」に、最大8文字の名前を入力します。

   • 説明を入力します。(オプション)

   • 「接続別名」で、以前に割り当てられた接続別名を選択します。

   • 「開始」で、「現在」を選択します。

   • 「トレイル名」に、2文字の名前を入力します。

   • (オプション)ソースがKafka Connectフレームワークの場合は、Kafka Connectを有効化します。

   • (オプション)Kafka Connectが選択されている場合は、使用可能なコンバータのいずれかを選択します:

     • JSON

     • AVRO

   • (オプション) AVROが選択されている場合は、「Confluent Schema Registry」を選択します。

   • (オプション)「管理対象オプション」で、次を構成できます。

     • プロファイル名

     • 自動開始

     • 自動再起動

       ノート:プロファイルを追加し、「自動起動」および「自動再起動」オプションを構成すると、ネットワークの中断後にデプロイメントを自動的に再起動できます。詳細は、管理対象プロセスの構成を参照してください。

5. 「パラメータ・ファイル」ページで、次を更新します。

   1. SOURCEDB USERIDALIASをSOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGateに更新します。

   2. 指定されたブートストラップ・サーバー内のすべてのトピックをリスニングするには、表マッピングをそのまま(TABLE source.*;)にします。指定されたトピックから取得するには、マッピングをTABLE source.<topic-name>;に変更します。ここで、<topic-name>は取得元のトピックの名前です。

      ノート: Extractマッピング形式はTable SourceSchema.Tableです。Kafkaには、ソース・スキーマ/テーブルはありません。OCI GoldenGateは、最初の部分(ソース)をスキーマ名として、2番目の部分を表名として証跡ファイルに書き込みます。これにより、取得したkafkaメッセージを、サポートされている他のGoldenGateターゲットにレプリケートできます。

6. 「作成および実行」を選択します。

管理サービスの「概要」ページに戻り、Extractのステータスを確認できます。その後、Extractを選択してその詳細、統計およびレポートを表示できます。