Kafka用のExtractの追加

KafkaソースのExtractの追加は、ビッグ・データのデプロイメント・バージョンによって異なります。ビッグ・データ・デプロイメントのバージョンに応じて、指示に従います。

OCI GoldenGateバージョンを確認するには、デプロイメントの詳細ページでバージョン情報を表示します。

次のストリーミング・ソースからメッセージを取得できます。

  • Apache Kafka
  • OCIストリーミング
  • スキーマ・レジストリの有無にかかわらず、Confluent Kafka
  • Azure Event Hubs
  • Amazon MSK

OCI GoldenGateは、1つ以上のKafkaトピックからメッセージを読み取り、GoldenGateトレイル・ファイルに書き込まれる論理変更レコードにデータを変換します。その後、GoldenGate Replicatプロセスは、生成された証跡ファイルを使用して、リレーショナル・データベース管理システム(RDBMS)の実装をサポートするためにデータを伝播できます。

OCIのGoldenGateビッグ・データ・デプロイメントでは、同じデプロイメント内で複数のソース・テクノロジがサポートされるため、同じデプロイメント内でサポートされている異なるソース・テクノロジからの複数の抽出を構成できます。OCI GoldenGateは、資格証明ストア・エントリを使用してソース・テクノロジを識別します。たとえば、OCI GoldenGateでは、資格証明の「ユーザーID」を使用して、Kafka (kafka://) ExtractまたはMongo (Mongo://) Extractを起動するかどうかを決定します。

Extractの追加(23ai)

Extractを追加および実行する前に、次のことを確認します。
  • このソース接続タイプに固有の詳細を確認します。
  • ビッグ・データ・デプロイメント・コンソールで資格証明を作成します。
    1. デプロイメントの詳細ページからビッグ・データ・デプロイメント・コンソールを起動し、ログインします。
    2. 管理サービスの左側のナビゲーション・メニューで、「DB接続」をクリックします。
    3. 「DB接続」ページで、「資格証明の追加」(プラス・アイコン)をクリックします。
    4. 表示されるフィールドに次の詳細を入力し、「発行」をクリックします。
      • 「資格証明ドメイン」に、OracleGoldenGateと入力します。
      • 「資格証明別名」に、kafkaと入力します。
      • 「ユーザーID」に、kafka://と入力します
      • 「パスワード」で、パスワードを入力します。
      • 「パスワードの検証」に、パスワードを再度入力します。
Oracle GoldenGate 23aiでExtractを追加するには:
  1. OCI GoldenGateデプロイメント・コンソールの「管理サービスのホーム」ページで、「Extractの追加」をクリックします。
  2. 「抽出の追加」パネルの「抽出情報」ページで、必要に応じて次のフィールドに入力し、「次へ」をクリックします。
    • 「プロセス名」に8文字以内で入力します。
    • 「説明」(オプション)を入力して、このプロセスを他のプロセスと区別できるようにします。
    • ドロップダウンから「ソース」を選択します。
  3. 「抽出オプション」ページで、必要に応じて次のフィールドに入力し、「次へ」をクリックします。
    1. 「Extract Trail」の場合:
      1. Extractプロセスの「名前」を入力します。
      2. 「サブディレクトリ名」を入力して、生成された証跡ファイルのカスタムの場所を設定します。
      3. 「証跡順序」と入力して、証跡ファイルの開始番号を設定します。
      4. 「トレイル・サイズ」を入力して、生成されるトレイル・ファイルの最大サイズを設定します。
      5. 「暗号化プロファイル」を選択します。暗号化プロファイルが作成されていない場合は、デフォルトでローカル・ウォレット・プロファイルが選択されます。
      6. 「暗号化のアルゴリズム」を選択します。
        • なし
        • AES256
        • AES192
        • AES128
    2. 「ソース資格証明」で、次を選択します:
      1. ドメイン
      2. エイリアス
      3. 最初の作業作業
  4. 「管理対象オプション」ページで、必要に応じて次のオプション・フィールドに入力し、「次へ」をクリックします。
    • プロファイル名
    • デプロイメントのヘルスに不可欠
    • 自動開始
    • 自動再起動

    ノート:

    プロファイルを追加して「自動開始」および「自動再起動」オプションを構成すると、ネットワークの中断後にデプロイメントを自動的に再起動できます。詳細は、「管理対象プロセスの構成」を参照してください。

  5. パラメータ・ファイル・ページで、次を更新します。
    1. SOURCEDB USERIDALIASをSOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGateに更新します。
    2. 指定されたブートストラップ・サーバーのすべてのトピックをリスニングするには、表マッピングをそのまま(TABLE source.*;)にします。指定されたトピックから取得するには、マッピングをTABLE source.<topic-name>;に変更します。ここで、<topic-name>は取得元のトピックの名前です。

      ノート:

      Extractマッピング・フォーマットはTable SourceSchema.Tableです。Kafkaには、ソース・スキーマ/表はありません。OCI GoldenGateは、最初の部分(前述のステップのsource)をスキーマ名として、2番目の部分を表名として証跡ファイルに書き込みます。このようにして、取得したkafkaメッセージを他のGoldenGateでサポートされているターゲットにレプリケートできます。
  6. 「作成および実行」をクリックして、Extractを作成および起動します。「作成」をクリックすると、後で「抽出」ページからExtractを手動で起動できます。

Extractの追加(21c)

Extractを作成する前に、ビッグ・データ・デプロイメント・コンソールで資格証明を作成します:

  1. 「デプロイメント」ページで、ビッグ・データ・デプロイメントを選択してその詳細を表示します。
  2. デプロイメントの作成時に指定した資格証明を使用して、ビッグ・データ・デプロイメント・コンソールにログインします。「管理サーバーの概要」ページが表示されます。
  3. 資格証明を追加します。
    1. ナビゲーション・メニューを開き、「構成」をクリックします。
    2. 資格証明ページで、「資格証明の追加」(プラス・アイコン)をクリックします。
    3. 表示されるフィールドに次の詳細を入力し、「発行」をクリックします。
      • 「資格証明ドメイン」に、OracleGoldenGateと入力します。
      • 「資格証明別名」に、kafkaと入力します。
      • 「ユーザーID」に、kafka://と入力します
      • 「パスワード」で、パスワードを入力します。
      • 「パスワードの検証」に、パスワードを再度入力します。
ビッグ・データ・デプロイメント・バージョン21.9以降のOCI GoldenGateでKafkaのExtractを追加するには:
  1. ナビゲーション・メニューで、「概要」をクリックして管理サービスの概要ページに戻ります。
  2. 「Extractの追加」(プラス・アイコン)をクリックします。
  3. 「Extractの追加」ページで、次を選択し、「次へ」をクリックします:
    • 出典: Kafka
    • Extractタイプ: チェンジ・データ・キャプチャ
  4. 「Extractオプション」ページで、次のようにフィールドに入力した後、「次」をクリックします:
    • 「プロセス名」に、最大8文字の名前を入力します。
    • 説明を入力します。(オプション)
    • 「接続別名」で、以前に割り当てられた接続別名を選択します。
    • 「開始」で、「現在」を選択します。
    • 「トレイル名」に、2文字の名前を入力します。
    • (オプション)ソースがKafka Connectフレームワークの場合、Kafka Connectの有効化。
    • (オプション) Kafka Connectが選択されている場合は、使用可能なコンバータのいずれかを選択します:
      • JSON
      • AVRO
    • (オプション) AVROが選択されている場合は、「スキーマ・レジストリ」を選択します。
    • (オプション)「管理対象オプション」で、次を構成できます。
      • プロファイル名
      • 自動開始
      • 自動再起動

      ノート:

      プロファイルを追加して「自動開始」および「自動再起動」オプションを構成すると、ネットワークの中断後にデプロイメントを自動的に再起動できます。詳細は、管理対象プロセスの構成を参照してください。
  5. パラメータ・ファイル・ページで、次を更新します。
    1. SOURCEDB USERIDALIASをSOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGateに更新します。
    2. 指定されたブートストラップ・サーバーのすべてのトピックをリスニングするには、表マッピングをそのまま(TABLE source.*;)にします。指定されたトピックから取得するには、マッピングをTABLE source.<topic-name>;に変更します。ここで、<topic-name>は取得元のトピックの名前です。

      ノート:

      Extractマッピング・フォーマットはTable SourceSchema.Tableです。Kafkaには、ソース・スキーマ/表はありません。OCI GoldenGateは、最初の部分(前述のステップのsource)をスキーマ名として、2番目の部分を表名として証跡ファイルに書き込みます。このようにして、取得したkafkaメッセージを他のGoldenGateでサポートされているターゲットにレプリケートできます。
  6. 「作成および実行」をクリックします。
管理サービスの「概要」ページに戻り、Extractのステータスを確認できます。その後、Extractを選択して、その詳細、統計およびレポートを表示できます。