Kafkaプラットフォームからのデータの取得

OCI GoldenGateを使用して、Kafkaプラットフォーム・ストリーミング・ソースからメッセージを抽出します。

概要

OCI GoldenGateを使用して、次のストリーミング・ソースからメッセージを取得できます。

OCI GoldenGateは、1つ以上のKafkaトピックからメッセージを読み取り、GoldenGate証跡ファイルに書き込まれる論理変更レコードにデータを変換します。GoldenGate Replicatプロセスは、生成証跡ファイルを使用してデータを伝播し、RDBMS実装をサポートできます。

タスク1: コンシューマ・プロパティの構成

  1. 次のデシリアライザまたはコンバータのいずれかを使用して、Kafkaコンシューマ・プロパティ・ファイルを作成します。ソースがConfluent Kafka with Confluent Schema Registryのトピックである場合、Avroコンバータを使用できます。他のソースの場合は、必要に応じてJSONコンバータまたはデシリアライザを使用します:

    • JSONデシリアライザのKafkaコンシューマ・プロパティ:

      key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer

    • JSONコンバータのKafkaコンシューマ・プロパティ:

      key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter

    • AvroコンバータのKafkaコンシューマ・プロパティ:

      key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter

  2. プロパティ・ファイルを保存し、その場所をメモします。

タスク2: OCI GoldenGateリソースの作成

このタスクでは、リソースがまだ存在しない場合に新しいリソースを作成する方法について説明します。使用しているビッグ・データ・デプロイメントが使用可能な最新バージョンにアップグレードされていることを確認します。

  1. ビッグ・データ用のOCI GoldenGateデプロイメントを作成します。

  2. 接続を作成します。

    ノート:次の接続を作成する場合は、必ず「拡張オプションの表示」を選択し、コンシューマ・プロパティ・ファイルをアップロードしてください。

  3. ビッグ・データ・デプロイメントへの接続を割り当てます。

タスク3: 資格証明の作成

Extractを作成する前に、まず資格証明を作成する必要があります。

資格証明を作成するには:

  1. 「デプロイメント」ページで、ビッグ・データ・デプロイメントを選択します。

  2. デプロイメントの詳細ページで、「コンソールの起動」を選択します。

  3. タスク2のステップ1でデプロイメントを作成したときに指定したユーザー名とパスワードを使用して、ビッグ・データ・デプロイメントにログインします。

  4. ナビゲーション・メニューから、「DB接続」を選択します。

  5. 「構成」ページの「データベース」タブで、「DB接続の追加」(プラス・アイコン)を選択し、次のようにフォームに入力します。

    1. 「資格証明ドメイン」に、OracleGoldenGateと入力します。

    2. 「資格証明別名」に、kafkaと入力します。

    3. 「ユーザーID」に、kafka://と入力します

    4. 「パスワード」および「パスワードの確認」に、パスワードを入力します。

    5. 「送信」を選択します。

タスク4: Extractの作成

  1. ホーム・ページで、「Extractの追加」(プラス・アイコン)を選択します。

  2. 次の値を含むExtractの追加:

    1. 「Extract情報」ページで、次のようにフィールドに入力し、「次へ」を選択します。

      • 「抽出タイプ」で、「統合抽出」を選択します。

      • 「プロセス名」に、抽出の名前を入力します。

    2. 「Extractオプション」ページで、次のようにフィールドに入力します。「次」を選択します。

      • 「ドメイン」で、ドメインを選択します。

      • 「別名」で、デプロイメントに割り当てられている接続を選択します。

      • 「名前」に、2文字の名前を入力します。

    3. 「管理対象オプション」ページで、フィールドをそのままにして、「次へ」を選択します。

    4. 「パラメータ・ファイル」ページで、次の手順を実行します。

      • 指定されたブートストラップ・サーバー内のすべてのトピックをリスニングするには、表マッピングをTABLE TESTSCHEMA.*;のままにします。また、表マッピングをTABLE TESTSCHEMA.<topic-name>;として設定して、指定したトピックから取得することもできます。

      • SOURCEDB USERIDALIASをSOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGateに更新します。

    5. 「作成および実行」を選択します。

Oracle GoldenGateのホーム・ページに戻り、Extractプロセスの開始およびイベント・メッセージを確認できます。