Autonomous Transaction ProcessingからConfluent Kafkaへのデータのレプリケート

このクイックスタートは、OCI GoldenGateを使用して、Autonomous Transaction ProcessingからConfluent Kafkaにデータをレプリケートする方法を示しています。

開始する前に

このクイックスタートを正常に完了するには、次が必要です:

  • ソースAutonomous Transaction Processingインスタンス
  • Confluent Platformインスタンス。

環境設定: Autonomous Transaction Processing

レプリケーション用のソース・データベースがまだ設定されていない場合は、次のステップに従って、このクイックスタートに使用するサンプル・スキーマをロードできます。このクイックスタートでは、ソース・データベースにAutonomous Transaction Processingを使用します。

ソースAutonomous Databaseを設定するには:

  1. サンプル・データベース・スキーマをダウンロードして解凍します。
  2. Oracle Cloudコンソールで、「Autonomous Databases」ページからAutonomous Transaction Processing (ATP)インスタンスを選択して、その詳細を表示し、データベース・アクションにアクセスします。
  3. GGADMINユーザーをロック解除します。
    1. 「データベース・アクション」、「データベース・ユーザー」の順にクリックします。
    2. GGADMINを見つけて、その省略記号メニュー(3つのドット)をクリックし、「編集」を選択します。
    3. 「ユーザーの編集」パネルで、GGADMINパスワードを入力し、パスワードを確認して、「アカウントがロックされています」の選択を解除します。
    4. 「変更の適用」をクリックします。
  4. ソース・サンプル・スキーマおよびデータをロードします:
    1. 「データベース・アクション」メニューの「開発」で、「SQL」を選択します。
    2. OCIGGLL_OCIGGS_SETUP_USERS_ATP.sqlからスクリプトをコピーしてSQLワークシートに貼り付けます。
    3. 「スクリプトの実行」をクリックします。「スクリプト出力」タブに確認メッセージが表示されます。
    4. SQLワークシートをクリアし、OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql.からSQLスクリプトをコピーして貼り付けます。

      ヒント :

      SQLツールでスクリプトを正常に実行するには、各文を個別に実行する必要がある場合があります。
    5. 表が正常に作成されたことを確認するには、SQLウィンドウを閉じて再度開きます。「ナビゲータ」タブで、SRC_OCIGGLLスキーマを検索し、それぞれのドロップダウンから表を選択します。
  5. サプリメンタル・ロギングを有効にします:
    1. SQLワークシートをクリアします。
    2. 次の文を入力し、「文の実行」をクリックします:
      ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;

環境設定: Confluent Cloud

ターゲットのConfluent Cloudクラスタ、トピックおよびスキーマがまだない場合は、次を実行できます:
  1. クラスタの作成
  2. クラスタのAPIキーを作成します。次のステップのAPIキーおよびシークレットに注意してください。
  3. スキーマ・レジストリの有効化、Confluent Cloudスキーマ・レジストリのAPIキーの作成。次のステップのAPIキーおよびシークレットに注意してください。
  4. クラスタにトピックを作成します。次のステップのトピックの名前を書き留めます。

タスク1: OCI GoldenGateリソースの作成

このクイックスタートの例では、ソースとターゲットの両方のデプロイメントおよび接続が必要です。
  1. ソースAutonomous Transaction ProcessingインスタンスのOracleデプロイメントを作成します。
  2. ターゲットのConfluent Cloudのビッグ・データ・デプロイメントを作成します。
  3. ソースAutonomous Transaction Processingへの接続を作成します。
  4. Confluent Kafka接続を作成します。
  5. Confluentスキーマ・レジストリの作成
  6. (オプション)ビッグ・データ・デプロイメントにパブリック・エンドポイントがない場合は、GoldenGateへの接続を作成してから、ソースOracleデプロイメントにこの接続を割り当てます。
  7. ソースOracleデプロイメントにAutonomous Transaction Processing接続を割り当てます。
  8. ターゲット・ビッグ・データ・デプロイメントへのConfluent KafkaおよびConfluent Schema Registry接続の割当て。

タスク2: Extractの追加

  1. 「デプロイメント」ページで、ソースAutonomous Transaction Processingデプロイメントを選択します。
  2. 「デプロイメントの詳細」ページで、「コンソールの起動」をクリックします。
  3. ソース・デプロイメントの管理者のユーザー名とパスワードでログインします。
  4. トランザクション情報を追加します。
  5. Extractを追加します

タスク3: Distribution Pathの追加および実行

  1. GoldenGate資格証明ストアを使用している場合は、ターゲット・ビッグ・データ・デプロイメントで分散パスのユーザーを作成します。それ以外の場合は、ステップ3にスキップします。
  2. ソースATP GoldenGateデプロイメント・コンソールで、ステップ1で作成したユーザーのパス接続を追加します。
    1. ソースATPのGoldenGateデプロイメント・コンソールで、左側のナビゲーションの「パス接続」をクリックします。
    2. 「パス接続の追加」(プラス・アイコン)をクリックし、次を完了します:
      1. 「資格証明別名」には、GGSNetworkを入力します。
      2. 「ユーザーID」には、ステップ1で作成したユーザーの名前を入力します。
      3. 確認のためにユーザーのパスワードを2回入力します。
    3. 「送信」をクリックします。

      「パス接続」リストにパス接続が表示されます。

  3. ソースATPデプロイメント・コンソールで、次の値を使用して分散パスを追加します:
    1. ソース・オプションページ:
      • 「ソースExtract」で、タスク2で作成したExtractを選択します。
      • 「トレイル名」に、2文字の名前(E1など)を入力します。
    2. 「ターゲット・オプション」ページ:
      • 「ターゲット・ホスト」に、ターゲット・デプロイメントのホスト・ドメインを入力します。
      • 「ポート番号」に、443と入力します。
      • 「トレイル名」に、2文字の名前(E1など)を入力します。
      • 「別名」に、ステップ2で作成した資格証明別名を入力します。
  4. ターゲット・ビッグ・データ・デプロイメント・コンソールで、Distribution Pathの結果として作成されたReceiver Pathを確認します。
    1. ターゲット・ビッグ・データ・デプロイメント・コンソールで、Receiver Serviceをクリックします。
    2. パスの詳細を確認します。このパスは、前述のステップで作成したDistribution Pathの結果として作成されました。

タスク4: Replicatの追加および実行

  1. ターゲット・ビッグ・データ・デプロイメント・コンソールで、Administrator Serviceをクリックし、Add Replicat (プラス・アイコン)をクリックします。
  2. 次の値を使用してReplicatを追加します:
    1. Replicat情報ページのReplicatタイプで、Coordinated Replicatを選択し、プロセス名を入力して、「次」をクリックします。
    2. レプリケーション・オプション・ページ:
      • 「名前」に、タスク2からトレイルの名前を入力します。
      • 「ドメイン」で、ドメインを選択します。
      • 「別名」で、タスク1で作成したConluent Kafka接続を選択します。
      • 「チェックポイント表」で、ターゲット・デプロイメント用に作成したチェックポイント表を選択します。
    3. Replicatパラメータ・ページで、MAP *.*, TARGET *.*;を次に置き換えます:
      MAP SRC_OCIGGLL.SRC_CUSTOMER, Table SRC.CUSTOMER;
  3. 「作成および実行」をクリックします。
「概要」ページに戻り、Replicatの詳細を確認できます。

タスク5: レプリケーションの確認

ソースAutonomous Transaction Processingインスタンスを更新して、Confluent Kafka Cloudへのレプリケーションを確認します。
  1. Oracle Cloudコンソールで、ナビゲーション・メニューを開き、「Oracle Database」を選択し、次に「Autonomous Transaction Processing」を選択します。
  2. Autonomous Transaction Processingインスタンスのリストで、ソース・インスタンスを選択してその詳細を表示します。
  3. データベースの詳細ページで、「データベース・アクション」をクリックします。

    ノート:

    自動的にログインします。そうでない場合は、データベース資格証明を使用してログインします。
  4. データベース・アクションのホームページで、「SQL」を選択します。
  5. ワークシートに次を入力し、「スクリプトの実行」をクリックします。
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
  6. ソースATPデプロイメント・コンソールで、Extract名を選択し、「統計」をクリックします。SRC_OCIGGLL.SRC_CITYに10個の挿入があることを確認します。
  7. ターゲット・ビッグ・データのOCI GoldenGateデプロイメント・コンソールで、Replicat名を選択し、「統計」をクリックします。SRC_OCIGGLL.SRC_CUSTOMERに7つの挿入があることを確認します。

タスク6: (オプション) Confluent CLIでのレプリケーションの確認

  1. Confluent CLIをシステムにインストールします。
  2. 実行:
    export PATH=$(pwd)/bin:$PATH
confluent login
  3. 環境をリストし、環境を選択します
    confluent environment list
confluent environment use <your_environment_ID>
  4. クラスタをリストし、クラスタを選択します
    confluent kafka cluster list
confluent kafka cluster use <your_cluster_id>
  5. APIキーおよびシークレットをローカルに格納
    confluent api-key store <cluster_api_key> <cluster_api_secret>
confluent api-key use <cluster_api_key> --resource <cluster_id>
  6. リスト・トピック 
    confluent kafka topic list
  7. メッセージの表示
    confluent kafka topic consume --value-format avro --from-beginning <topic_name>