Autonomous AI Transaction ProcessingからConfluent Kafkaへのデータのレプリケート

このクイックスタートは、Autonomous AI Transaction ProcessingからConfluent Kafkaにデータをレプリケートする方法を示しています。

開始する前に

このクイックスタートを正常に完了するには、次が必要です:

ソースAutonomous AI Transaction Processingインスタンス。
Confluent Platformインスタンス。

環境設定: Autonomous AI Transaction Processing

レプリケーション用のソース・データベースがまだ設定されていない場合は、次のステップに従って、このクイックスタートに使用するサンプル・スキーマをロードできます。このクイックスタートでは、ソース・データベースにAutonomous AI Transaction Processingを使用します。

ソースAutonomous AI Transaction Processingを設定するには:

サンプル・データベース・スキーマをダウンロードして解凍します。
Oracle Cloudコンソールで、「Autonomous AI Databases」ページからAutonomous AI Transaction Processing (ATP)インスタンスを選択して、その詳細を表示し、データベース・アクションにアクセスします。
GGADMINユーザーをロック解除します。
1. 「データベース・アクション」を選択し、「データベース・ユーザー」を選択します。
2. GGADMINを見つけて、その省略記号メニュー(3つのドット)を選択し、「編集」を選択します。
3. 「ユーザーの編集」パネルで、GGADMINパスワードを入力し、パスワードを確認して、「アカウントがロックされています」の選択を解除します。
4. 「変更の適用」を選択します。
ソース・サンプル・スキーマおよびデータをロード:
1. 「データベース・アクション」メニューの「開発」で、「SQL」を選択します。
2. OCIGGLL_OCIGGS_SETUP_USERS_ATP.sqlからスクリプトをコピーしてSQLワークシートに貼り付けます。
3. 「スクリプトの実行」を選択します。「スクリプト出力」タブに確認メッセージが表示されます。
4. SQLワークシートをクリアして、OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql.からSQLスクリプトをコピーして貼り付けます。
  
  ヒント: SQLツールがスクリプトを正常に実行するために、各文を個別に実行する必要がある場合があります。
5. 表が正常に作成されたことを確認するには、SQLウィンドウを閉じて再度開きます。「ナビゲータ」タブで、SRC_OCIGGLLスキーマを検索し、それぞれのドロップダウンから表を選択します。
サプリメンタル・ロギングを有効にします:
1. SQLワークシートをクリアします。
2. 次の文を入力し、「文の実行」を選択します。
```
ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;
```

環境設定: Confluent Cloud

ターゲットのConfluent Cloudクラスタ、トピックおよびスキーマがまだない場合は、次を実行できます:

クラスタの作成
クラスタのAPIキーを作成します。次のステップのAPIキーとシークレットに注意してください。
「Confluent Schema Registryの有効化」、「Confluent Cloud Confluent Schema RegistryのAPIキーを作成します」。次のステップのAPIキーとシークレットに注意してください。
クラスタにトピックを作成します。次のステップのトピックの名前に注意してください。

タスク1: OCI GoldenGateリソースの作成

このクイックスタートの例では、ソースとターゲットの両方のデプロイメントおよび接続が必要です。

タスク2: Extractの追加

「デプロイメント」ページで、ソースAutonomous AI Transaction Processingデプロイメントを選択します。
デプロイメントの詳細ページで、「コンソールの起動」を選択します。
ソース・デプロイメントの管理者のユーザー名とパスワードでログインします。
Extractを追加します

タスク3: 分散パスの追加および実行

GoldenGate資格証明ストアを使用する場合は、ターゲット・ビッグ・データ・デプロイメントで分散パスのユーザーを作成し、それ以外の場合はステップ3にスキップします。
ソースGoldenGateデプロイメント・コンソールで、ステップ1で作成したユーザーのパス接続を追加します。
1. ソースGoldenGateデプロイメント・コンソールで、左側のナビゲーションで「パス接続」を選択します。
2. 「パス接続の追加」(プラス・アイコン)を選択し、次を完了します:
  1. 「資格証明別名」に、GGSNetworkと入力します。
  2. 「ユーザーID」に、ステップ1で作成したユーザーの名前を入力します。
  3. 確認のためにユーザーのパスワードを2回入力します。
3. 「送信」を選択します。
  
  「パス接続」リストにパス接続が表示されます。
ソース・デプロイメント・コンソールで、次の値を含む分散パスを追加します:
1. 「ソース・オプション」ページで、次の手順を実行します。
  - 「ソースExtract」で、タスク2で作成したExtractを選択します。
  - 「トレイル名」に、2文字の名前(E1など)を入力します。
2. 「ターゲット・オプション」ページで、次の手順を実行します。
  - 「ターゲット・ホスト」に、ターゲット・デプロイメントのホスト・ドメインを入力します。
  - 「ポート番号」に、443と入力します。
  - 「トレイル名」に、2文字の名前(E1など)を入力します。
  - 「別名」に、ステップ2で作成した資格証明別名を入力します。
ターゲット・ビッグ・データ・デプロイメント・コンソールで、分散パスの結果として作成された受信パスの確認を行います。
1. ターゲットのビッグ・データ・デプロイメント・コンソールで、「受信サービス」を選択します。
2. パスの詳細を確認します。このパスは、前のステップで作成した分散パスの結果として作成されました。

タスク4: Replicatの追加および実行

ターゲットのビッグ・データ・デプロイメント・コンソールのナビゲーション・メニューで、「Replicat」、「Replicatの追加」(プラス・アイコン)の順に選択します。
次の値を使用してReplicatを追加します:
1. 「Replicat情報」ページの「Replicatタイプ」で、「クラシックReplicat」を選択し、プロセス名を入力して「次へ」を選択します。
2. 「レプリケーション・オプション」ページで、次の手順を実行します。
  - 「名前」に、タスク2からトレイルの名前を入力します。
  - 「ドメイン」で、ドメインを選択します。
  - 「別名」で、タスク1で作成したConfluent Kafka接続を選択します。
  - 「コンバータ」で、「Avro」を選択します。
  - 「Confluent Schema Registry」で、タスク1で作成したConfluent Schema Registry接続を選択します。
  - 「チェックポイント表」で、ターゲット・デプロイメント用に作成したチェック・ポイント表を選択します。
3. 「Replicatパラメータ」ページで、MAP *.*, TARGET *.*;を次のように置き換えます:
```
MAP SRC_OCIGGLL.SRC_CUSTOMER, Table SRC.CUSTOMER;
```
「作成および実行」を選択します。

「概要」ページに戻り、Replicatの詳細を確認できます。

タスク5: レプリケーションの確認

ソースAutonomous AI Transaction Processingインスタンスに対する更新をいくつか実行して、Confluent Kafka Cloudへのレプリケーションを確認します。

Oracle Cloudコンソールで、ナビゲーション・メニューを開き、「Oracle AI Database」を選択し、「Autonomous AI Transaction Processing」を選択します。
Autonomous AI Transaction Processingインスタンスのリストで、ソース・インスタンスを選択してその詳細を表示します。
データベースの詳細ページで、「データベース・アクション」を選択します。

ノート:通常は自動的にログインします。そうでない場合は、データベース資格証明を使用してログインします。
データベース・アクション・ホームページで、「SQL」を選択します。

ワークシートに次を入力し、「スクリプトの実行」を選択します。

Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);

ソースATPデプロイメント・コンソールで、Extract名を選択し、「統計」を選択します。SRC_OCIGGLL.SRC_CITYに10の挿入があることを確認します。
ターゲット・ビッグ・データOCI GoldenGateデプロイメント・コンソールで、Replicat名を選択し、「統計」を選択します。SRC_OCIGGLL.SRC_CITYに10の挿入があることを確認します。
Oracle Cloudコンソールで、Oracle Object Storageバケットに移動し、その内容を確認します。

タスク6: (オプション) Confluent CLIでのレプリケーションの検証

Confluent CLIをシステムにインストールします。

実行:

export PATH=$(pwd)/bin:$PATH
confluent login

環境をリストし、環境を選択します

confluent environment list
confluent environment use <your_environment_ID>

クラスタをリストし、クラスタを選択します

confluent kafka cluster list
confluent kafka cluster use <your_cluster_id>

APIキーとシークレットをローカルに格納

confluent api-key store <cluster_api_key> <cluster_api_secret>
confluent api-key use <cluster_api_key> --resource <cluster_id>

トピックの一覧表示
```
confluent kafka topic list
```

メッセージの表示

confluent kafka topic consume --value-format avro --from-beginning <topic_name>