Autonomous AI Transaction ProcessingからApache Kafkaへのデータのレプリケート

Autonomous AI Transaction Processing (ATP)からApache Kafkaへのデータのレプリケートを行うようにOCI GoldenGateを構成する方法について学習します。

概要

OCI GoldenGateを使用して、Autonomous AI DatabaseからApache Kafkaなどのビッグ・データ・ターゲットにデータをレプリケートできます。このクイックスタートは、OCI GoldenGateデプロイメント、ソース接続とターゲット接続、およびレプリケーション・プロセスを設定する方法を示しています。

開始する前に

このクイックスタートを正常に完了するには、次が必要です:

環境設定: Autonomous AI Transaction Processing

レプリケーション用のソース・データベースがまだ設定されていない場合は、次のステップに従って、このクイックスタートに使用するサンプル・スキーマをロードできます。このクイックスタートでは、ソース・データベースにAutonomous AI Transaction Processingを使用します。

ソースAutonomous AI Transaction Processingを設定するには:

  1. サンプル・データベース・スキーマをダウンロードして解凍します。

  2. Oracle Cloudコンソールで、「Autonomous AI Databases」ページからAutonomous AI Transaction Processing (ATP)インスタンスを選択して、その詳細を表示し、データベース・アクションにアクセスします。

  3. GGADMINユーザーをロック解除します。

    1. 「データベース・アクション」を選択し、「データベース・ユーザー」を選択します。

    2. GGADMINを見つけて、その省略記号メニュー(3つのドット)を選択し、「編集」を選択します。

    3. 「ユーザーの編集」パネルで、GGADMINパスワードを入力し、パスワードを確認して、「アカウントがロックされています」の選択を解除します。

    4. 「変更の適用」を選択します。

  4. ソース・サンプル・スキーマおよびデータをロード:

    1. 「データベース・アクション」メニューの「開発」で、「SQL」を選択します。

    2. OCIGGLL_OCIGGS_SETUP_USERS_ATP.sqlからスクリプトをコピーしてSQLワークシートに貼り付けます。

    3. 「スクリプトの実行」を選択します。「スクリプト出力」タブに確認メッセージが表示されます。

    4. SQLワークシートをクリアして、OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql.からSQLスクリプトをコピーして貼り付けます。

      ヒント: SQLツールがスクリプトを正常に実行するために、各文を個別に実行する必要がある場合があります。

    5. 表が正常に作成されたことを確認するには、SQLウィンドウを閉じて再度開きます。「ナビゲータ」タブで、SRC_OCIGGLLスキーマを検索し、それぞれのドロップダウンから表を選択します。

  5. サプリメンタル・ロギングを有効にします:

    1. SQLワークシートをクリアします。

    2. 次の文を入力し、「文の実行」を選択します。

      ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;

タスク1: OCI GoldenGateリソースの作成

このクイックスタートの例では、ソースとターゲットの両方のデプロイメントおよび接続が必要です。

  1. ソースAutonomous AI Transaction Processing (ATP)インスタンスのOracleデプロイメントを作成します。

  2. ターゲットApache Kafkaノードのビッグ・データ・デプロイメントを作成します。

  3. ソースAutonomous AI Transaction Processingインスタンスの接続を作成します。

  4. ターゲットApache Kafkaノードの接続を作成します。

  5. GoldenGateへの接続の作成から、この接続をソースOracleデプロイメントに割り当てます。

  6. ソースOracleデプロイメントにATP接続を割り当てる。

  7. ターゲット・ビッグ・データ・デプロイメントにApache Kafka接続を割り当てる。

タスク2: Extractの追加

  1. 「デプロイメント」ページで、ソースAutonomous AI Transaction Processingデプロイメントを選択します。

  2. デプロイメントの詳細ページで、「コンソールの起動」を選択します。

  3. ソース・デプロイメントの管理者のユーザー名とパスワードでログインします。

  4. Extractを追加します

タスク3: 分散パスの追加および実行

  1. GoldenGate資格証明ストアを使用する場合は、ターゲット・ビッグ・データ・デプロイメントで分散パスのユーザーを作成し、それ以外の場合はステップ3にスキップします。

  2. ソースGoldenGateデプロイメント・コンソールで、ステップ1で作成したユーザーのパス接続を追加します。

    1. ソースGoldenGateデプロイメント・コンソールで、左側のナビゲーションで「パス接続」を選択します。

    2. 「パス接続の追加」(プラス・アイコン)を選択し、次を完了します:

      1. 「資格証明別名」に、GGSNetworkと入力します。

      2. 「ユーザーID」に、ステップ1で作成したユーザー名を入力します。

      3. 確認のためにユーザーのパスワードを2回入力します。

    3. 「送信」を選択します。

      「パス接続」リストにパス接続が表示されます。

  3. ソース・デプロイメント・コンソールで、次の値を含む分散パスを追加します:

    1. 「ソース・オプション」ページで、次の手順を実行します。

      • 「ソースExtract」で、タスク2で作成したExtractを選択します。

      • 「トレイル名」に、2文字の名前(E1など)を入力します。

    2. 「ターゲット・オプション」ページで、次の手順を実行します。

      • 「ターゲット・ホスト」に、ターゲット・デプロイメントのホスト・ドメインを入力します。

      • 「ポート番号」に、443と入力します。

      • 「トレイル名」に、2文字の名前(E1など)を入力します。

      • 「別名」に、ステップ2で作成した資格証明別名を入力します。

  4. ターゲット・ビッグ・データ・デプロイメント・コンソールで、分散パスの結果として作成された受信パスの確認を行います。

    1. ターゲットのビッグ・データ・デプロイメント・コンソールで、「受信サービス」を選択します。

    2. パスの詳細を確認します。このパスは、前のステップで作成した分散パスの結果として作成されました。

タスク4: Replicatの追加

  1. ターゲットのビッグ・データ・デプロイメント・コンソールのナビゲーション・メニューで、「Replicat」、「Replicatの追加」(プラス・アイコン)の順に選択します。

  2. 次の値を使用してReplicatを追加します:

    1. 「Replicat情報」ページの「Replicatタイプ」で、「クラシックReplicat」を選択し、プロセス名を入力して「次へ」を選択します。

    2. 「Replicatオプション」ページで、次の手順を実行します。

      • 「名前」に、タスク3からトレイルの名前を入力します。

      • 「ターゲット」で、「Kafka」を選択します。

      • 「別名」で、タスク1で作成したKafka接続を選択します。

    3. 「Replicatパラメータ」ページで、デフォルトのままにします。

    4. 「プロパティ・ファイル」ページで、次のプロパティのトピック名を指定します。

      gg.handler.kafkahandler.topicMappingTemplate=

      トピックが存在しない場合は、OCI GoldenGateによってトピックが作成されます。

  3. 「作成および実行」を選択します。

「Replicat」ページに戻り、Replicatの詳細を確認できます。

タスク5: レプリケーションの確認

ソースAutonomous AI Transaction Processingインスタンスの更新をいくつか実行し、Apache Kafkaへのレプリケーションを確認します。

  1. Oracle Cloudコンソールで、ナビゲーション・メニューを開き、「Oracle AI Database」を選択し、「Autonomous AI Transaction Processing」を選択します。

  2. Autonomous AI Transaction Processingインスタンスのリストで、ソース・インスタンスを選択してその詳細を表示します。

  3. データベースの詳細ページで、「データベース・アクション」を選択します。

    ノート:通常は自動的にログインします。そうでない場合は、データベース資格証明を使用してログインします。

  4. データベース・アクション・ホームページで、「SQL」を選択します。

  5. ワークシートに次を入力し、「スクリプトの実行」を選択します。

    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);

  6. ソースATPデプロイメント・コンソールで、Extract名を選択し、「統計」を選択します。SRC_OCIGGLL.SRC_CITYに10の挿入があることを確認します。

  7. ターゲット・ビッグ・データOCI GoldenGateデプロイメント・コンソールで、Replicat名を選択し、「統計」を選択します。SRC_OCIGGLL.SRC_CITYに10の挿入があることを確認します。

  8. Oracle Cloudコンソールで、Oracle Object Storageバケットに移動し、その内容を確認します。

タスク6: プロセスのモニターおよびメンテナンス

  1. レプリケーションプロセスをモニターします。

  2. トレイル・ファイルの管理