HeatWaveからAzure Event Hubsへのデータの送信

OCI GoldenGateを使用して、HeatWaveからAzure Event Hubsにデータをレプリケートする方法を学習します。

開始する前に

このクイックスタートを正常に完了するには、次が必要です:

環境設定: HeatWave

このクイックスタートの環境を設定するには:

  1. サンプル・データ・スクリプトのダウンロードを行い、HeatWaveデータベースでスクリプトを実行してデータベースの作成とデータのロードを行います。

  2. 次のスクリプトを使用して、ggadminユーザーを作成します。<ggadmin-password>を有効なパスワードに置き換えてください:

    CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';

  3. OCI GoldenGateが接続できるようにport 3306を開きます。

    1. Oracle Cloudコンソールで、HeatWaveデータベースが使用するサブネットを見つけます。

    2. サブネットのセキュリティ・リストで、port TCP/3306のイングレス・ルールを作成します。

タスク1: OCI GoldenGateリソースの作成

  1. ソースHeatWaveデータベースのMySQLデプロイメントを作成します。

  2. ターゲットAzureイベント・ハブのビッグ・データ・デプロイメントを作成します。

  3. ソースMySQL Heatwaveデータベースへの接続を作成します。

  4. Azure Event Hubs接続の作成。

  5. GoldenGateへの接続の作成から、この接続をソースMySQLデプロイメントに割り当てます。

  6. ソースMySQLデプロイメントにソース接続を割り当てる。

  7. ターゲット・ビッグ・データ・デプロイメントにターゲット接続を割り当てます。

タスク2: Extractの作成

  1. 「デプロイメント」ページで、タスク1で作成したMySQLデプロイメントを選択します。

  2. デプロイメントの詳細ページで、「コンソールの起動」を選択します。

  3. タスク1でデプロイメントを作成したときに指定した管理者資格証明を使用して、ソースMySQLデプロイメント・コンソールにサインインします。

  4. 次の値を含む「anChangeデータ・キャプチャExtractの追加」:

    • 抽出タイプ: チェンジ・データ・キャプチャ抽出

    • プロセス名: ECDC

    • Extract証跡名: C1

    • パラメータ・ファイル: MAP *.*, TARGET *.*;をTABLE SRC_OCIGGLL.*;に置き換えます

タスク3: ビッグ・データ・デプロイメントをターゲットとする分散パスの作成

  1. IAM資格証明ストアを使用する場合は、ステップ3に進みます。GoldenGate資格証明ストアを使用する場合は、ソースGoldenGateがターゲットGoldenGateへの接続に使用するユーザーを作成します。

    1. 「デプロイメント」ページで、ターゲット・ビッグ・データ・デプロイメントを選択します。

    2. デプロイメントの詳細ページで、「コンソールの起動」を選択し、管理ユーザーとしてログインします。

    3. デプロイメント・コンソールのナビゲーション・メニューで、「ユーザー管理」を選択します。

    4. 「新規ユーザーの追加」(プラス・アイコン)を選択し、次のようにフィールドに入力します。「送信」を選択します:

      • 「ユーザー名」に、ggsnetと入力します。

      • 「ロール」で、「演算子」を選択します。

      • 確認のためにパスワードを2回入力します。

  2. ソースMySQLデプロイメント・コンソールで、前のステップで作成したユーザーのパス接続を作成します。

    1. ナビゲーション・メニューを開き、「パス接続」を選択します。

    2. 「パス接続の追加(プラス・アイコン)」を選択し、次のようにフィールドに入力して、「送信」を選択します。

      • 「資格証明別名」に、dpuserと入力します。

      • 「ユーザーID」に、ggsnetと入力します

      • 「パスワード」に、前のステップで使用したものと同じパスワードを入力します。

  3. ソースのMySQLデプロイメント・コンソールで、次の値を持つ分散パスを追加します:

    1. 「ソース・オプション」ページで、次の手順を実行します。

      • 「ソースExtract」で、タスク2で作成したExtractを選択します。

      • 「トレイル名」に、2文字の名前を入力します(C1など)。

    2. 「ターゲット・オプション」ページで、次の手順を実行します。

      • 「ターゲット・ホスト」に、ターゲット・デプロイメントのホスト・ドメインを入力します。

      • 「ポート番号」に、443と入力します。

      • 「トレイル名」に、2文字の名前を入力します(C1など)。

      • 「別名」に、ステップ2で作成した資格証明別名を入力します。

  4. ターゲットOCI GoldenGate Big Dataデプロイメント・コンソールで、分散パスの結果として作成された受信パスの確認:

    1. 「受信サービス」を選択します。

    2. 受信パスの詳細を確認します。

タスク4: Azure Event HubsのReplicatの追加

  1. ビッグ・データ・デプロイメントで、「Administrator Service」を選択し、「Add Replicat (プラス・アイコン)」を選択します。

  2. 次の値を使用してReplicatを追加します:

    1. 「Replicat情報」ページの「Replicatタイプ」で、「クラシックReplicat」を選択し、プロセス名を入力します。

    2. 「Replicatオプション」ページで、次の手順を実行します。

      • 「トレイル名」に、タスク2からトレイルの名前を入力します。

      • 「ターゲット」で、Azureイベント・ハブを選択します。

      • 「別名」で、タスク1で作成したAzure Event Hubs接続を選択します。

    3. 「Replicatパラメータ」ページで、デフォルトのままにします。

    4. 「プロパティ・ファイル」ページで、topicMappingTemplateのトピック名を指定します。

    5. 「作成および実行」を選択します。

タスク5: HeatWaveからAzureイベント・ハブへのデータ・レプリケーションの検証

ソースHeatWaveデータベースの更新を実行して、Azure Event Hubsへのレプリケーションを確認します。

  1. OCI Bastionで、MySQL IPおよびport 3306を使用してSSHポート番号転送セッションを作成します。公開SSHキーを追加します。

  2. 秘密キーおよびport 3306を使用して、クラウド・シェルでMySQLに接続します。

  3. 接続に成功したら、次のコマンドを実行します:

    mysqlsh admin@localhost:3306 --sql

  4. 次のスクリプトを実行して、HeatWaveデータベースへの挿入を実行します:

    use SRC_OCIGGLL;
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
commit;

  5. ソースMySQLデプロイメント・コンソールで、変更データ取得Extract名を選択し、「統計」を選択します。SRC_OCIGGLL.SRC_CITYに10の挿入があることを確認します。

  6. ターゲットのビッグ・データ・デプロイメント・コンソールで、Replicat名を選択し、「統計」を選択します。SRC_OCIGGLL.SRC_CITYに10の挿入があることを確認します。

  7. Azure Event Hubsでは、メッセージ統計を確認できます。