ストリーミング・ハンドラを使用したPostgresSQLからSnowflakeへのデータのレプリケート

ストリーミング・ハンドラを使用して、OCI GoldenGateを使用してPostgreSQLからSnowflakeにデータをレプリケートする方法をご覧ください。

開始する前に

このクイックスタートを正常に完了するには、次が必要です:

• OCI Database with PostgreSQLへのアクセス

• OCI Database with PostgreSQLで使用されるVCNのセキュリティ・リストでポート5432を開きます

• Snowflakeへのアクセス

Set up OCI Database with PostgreSQL

1. OCI Database with PostgreSQLを作成します。

   1. OCI Database with PostgreSQLの場合:

      1. 「構成」を選択します。

      2. PostgreSQL.VM.Standard.E5.Flex-14-0_51などの既存の構成を使用します。

      3. 「構成のコピー」を選択し、名前を変更し、「ユーザー変数」(読取り/書込み)の下にwal_levelを追加し、「論理」に設定します。

      4. 「作成」を選択します。

      5. 詳細は、「構成のコピー」を参照してください。

   2. DB Systemの作成時に、wal_levelをtrueに設定した構成を使用します。詳細は、「データベース・システムの作成」を参照してください。

2. OCI Database with PostgreSQLに接続します。詳細は、データベースへの接続を参照してください。

3. OCI Database with PostgreSQLでGoldenGateのデータベースおよびユーザーを作成します。

   1. データベース

      1. データベースの作成ociggll;

      2. \c ociggll。

      3. スキーマsrc_ociggllを作成します。

      4. サンプル・スクリプトのロード

   2. ユーザー

      1. ユーザーggadminをパスワード<password>で作成します。

      2. データベースociggllのすべての権限をggadminに付与します。

      3. ggadminへのSCHEMA src_ociggllのすべての表に対するグラント選択;

スノーフレーク・データベースの設定

1. スノーフレーク・データベースの作成。

2. ユーザーは、Snowflakeに対して認証するために公開キーと秘密キーのペアを作成する必要があります。

3. 適切な権限を使用して、SnowflakeでGoldenGate専用のユーザーを作成します。

4. パブリック・キーをSnowflakeユーザーに追加します(例: ALTER USER example_user SET RSA_PUBLIC_KEY='MIIBIjANBgkqh...';)。

5. サンプル・スキーマを使用してターゲット表を作成します。

タスク1: OCI GoldenGateリソースの作成

このクイックスタートの例では、ソースとターゲットの両方のデプロイメントおよび接続が必要です。

1. GoldenGate for PostgreSQL 26aiが必要です。

2. ソースPostgreSQLデータベースのPostgreSQLデプロイメントを作成します。

3. ターゲット・スノーフレーク・データベースのビッグ・データ・デプロイメントを作成します。

4. 次の値を使用してPostgreSQL接続を作成します。

   1. 「タイプ」で、ドロップダウンから「OCI Database with PostgreSQL」を選択します。

   2. 「データベース名」に、ociggllと入力します。

   3. 「ユーザー名」に、ggadminと入力します。

   4. 「パスワード」に、パスワードを入力します。

   5. 「セキュリティ・プロトコル」で、ドロップダウンから「TLS」を選択し、「優先」を選択します。

5. 次の値を使用してスノーフレーク接続を作成します:

   1. 「接続URL」に、jdbc:snowflake://<account_identifier>.snowflakecomputing.com/?warehouse=<warehouse name>&db=OCIGGLLと入力します。

      ノート: <account_identifier>および<warehouse name>を適切な値に置き換えてください。

   2. 「認証タイプ」で、ドロップダウンから「キー・ペア認証」を選択します。

      ノート:スノーフレーク・ストリーミングでサポートされている認証タイプは、キー・ペア認証のみです。

   3. 「ユーザー名」に、名前を入力します。

   4. 前に作成した秘密キーをアップロードします。

   5. 秘密キーのパスフレーズを「秘密キーのパスワード」フィールドに入力します。

6. ターゲット・ビッグ・データ・デプロイメントにGoldenGateへの接続を作成してから、ソースPostgreSQLデプロイメントにこの接続を割り当てます。

7. ソースPostgreSQL接続をPostgreSQLデプロイメントに割り当てます。

8. スノーフレーク接続をターゲット・ビッグ・データ・デプロイメントに割り当てます。

タスク2: サプリメンタル・ログの有効化

サプリメンタル・ロギングの有効化の手順:

1. PostgreSQL GoldenGateデプロイメント・コンソールを起動します:

   1. 「デプロイメント」ページから、PostgreSQLデプロイメントを選択してその詳細を表示します。

   2. PostgreSQLデプロイメントの詳細ページで、「コンソールの起動」を選択します。

   3. デプロイメント・コンソールのサインイン・ページで、タスク1のステップ1で提供されるGoldenGate管理資格証明を入力します。

      ノート:デプロイメントの作成時にIAMが資格証明ストアとして選択されなかった場合は、サインインが必要です。

2. デプロイメント・コンソールで、左側のナビゲーションで「DB接続」を選択し、ソースPostgreSQLデータベース、「Trandata」の順に選択します。

3. 「TRANDATA」ページの「TRANDATA Information」の横にある「Add TRANDATA」(プラス・アイコン)を選択します。

4. 「Trandata」パネルで、「スキーマ名」にsrc_ociggllと入力し、「送信」を選択します。

   ノート:検索フィールドを使用してsrc_ociggllを検索し、表が追加されたことを確認します。

タスク3: Extractの作成

1. チェンジ・データ・キャプチャExtractを追加します。

   1. 左側のナビゲーションから、「Extract」を選択します。

   2. 「Extract」ページで、「Extractの追加」(プラス・アイコン)を選択し、次のようにフィールドに入力します。

      • 「Extract Information」ページで、次の手順を実行します。

        1. 「Extractタイプ」で、「Change Data Capture Extract」を選択します。

        2. 「プロセス名」に、Extractの名前(ECDCなど)を入力します。

        3. 「次へ」を選択します。

      • 「抽出オプション」ページで、次の手順を実行します。

        1. ソース資格証明の場合は、「ドメイン」ドロップダウンから「Oracle GoldenGate」を選択します

        2. 「別名」ドロップダウンからソースPostgreSQLデータベースを選択します。

        3. 「Extract Trail Name」に、2文字のトレイル名(C1など)を入力します。

        4. 「次へ」を選択します。

      • 「パラメータ」ページで、MAP *.*, TARGET *.*;を次のように置き換えます:

        TABLE SRC_OCIGGLL.*;

   3. 「作成および実行」を選択します。

2. 初期ロードExtractの追加:

   1. 「Extract」ページで、「Extractの追加」を選択し、「Extractの追加」フォームに次のように入力します。

      • 「Extract Information」ページで、次の手順を実行します。

        1. 「Extractタイプ」で、「初期ロードExtract」を選択します。

        2. 「プロセス名」に、名前(EILなど)を入力します。

        3. 「次へ」を選択します。

      • 「抽出オプション」ページで、次の手順を実行します。

        1. ソース資格証明の場合は、「ドメイン」ドロップダウンから「Oracle GoldenGate」を選択します。

        2. 「別名」ドロップダウンからPostgreSQLデータベースを選択します。

        3. 「トレイル名の抽出」に、2文字のトレイル名(I1など)を入力します。

        4. 「次へ」を選択します。

      • 「Extractパラメータ」ページで、テキスト領域の内容を次のように置き換えます。

        EXTRACT EIL
        USERIDALIAS PostgreSQL_Compute, DOMAIN OracleGoldenGate
        EXTFILE I1, PURGE
        TABLE src_ociggll.*;

        ノート:移動する前に、必ずUSERIDALIASの前にあるSOURCEDBパラメータを削除してください。

   2. 「作成および実行」を選択します。

「Extract」ページに戻り、Extractの開始を確認できます。

タスク4: 初期ロードExtractの分散パスの作成

初期ロードExtractの分散パスを作成するには:

1. Oracle Cloudコンソールの「デプロイメント」ページで、ターゲット・ビッグ・データ・デプロイメントを選択します。

2. デプロイメントの詳細ページで、「コンソールの起動」を選択し、管理ユーザーとしてログインします。

3. IAM資格証明ストアを使用する場合は、「分散パスの作成」ステップに進みます。GoldenGate資格証明ストアを使用する場合は、ソースGoldenGateがターゲットGoldenGateへの接続に使用するユーザーを作成します。

   1. ナビゲーション・メニューで、「ユーザー管理」を選択します。

   2. 「新規ユーザーの追加」(プラス・アイコン)を選択し、次のようにフィールドに入力します。「送信」を選択します:

      • 「ユーザー名」に、ggsnetと入力します。

      • 「ロール」で、「演算子」を選択します。

      • 確認のためにパスワードを2回入力します。

4. ソースのPostgreSQLデプロイメント・コンソールで、前のステップで作成したユーザーのパス接続を作成します。

   1. ナビゲーション・メニューで、「パス接続」を選択します。

   2. 「Add Path Connection」(プラス・アイコン)を選択し、次のようにフィールドに入力して「Submit」を選択します。

      • 「資格証明別名」に、dpuserと入力します。

      • 「ユーザーID」に、ggsnetと入力します

      • 「パスワード」に、前のステップで使用したものと同じパスワードを入力します。

5. 分散パスの作成

   1. サービス・メニュー・バーで、「パス」を選択し、「分散パスの追加」(プラス・アイコン)を選択します。

   2. 「パスの追加」フォームに次のように入力します。

      • 「パス情報」ページで、次の手順を実行します。

        1. 「パス名」に、このパスの名前を入力します。

        2. 「次へ」を選択します。

      • 「ソース・オプション」ページで、次の手順を実行します。

        1. 「ソース抽出」では、空白のままにします。

        2. 「トレイル名」に、初期ロードExtractのトレイル名(I1)を入力します。

        3. 「次へ」を選択します。

      • 「ターゲット・オプション」ページで、次の手順を実行します。

        1. 「ターゲット」で、「wss」を選択します。

        2. 「ターゲット・ホスト」に、ターゲット・デプロイメントのURLをhttps://または後続のスラッシュなしで入力します。

        3. 「ポート番号」に、443と入力します。

        4. 「トレイル名」に、I1と入力します。

        5. 「ターゲット認証方式」で、「ユーザーID別名」を選択します。

        6. 「ドメイン」に、前のステップで作成したドメイン名を入力します。

        7. 「別名」に、前のステップで作成した別名を入力します(dpuser)。

        8. 「次へ」を選択します。

   3. 「作成および実行」を選択します。

   「Distribution Service」ページに戻り、作成したパスを確認できます。

6. ターゲット・デプロイメント・コンソールで、分散パスの結果として作成された受信パスを確認します:

   1. 「パス」を選択します。

   2. パスの詳細を確認します。

タスク5: 初期ロードのためのReplicatの追加

1. ターゲットのビッグ・データ・デプロイメント・コンソールで、初期ロードReplicatを追加します。

   1. ナビゲーション・メニューで、「Replicat」を選択し、「Replicatの追加」(プラス・アイコン)を選択します。

   2. 「Replicat」ページで、「Replicatの追加」フィールドに次のように入力します。

      1. 「レプリケーション情報」ページで、次の手順を実行します。

         1. 「Replicatタイプ」で、「調整Replicat」を選択します。

         2. 「プロセス名」に、名前(RILなど)を入力します。

         3. 「次へ」を選択します。

      2. 「Replicatオプション」ページで、次の手順を実行します。

         1. 「Replicatトレイル名」に、タスク2からトレイルの名前(I1)を入力します。

         2. 「ターゲット」で、「スノーフレーク」を選択します。

         3. 「ターゲット資格証明」で、スノーフレーク接続の「ドメイン」および「別名」を選択します。

         4. 「使用可能な別名」で、ドロップダウンから別名(スノーフレークなど)を選択します。

         5. 「ストリーミング」を選択します。

         6. 「次へ」を選択します。

      3. 「パラメータ・ファイル」ページで、次のマッピングを追加します。

         INSERTALLRECORDS
         MAP src_ociggll.src_city, TARGET SRCMIRROR_OCIGGLL.SRC_CITY;
         MAP src_ociggll.src_region, TARGET SRCMIRROR_OCIGGLL.SRC_REGION;
         MAP src_ociggll.src_customer, TARGET SRCMIRROR_OCIGGLL.SRC_CUSTOMER;
         MAP src_ociggll.src_orders, TARGET SRCMIRROR_OCIGGLL.SRC_ORDERS;
         MAP src_ociggll.src_order_lines, TARGET SRCMIRROR_OCIGGLL.SRC_ORDER_LINES;
         MAP src_ociggll.src_product, TARGET SRCMIRROR_OCIGGLL.SRC_PRODUCT;

      4. 「プロパティ」ページで、プロパティを確認し、jvm.bootoptions= -Djdk.lang.processReaperUseDefaultStackSize=trueを追加します。

      5. 「作成および実行」を選択します。

   「Replicat」ページに戻り、Replicatの詳細を確認できます。

2. 初期ロードを確認するには、Snowflakeデータベースに接続し、次の問合せを実行します。

   select * from SRCMIRROR_OCIGGLL.SRC_CITY;
   select * from SRCMIRROR_OCIGGLL.SRC_CUSTOMER;

   出力では、初期ロードの結果としてターゲット・データベース表にロードされたデータが返されます。

タスク6: 変更データ取得のための分散パスの作成

1. ソースのPostgreSQLデプロイメント・コンソールで、「分散サービス」を選択します。

2. 「分散パスの追加」を選択します。

3. 「パスの追加」フォームに次のように入力します。

   1. 「パス情報」ページで、次の手順を実行します。

      1. 「パス名」に、名前を入力します。

      2. 「次へ」を選択します。

   2. 「ソース・オプション」ページで、次の手順を実行します。

      1. 「ソースExtract」で、チェンジ・データ・キャプチャExtract (ECDC)を選択します。

      2. 「トレイル名」で、変更データ取得のトレイル・ファイル(C1)を選択します。

      3. 「次へ」を選択します。

   3. 「ターゲット・オプション」ページで、次の手順を実行します。

      1. 「ターゲット」で、「wss」を選択します。

      2. 「ターゲット・ホスト」に、ターゲット・デプロイメント・コンソールのURLを入力します(これは、デプロイメントの詳細ページでhttps://または後続のスラッシュなしで確認できます)。

      3. 「ポート番号」に、443と入力します。

      4. 「トレイル名」に、C1と入力します。

      5. 「ターゲット認証方式」で、「ユーザーID別名」を選択します。

      6. 「ドメイン」に、ドメイン名を入力します。

      7. 「別名」に、別名を入力してください。

   4. 「パスの作成」および「実行」を選択します。

タスク7: 変更データ取得のためのReplicatの追加

ソースPostgreSQLデータベースに対する更新を実行して、Snowflakeへのレプリケーションを確認します。

1. Replicatを追加します。

   1. ターゲットのBig Dataデプロイメント・コンソールで、「Administration Service」を選択し、ナビゲーション・メニューで「Replicats」を選択します。

   2. 「Replicat」ページで、「Replicatの追加」(プラス・アイコン)を選択し、次のように「Replicatの追加」フォームに入力します。

      • 「Replicat情報」ページで、次の手順を実行します。

        1. 「Replicatタイプ」で、「クラシック」または「調整済」を選択します。

        2. 「プロセス名」に、名前(RCDCなど)を入力します。

        3. 「次へ」を選択します。

      • 「Replicatオプション」ページで、次の手順を実行します。

        1. 「Replicatトレイル名」に、タスク3からのトレイルの名前(C1)を入力します。

        2. 「ターゲット」で、「スノーフレーク」を選択します。

        3. 「ターゲット資格証明」で、スノーフレーク接続のドメインと別名を選択します。

        4. 「ストリーミング」を選択します。

      • 「パラメータ・ファイル」ページで、次のマッピングを追加し、「次へ」を選択します。

        INSERTALLRECORDS
        MAP src_ociggll.src_city, TARGET SRCMIRROR_OCIGGLL.SRC_CITY;
        MAP src_ociggll.src_region, TARGET SRCMIRROR_OCIGGLL.SRC_REGION;
        MAP src_ociggll.src_customer, TARGET SRCMIRROR_OCIGGLL.SRC_CUSTOMER;
        MAP src_ociggll.src_orders, TARGET SRCMIRROR_OCIGGLL.SRC_ORDERS;
        MAP src_ociggll.src_order_lines, TARGET SRCMIRROR_OCIGGLL.SRC_ORDER_LINES;
        MAP src_ociggll.src_product, TARGET SRCMIRROR_OCIGGLL.SRC_PRODUCT;

      • 「プロパティ」ページで、プロパティを確認し、次のマッピングを追加し、「作成および実行」を選択します。

        jvm.bootoptions= -Djdk.lang.processReaperUseDefaultStackSize=true

   「Replicat」ページに戻り、Replicatの詳細を確認できます。

2. 変更データ取得の検証:

   1. ソースPostgreSQLデータベースに対する更新を実行して、Snowflakeへのレプリケーションを確認します。次のスクリプトを実行して、PostgreSQLデータベースへの挿入を実行します。

      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);

   2. ソースのPostgreSQLデプロイメント・コンソールで、RCDCを選択し、「統計」を選択します。src_ociggll.src_cityに10の挿入があることを確認します。

      ノート: Extractで挿入が行われなかった場合は、ECDC Extractを再起動します。

   3. ターゲットのビッグ・データ・デプロイメント・コンソールで、RCDCを選択し、その「詳細」および「統計」を確認して挿入数を確認します。

タスク8: プロセスのモニターおよびメンテナンス

1. レプリケーションプロセスをモニターします。

2. トレイル・ファイルの管理