ストリーミング・ハンドラを使用した、PostgreSQLからSnowflakeへのデータのレプリケート

開始する前に

このクイックスタートを正常に完了するには、次が必要です:

PostgreSQLによるOCIデータベースへのアクセス
PostgreSQLでOCIデータベースで使用されるVCNのセキュリティ・リストでポート5432を開きます
Snowflakeへのアクセス

PostgreSQLを使用したOCIデータベースの設定

PostgreSQLを使用してOCIデータベースを作成します。
1. OCI PostgreSQLの場合:
  1. 「構成」をクリックします
  2. PostgreSQL.VM.Standard.E5.Flex-14-0_51などの既存の構成を使用します。
  3. 「構成のコピー」をクリックし、名前を変更し、「ユーザー変数」(読取り/書込み)の下にwal_levelを追加して、「論理」に設定します。
  4. 「作成」をクリックします。
  5. 詳細は、構成のコピーを参照してください。
2. DB Systemの作成時に、wal_levelをtrueに設定した構成を使用します。詳細は、データベース・システムの作成を参照してください。
OCI PostgreSQLに接続します。詳細は、「データベースへの接続」を参照してください。
OCI PostgreSQLでGoldenGateのデータベースおよびユーザーを作成します:
1. Database
  1. データベースociggllを作成します。
  2. \c ociggll;
  3. スキーマsrc_ociggllを作成します。
  4. サンプル・スクリプトのロード(seedSRCOCIGGLL_PostgreSQL.sql)
2. ユーザー
  1. ユーザーggadminをパスワード'<password>'で作成します。
  2. データベース上のすべての特権をggadminに付与します。
  3. GRANT SELECT ON ALL TABLES IN SCHEMA src_ociggll TO ggadmin;

スノーフレーク・データベースの設定

スノーフレーク・データベースの作成。
ユーザーは、Snowflakeへの認証のために公開キーと秘密キーのペアを作成する必要があります。
適切な権限を持つスノーフレーク内のGoldenGate専用のユーザーを作成します。
Snowflakeユーザーに公開キーを追加します。たとえば: ALTER USER example_user SET RSA_PUBLIC_KEY='MIIBIjANBgkqh...';
サンプル・スキーマを使用してターゲット表を作成します。

タスク1: OCI GoldenGateリソースの作成

このクイックスタートの例では、ソースとターゲットの両方のデプロイメントおよび接続が必要です。

PostgreSQL 23aiにはGoldenGateが必要です。
ソースPostgreSQLデータベースのPostgreSQLデプロイメントを作成します。
ターゲットのSnowflakeデータベースのビッグ・データ・デプロイメントを作成します。
次の値を使用してPostgreSQL接続を作成します:
1. 「タイプ」で、ドロップダウンから「OCI PostgreSQL」を選択します。
2. 「データベース名」に、ociggllと入力します。
3. 「ユーザー名」に、ggadminと入力します。
4. 「パスワード」に、パスワードを入力します。
5. 「セキュリティ・プロトコル」で、ドロップダウンから「TLS」を選択し、「優先」を選択します。
次の値を使用してスノーフレーク接続を作成します:
1. 「接続URL」に、jdbc:snowflake://<account_identifier>.snowflakecomputing.com/?warehouse=<warehouse name>&db=OCIGGLLと入力します。
  
  ノート
  
  <account_identifier>および<warehouse name>を適切な値に置き換えてください。
2. 「認証タイプ」で、ドロップダウンから「キー・ペア認証」を選択します。
  
  ノート
  
  キー・ペア認証は、スノーフレーク・ストリーミングでサポートされている唯一の認証タイプです。
3. 「ユーザー名」に、名前を入力します。
4. 前に作成した秘密キーをアップロードします。
5. 「Private Key Password」フィールドに、秘密キー・パス・フレーズを入力します。
ターゲット・ビッグ・データ・デプロイメントのGoldenGateへの接続を作成してから、ソースPostgreSQLデプロイメントにこの接続を割り当てます。
PostgreSQLデプロイメントにソースPostgreSQL接続を割り当てます。
スノーフレーク接続をターゲット・ビッグ・データ・デプロイメントに割り当てます。

タスク2: サプリメンタル・ロギングの有効化

サマリー・ロギングの有効化の手順:

PostgreSQL GoldenGateデプロイメント・コンソールを起動します:
1. 「デプロイメント」ページから、PostgreSQLデプロイメントを選択してその詳細を表示します。
2. PostgreSQLデプロイメントの詳細ページで、「コンソールの起動」をクリックします。
3. デプロイメント・コンソールのサインイン・ページで、タスク1のステップ1で指定したGoldenGate管理資格証明を入力します。
  
  ノート
  
  デプロイメントの作成時にIAMが資格証明ストアとして選択されていない場合は、サインインが必要です。
GoldenGate 23aiで、左側のナビゲーションの「DB接続」、ソースのPostgreSQLデータベース、「Trandata」の順にクリックします。
「TRANDATA」ページで、「TRANDATA Information」の横にある「Add TRANDATA」(プラス・アイコン)をクリックします。
「Trandata」パネルで、「スキーマ名」にsrc_ociggll.*と入力し、「送信」をクリックします。

ノート

検索フィールドを使用してsrc_ociggllを検索し、表が追加されたことを確認します。

タスク3: Extractの作成

Change Data Capture Extractを追加します。
1. 左側のナビゲーションで、「抽出」をクリックします。
2. 「抽出」ページで、「抽出の追加」(プラス・アイコン)をクリックし、次のようにフィールドに入力します:
  - 「抽出情報」ページで、次の手順を実行します。
    1. 「Extractタイプ」で、「チェンジ・データ・キャプチャ抽出」を選択します。
    2. 「プロセス名」に、Extractの名前(ECDCなど)を入力します。
    3. 「次へ」をクリックします
  - 「抽出オプション」ページで、次の手順を実行します。
    1. 「ソース資格証明」で、「ドメイン」ドロップダウンから「Oracle GoldenGate」を選択します
    2. 「別名」ドロップダウンからソースPostgreSQLデータベースを選択します。
    3. 「Extract Trail Name」に、2文字の証跡名(C1など)を入力します。
    4. 「登録」をクリックして、「次」をクリックします。
  - 「Extractパラメータ」ページで、次を追加します:
```
TABLE src_ociggll.*;
```
3. 「作成および実行」をクリックします。
初期ロードExtractを追加します。
1. 「抽出」ページで、「抽出の追加」をクリックし、次のように「抽出の追加」フォームに入力します:
  - 「抽出情報」ページで、次の手順を実行します。
    1. 「Extract」タイプで、「初期ロードExtract」を選択します。
    2. 「プロセス名」に、EILなどの名前を入力します。
    3. 「次へ」をクリックします
  - 「抽出オプション」ページで、次の手順を実行します。
    1. 「ソース資格証明」で、「ドメイン」ドロップダウンから「Oracle GoldenGate」を選択します。
    2. 「別名」ドロップダウンからPostgreSQLデータベースを選択します。
    3. 「抽出証跡名」に、2文字の証跡名(I1など)を入力します。
    4. 「次へ」をクリックします
  - 「Extractパラメータ」ページで、TABLE *.*を次のように置き換えます。
```
TABLE src_ociggll.*;
```
2. 「作成および実行」をクリックします。

「Extract」ページに戻り、Extractの開始を確認できます。

タスク4: Initial Load ExtractのDistribution Pathの作成

Initial Load ExtractのDistribution Pathを作成するには:

Oracle Cloudコンソールの「デプロイメント」ページで、ターゲット・ビッグ・データ・デプロイメントを選択します。
「デプロイメントの詳細」ページで、「コンソールの起動」をクリックします。タスク1のステップ2で作成した管理ユーザーの詳細を使用してログインします。
IAM資格証明ストアを使用している場合は、「Distribution Pathの作成」ステップに進みます。GoldenGate資格証明ストアを使用する場合は、ソースGoldenGateがターゲットGoldenGateへの接続に使用するユーザーを作成します。
1. ナビゲーション・メニューで、「ユーザー管理」をクリックします。
2. 「新規ユーザーの追加」(プラス・アイコン)をクリックし、次のようにフィールドに入力して、「送信」をクリックします:
  - 「ユーザー名」に、ggsnetと入力します。
  - 「ロール」で、「演算子」を選択します。
  - 確認のためにパスワードを2回入力します。
ソースのPostgreSQLデプロイメント・コンソールで、前のステップで作成したユーザーのパス接続を作成します。
1. ナビゲーション・メニューで、「パス接続」をクリックします。
2. 「パス接続の追加」(プラス・アイコン)をクリックし、次のようにフィールドに入力して、「送信」をクリックします:
  - 「資格証明別名」に、dpuserと入力します。
  - 「ユーザーID」に、ggsnetと入力します
  - 「パスワード」に、前のステップで使用したものと同じパスワードを入力します。
Distribution Pathを作成します。
1. サービス・メニュー・バーで、Distribution Serviceをクリックし、「Distribution Pathの追加」(プラス・アイコン)をクリックします。
2. 「パスの追加」フォームに次のように入力します。
  - 「パス情報」ページで、次の手順を実行します。
    1. 「パス名」に、このパスの名前を入力します。
    2. 「次へ」をクリックします
  - 「ソース・オプション」ページで、次の手順を実行します。
    1. 「ソース」 Extractの場合は、空白のままにします。
    2. 「トレイル名」には、Initial Load Extractトレイル名(I1)を入力します。
    3. 「次へ」をクリックします
  - 「ターゲット・オプション」ページで、次の手順を実行します。
    1. 「ターゲット」で、「wss」を選択します。
    2. 「ターゲット・ホスト」に、ターゲット・デプロイメントのURLをhttps://または後続のスラッシュなしで入力します。
    3. 「ポート番号」に、443と入力します。
    4. 「Trail Name」に、I1と入力します。
    5. 「ターゲット認証方式」で、「ユーザーID別名」を選択します。
    6. 「ドメイン」に、前のステップで作成したドメイン名を入力します。
    7. 「別名」に、前述のステップで作成した別名(dpuser)を入力します。
    8. 「次へ」をクリックします
3. 「作成および実行」をクリックします。
Distribution Serviceページに戻り、作成したパスを確認できます。
ターゲット・ビッグ・データ・デプロイメント・コンソールで、Distribution pathの結果として作成されたReceiver Pathを確認します:
1. Receiver Serviceをクリックします。
2. Receiver Pathの詳細を確認します。

タスク5: Initial LoadのReplicatの追加

ターゲット・ビッグ・データ・デプロイメント・コンソールで、Initial Load Replicatを追加します。
1. ナビゲーション・メニューで、「Replicat」をクリックし、「Replicatの追加」(プラス・アイコン)をクリックします。
2. Replicatsページで、次のように「Replicatの追加」フィールドに入力します。
  1. 「レプリケーション情報」ページで、次の手順を実行します。
    1. Replicatタイプで、「調整Replicat」を選択します。
    2. 「プロセス名」に、名前(RILなど)を入力します。
    3. 「次へ」をクリックします
  2. 「Replicatオプション」ページで、次の手順を実行します。
    1. 「Replicatトレイル名」に、タスク2からトレイルの名前(I1)を入力します。
    2. 「ターゲット」で、「スノーフレーク」を選択します。
    3. 「ターゲット資格証明」で、Snowflake接続の「ドメイン」および「別名」を選択します。
    4. 「使用可能な別名」で、ドロップダウンから別名(Snowflakeなど)を選択します。
    5. 「ストリーミング」を選択します。
    6. 「次へ」をクリックします
  3. 「パラメータ・ファイル」ページで、次のマッピングを追加します。
```
INSERTALLRECORDS
MAP src_ociggll.src_city, TARGET SRCMIRROR_OCIGGLL.SRC_CITY;
MAP src_ociggll.src_region, TARGET SRCMIRROR_OCIGGLL.SRC_REGION;
MAP src_ociggll.src_customer, TARGET SRCMIRROR_OCIGGLL.SRC_CUSTOMER;
MAP src_ociggll.src_orders, TARGET SRCMIRROR_OCIGGLL.SRC_ORDERS;
MAP src_ociggll.src_order_lines, TARGET SRCMIRROR_OCIGGLL.SRC_ORDER_LINES;
MAP src_ociggll.src_product, TARGET SRCMIRROR_OCIGGLL.SRC_PRODUCT;
```
  4. 「プロパティ」ページで、プロパティを確認し、jvm.bootoptions= -Djdk.lang.processReaperUseDefaultStackSize=trueを追加します。
  5. 「作成および実行」をクリックします。
Replicatsページに戻り、Replicatの詳細を確認できます。
Initial Loadを確認するには、Snowflakeデータベースに接続し、次の問合せを実行します。
```
select * from SRCMIRROR_OCIGGLL.SRC_CITY;
select * from SRCMIRROR_OCIGGLL.SRC_CUSTOMER;
```
出力では、Initial Loadの結果としてターゲット・データベース表にロードされたデータが返されます。

タスク6: Change Data CaptureのDistribution Pathの作成

Change Data CaptureのDistribution Pathを作成するには:

「ソース」PostgreSQLデプロイメント・コンソールで、「分散サービス」をクリックします。
「Distribution Pathの追加」をクリックします。
「パスの追加」フォームに次のように入力します。
1. 「パス情報」ページで、次の手順を実行します。
  1. 「パス名」に、名前を入力します。
  2. 「次へ」をクリックします
2. 「ソース・オプション」ページで、次の手順を実行します。
  1. 「ソース」 Extractで、Integrated Extract (ECDC))を選択します。
  2. 「証跡名」で、Integrated Extract証跡ファイル(C1)を選択します。
  3. 「次へ」をクリックします
3. 「ターゲット・オプション」ページで、次の手順を実行します。
  1. 「ターゲット」で、「wss」を選択します。
  2. 「ターゲット・ホスト」に、ターゲット・デプロイメント・コンソールのURLを入力します(これは、https://または末尾のスラッシュなしで、デプロイメントの詳細ページで確認できます)。
  3. 「ポート番号」に、443と入力します。
  4. 「トレイル名」に、C1と入力します。
  5. 「ターゲット認証方式」で、「ユーザーID別名」を選択します。
  6. 「ドメイン」に、ドメイン名を入力します。
  7. 「別名」で、別名を入力します。
4. Create Path and Runをクリックします。
ターゲット・ビッグ・データ・デプロイメント・コンソールで、Receiver Serviceをクリックし、作成されたReceiver pathを確認します。

タスク7: Change Data CaptureのReplicatの追加

ソースPostgreSQLデータベースの更新を実行して、Snowflakeへのレプリケーションを確認します。

Replicatを追加します
1. ターゲットのビッグ・データ・デプロイメント・コンソールで、Administration Serviceをクリックし、ナビゲーション・メニューでReplicatsをクリックします。
2. Replicatsページで、「Replicatの追加」(プラス・アイコン)をクリックし、「Replicatの追加」フォームに次のように入力します。
  - 「Replicat情報」ページで、次の手順を実行します。
    1. Replicatタイプで、ClassicまたはCoordinatedを選択します。
    2. 「プロセス名」に、名前(RCDCなど)を入力します。
    3. 「次へ」をクリックします
  - Replicatオプション・ページで、次の手順を実行します。
    1. 「Replicatトレイル名」に、タスク3からトレイルの名前(C1)を入力します。
    2. 「ターゲット」で、「スノーフレーク」を選択します。
    3. 「ターゲット資格証明」で、Snowflake接続のドメインと別名を選択します。
    4. 「ストリーミング」を選択します。
  - 「パラメータ・ファイル」ページで、次のマッピングを追加し、「次」をクリックします:
```
INSERTALLRECORDS 
MAP src_ociggll.src_city, TARGET SRCMIRROR_OCIGGLL.SRC_CITY;
MAP src_ociggll.src_region, TARGET SRCMIRROR_OCIGGLL.SRC_REGION;
MAP src_ociggll.src_customer, TARGET SRCMIRROR_OCIGGLL.SRC_CUSTOMER;
MAP src_ociggll.src_orders, TARGET SRCMIRROR_OCIGGLL.SRC_ORDERS;
MAP src_ociggll.src_order_lines, TARGET SRCMIRROR_OCIGGLL.SRC_ORDER_LINES;
MAP src_ociggll.src_product, TARGET SRCMIRROR_OCIGGLL.SRC_PRODUCT;
```
  - 「プロパティ」ページで、プロパティを確認し、次のマッピングを追加して、「作成および実行」をクリックします:
```
jvm.bootoptions= -Djdk.lang.processReaperUseDefaultStackSize=true
```
Replicatsページに戻り、Replicatの詳細を確認できます。

Change Data Captureを確認します。

ソースPostgreSQLデータベースの更新を実行して、Snowflakeへのレプリケーションを確認します。次のスクリプトを実行して、PostgreSQLデータベースへの挿入を実行します。

Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);

ソースのPostgreSQLデプロイメント・コンソールで、RCDCを選択し、「統計」をクリックします。src_ociggll.src_cityに10個の挿入があることを確認します。

ノート

Extractで挿入が取得されなかった場合は、ECDC Extractを再起動します。
ターゲットのビッグ・データ・デプロイメント・コンソールで、RCDCを選択し、その「詳細」および「統計」を確認して挿入の数を確認します。

Oracle Cloud Infrastructureドキュメント