PostgreSQLからGoogle BigQueryへのデータのレプリケート

OCI GoldenGateを使用して、PostgreSQLからGoogle BigQueryにデータをレプリケートする方法を学習します。

開始する前に

このクイックスタートを正常に完了するには、次が必要です:

このクイックスタートを正常に完了するには、次が必要です:

• ソース・データベースとして機能するPostgreSQLインストール(環境設定を参照)

• VCNのセキュリティ・リストでポート5432を開きます

• Google Cloud Storageへの接続を作成します。

  ノート: GCSバケットとBigQueryデータセットが同じ場所/リージョンに存在することを確認します。

• Google Cloud Serviceアカウント・キー。

• Google Cloud Platform BigQuery権限。

環境設定: PostgreSQL

このクイックスタートの環境を設定するには:

1. 次のコマンドを実行して、PostgreSQLをインストールします。

   1. PostgreSQLサーバーをインストールします。

      sudo yum install postgresql-server

   2. このSQL例外を回避するために、postgresql-contribモジュールをインストールします。

      sudo yum install postgresql-contrib

   3. 新しいPostgreSQLデータベース・クラスタを作成します。

      sudo postgresql-setup --initdb

   4. postgresql.serviceを有効にします。

      sudo systemctl enable postgresql.service

   5. postgresql.serviceを起動します。

      sudo systemctl start postgresql.service

2. デフォルトでは、PostgreSQLはローカル接続のみを許可します。PostgreSQLへのリモート接続を許可します。

   1. /var/lib/pgsql/data/postgresql.confで、データベースをレプリケーション用に準備します。

   2. listen_addresses = 'localhost'を見つけてコメント解除し、localhostをアスタリスク(`)に変更します。

      listen_addresses = '*'

   3. 次のパラメータを次のように設定します。

      • wal_level = logical

      • max_replication_slots = 1

      • max_wal_senders = 1

      • track_commit_timestamp = on

      ノート:

      /var/lib/pgsql/data/pg_hba.confを構成して、Oracle GoldenGateホストからの接続を許可するようにクライアント認証が設定されていることを確認します。たとえば、次を追加します:

      #Allow connections from remote hosts
      
      host all all 0.0.0.0/0 md5

      詳細は、The pg_hba.conf Fileを参照してください。

      1. PostgreSQLサーバーを再起動します。

      sudo systemctl restart postgresql.service

      1. Oracle Cloud Computeを使用してPostgreSQLをホストする場合は、ポート5432を開きます。

      sudo firewall-cmd --permanent --add-port=5432/tcp
      sudo firewall-cmd --reload
      sudo firewall-cmd --list-all

   4. VCNのセキュリティ・リストでポート5432を開きます。

   5. PostgreSQLへの接続。

      > sudo su - postgres
      > psql

      ノート:前述の例が機能しない場合は、sudo su - postgres psqlを入力することもできます。

   6. PostgreSQLを設定します。

      1. seedSRCOCIGGLL_PostgreSQL.sqlをダウンロードして実行し、データベースを設定し、サンプル・データをロードします。

      2. 次のコマンドを実行して、ユーザーを設定します(<password>を実際のパスワードに置き換えます)。

      create user ggadmin with password '<password>';
      alter user ggadmin with SUPERUSER;
      GRANT ALL PRIVILEGES ON DATABASE ociggll TO ggadmin;

タスク1: OCI GoldenGateリソースの作成

1. ソースPostgreSQLデータベースのデプロイメントを作成します。

2. ターゲットGoogle BigQueryのビッグ・データ・デプロイメントを作成します。

3. ターゲットGoogle BigQueryへの接続を作成します。

4. ソースのPostgreSQLデータベースへの接続を作成します。

   1. 「タイプ」で、「PostgreSQLサーバー」を選択します。

   2. 「データベース名」に、ociggllと入力します。

   3. 「ホスト」に、PostgreSQLが実行されるコンピュート・インスタンスのパブリックIPを入力します。

   4. 「ポート」に、5432と入力します。

   5. 「ユーザー名」に、ggadminと入力します。

   6. 「パスワード」に、パスワードを入力します。

   7. 「セキュリティ・プロトコル」で、「プレーン」を選択します。

5. GoldenGateへの接続の作成から、この接続をソースPostgreSQLデプロイメントに割り当てます。

6. ソースPostgreSQLデプロイメントにソース接続を割り当てます。

7. ターゲット・ビッグ・データ・デプロイメントにターゲット接続を割り当てます。

タスク2: サプリメンタル・ログの有効化

サプリメンタル・ロギングの有効化の手順:

1. PostgreSQL GoldenGateデプロイメント・コンソールを起動します:

   1. 「デプロイメント」ページから、PostgreSQLデプロイメントを選択してその詳細を表示します。

   2. PostgreSQLデプロイメントの詳細ページで、「コンソールの起動」を選択します。

   3. デプロイメント・コンソールのサインイン・ページで、タスク1のステップ1で提供されるGoldenGate管理資格証明を入力します。

      ノート:デプロイメントの作成時にIAMが資格証明ストアとして選択されなかった場合は、サインインが必要です。

2. デプロイメント・コンソールで、左側のナビゲーションで「DB接続」を選択し、ソースPostgreSQLデータベース、「Trandata」の順に選択します。

3. 「TRANDATA」ページの「TRANDATA Information」の横にある「Add TRANDATA」(プラス・アイコン)を選択します。

4. 「Trandata」パネルで、「スキーマ名」にsrc_ociggllと入力し、「送信」を選択します。

   ノート:検索フィールドを使用してsrc_ociggllを検索し、表が追加されたことを確認します。

タスク3: Extractの作成

チェンジ・データ・キャプチャExtractを追加するには:

1. 左側のナビゲーションから、「Extract」を選択します。

2. 「Extract」ページで、「Extractの追加」(プラス・アイコン)を選択し、次のようにフィールドに入力します。

   • 「Extract Information」ページで、次の手順を実行します。

     1. 「Extractタイプ」で、「Change Data Capture Extract」を選択します。

     2. 「プロセス名」に、Extractの名前(ECDCなど)を入力します。

     3. 「次へ」を選択します。

   • 「抽出オプション」ページで、次の手順を実行します。

     1. ソース資格証明の場合は、「ドメイン」ドロップダウンから「Oracle GoldenGate」を選択します

     2. 「別名」ドロップダウンからソースPostgreSQLデータベースを選択します。

     3. 「Extract Trail Name」に、2文字のトレイル名(C1など)を入力します。

     4. 「次へ」を選択します。

   • 「パラメータ」ページで、MAP *.*, TARGET *.*;を次のように置き換えます:

     TABLE SRC_OCIGGLL.*;

3. 「作成および実行」を選択します。

「Extract」ページに戻り、Extractの開始を確認できます。

タスク4: 変更データ取得のための分散パスの作成

チェンジ・データ・キャプチャの分散パスを作成するには、次の手順を実行します。

1. Oracle Cloudコンソールの「デプロイメント」ページで、ターゲット・ビッグ・データ・デプロイメントを選択します。

2. 「分散パスの追加」を選択します。

3. 「パスの追加」フォームに次のように入力します。

   1. 「パス情報」ページで、次の手順を実行します。

      1. 「パス名」に、名前を入力します。

      2. 「次へ」を選択します。

   2. 「ソース・オプション」ページで、次の手順を実行します。

      1. 「ソースExtract」で、チェンジ・データ・キャプチャExtract (ECDC)を選択します。

      2. 「トレイル名」で、変更データ取得のトレイル・ファイル(C1)を選択します。

      3. 「次へ」を選択します。

   3. 「ターゲット・オプション」ページで、次の手順を実行します。

      1. 「ターゲット」で、「wss」を選択します。

      2. 「ターゲット・ホスト」に、ターゲット・デプロイメント・コンソールのURLを入力します(これは、デプロイメントの詳細ページでhttps://または後続のスラッシュなしで確認できます)。

      3. 「ポート番号」に、443と入力します。

      4. 「トレイル名」に、C1と入力します。

      5. 「ターゲット認証方式」で、「ユーザーID別名」を選択します。

      6. 「ドメイン」に、ドメイン名を入力します。

      7. 「別名」に、別名を入力してください。

   4. 「パスの作成」および「実行」を選択します。

タスク5: Replicatの追加

1. ターゲットのビッグ・データ・デプロイメント・コンソールのナビゲーション・メニューで、「Replicat」、「Replicatの追加」(プラス・アイコン)の順に選択します。

2. 「Replicat」ページで、「Replicatの追加」(プラス・アイコン)を選択し、次のように「Replicatの追加」フォームに入力します。

   1. 「Replicat情報」ページで、次の手順を実行します。

      1. 「Replicatタイプ」で、「パラレル」または「調整Replicat」を選択します。

      2. 「プロセス名」に、名前(RCDCなど)を入力します。

      3. 「次へ」を選択します。

   2. 「Replicatオプション」ページで、次の手順を実行します。

      1. 「Replicatトレイル名」に、タスク3からのトレイルの名前(C1)を入力します。

      2. 「ターゲット資格証明」で、Google Big Query接続の「ドメイン」および「別名」を選択します。

      3. 「使用可能なステージングの場所」で、ドロップダウンから「Google Cloud Storage」を選択します。

      4. 「ステージング別名を使用」で、ドロップダウンからGoogle Cloud Storage接続を選択します。

   3. 「パラメータ・ファイル」ページで、次のマッピングを追加し、「次へ」を選択します。

      MAP *.*, TARGET *.*;

   4. 「プロパティ・ファイル」ページで、必要に応じて必要なプロパティを構成します。#TODOとマークされているものを探し、「次へ」を選択します。

      変更を検討する必要があるプロパティには次が含まれます:

      • gg.eventhandler.gcs.bucketMappingTemplate: ステージング記憶域として使用されるバケットの名前を指定します

3. 「作成および実行」を選択します。

「Replicat」ページに戻り、Replicatの詳細を確認できます。

タスク6: 変更データ取得の確認

ソースPostgreSQLデータベースに対する更新を実行して、Google BigQueryへのレプリケーションを確認します。

1. 次のスクリプトを実行して、PostgreSQLデータベースへの挿入を実行します。

   Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
   Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
   Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
   Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
   Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
   Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
   Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
   Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
   Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
   Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);

2. ソースのPostgreSQLデプロイメント・コンソールで、Extract名(ECDC)を選択し、「統計」を選択します。src_ociggll.src_cityに10個の挿入があることを確認します。

   ノート: Extractで挿入が行われなかった場合は、ECDC Extractを再起動します。

3. ターゲットのビッグ・データ・デプロイメント・コンソールで、Replicat名を選択し、その「詳細」を表示し、「統計」を選択して挿入数を確認します。