機械翻訳について

PostgreSQLからGoogle BigQueryへのデータのレプリケート

OCI GoldenGateを使用して、PostgreSQLからGoogle BigQueryにデータをレプリケートする方法を学習します。

始める前に

このクイック・アラートを正常に完了するには、次のものが必要です:

• ソース・データベースとして機能する「PostgreSQLインストール」 (環境設定のインストール手順に従います。)
• VCNのセキュリティ・リストでポート5432を開きます。
• 「Google Cloud Storageへの接続を作成」します。

  ノート:

  GCSバケットとBigQueryデータセットが同じ場所/リージョンにあることを確認します。
• 「Google Cloud Serviceアカウント・キー」。
• 「Google Cloud Platform BigQuery権限」。

環境設定: PostgreSQL

このクイックスタートの環境を設定するには:

1. PostgreSQLのインストールに対して次のコマンドを実行します。
   1. PostgreSQLサーバーをインストールします:

      sudo yum install postgresql-server

   2. このSQL例外を避けるためにpostgresql-contribモジュールをインストールします:

      sudo yum install postgresql-contrib

   3. 新しいPostgreSQLデータベース・クラスタを作成します:

      sudo postgresql-setup --initdb

   4. postgresql.serviceを有効にします:

      sudo systemctl enable postgresql.service

   5. postgresql.serviceを起動します:

      sudo systemctl start postgresql.service

2. デフォルトでは、PostgreSQLはローカル接続のみを許可します。 「PostgreSQLへのリモート接続を許可」。
   1. /var/lib/pgsql/data/postgresql.confで、レプリケーション用のデータベースを準備します。
   2. listen_addresses = 'localhost'を見つけてコメントを解除し、localhostをアスタリスク(*)に変更します:

      listen_addresses = '*'

   3. 次のパラメータを次のように設定します:
      • wal_level = logical
      • max_replication_slots = 1
      • max_wal_senders = 1
      • track_commit_timestamp = on

      ノート:

      Oracle GoldenGateホストからの接続を許可するようにクライアント認証が設定されるように、/var/lib/pgsql/data/pg_hba.confを構成します。 たとえば、次のように追加します:

      #Allow connections from remote hosts
      host    all    all    0.0.0.0/0    md5

      詳細については、「pg_hba.confファイル」を参照してください。
   4. PostgreSQLサーバーを再起動します:

      sudo systemctl restart postgresql.service

3. Oracle Cloud Computeを使用してPostgreSQLをホストする場合は、ポート5432を開きます:

   sudo firewall-cmd --permanent --add-port=5432/tcp
   sudo firewall-cmd --reload
   sudo firewall-cmd --list-all

4. VCNセキュリティ・リストでポート5432を開きます。
5. PostgreSQLに接続。

   > sudo su - postgres
   > psql

   ノート:

   または、前述の例が機能しない場合は、sudo su - postgres psqlと入力できます。
6. PostgreSQLを設定します。
   1. seedSRCOCIGGLL_PostgreSQL.sqlをダウンロードして実行し、データベースを設定し、サンプル・データをロードします。
   2. 次のコマンドを実行してユーザーを設定します(<password>を実際のパスワードに置き換えてください):

      create user ggadmin with password '<password>';
      alter user ggadmin with SUPERUSER;
      GRANT ALL PRIVILEGES ON DATABASE ociggll TO ggadmin;

タスク1: OCI GoldenGateリソースの作成

1. ソースPostgreSQLデータベースのデプロイメントを作成します。
2. ターゲットGoogle BigQueryに「ビッグ・データ・デプロイメントを作成」します。
3. ターゲットGoogle BigQueryへの接続を作成します。
4. ソースPostgreSQLデータベースへの接続を作成します。
   1. 「タイプ」で、PostgreSQLサーバーを選択していることを確認します。
   2. 「データベース名」には、ociggllと入力します。
   3. 「ホスト」に、PostgreSQLが実行されるコンピュート・インスタンスのパブリックIPを入力します。
   4. 「ポート」には、5432と入力します。
   5. 「ユーザー名」には、ggadminと入力します。
   6. 「パスワード」に、パスワードを入力します。
   7. 「セキュリティ・プロトコル」で、「プレーン」を選択します。
5. GoldenGateへの接続を作成し、次にこの接続をソースのPostgreSQLデプロイメントに割り当てます。
6. ソース接続をソースPostgreSQLデプロイメントに割り当てます。。
7. ターゲットのビッグ・データ・デプロイメントへのターゲット接続の割当て。

タスク2: サプリメンタル・ロギングの有効化

サプリメンタル・ロギングの有効化の手順:

1. PostgreSQL GoldenGateデプロイメント・コンソールを起動します:
   1. デプロイメント・ページで、PostgreSQLデプロイメントを選択して詳細を表示します。
   2. PostgreSQLデプロイメントの詳細ページで、「コンソールの起動」をクリックします。
   3. デプロイメント・コンソールのサインイン・ページで、タスク1のステップ1で指定したGoldenGate管理資格証明を入力します。
2. GoldenGate 23aiで、左側のナビゲーションで「DB接続」をクリックし、ソースPostgreSQLデータベース、「Trandata」の順にクリックします。
3. 「TRANDATA」ページの「TRANDATA情報」の横にある「Trandataの追加」 (プラス・アイコン)をクリックします。
4. 「Trandata」パネルで、「スキーマ名」にsrc_ociggll.*と入力し、「送信」をクリックします。

   ノート:

   検索フィールドを使用してsrc_ociggllを検索し、表が追加されたことを確認します。

タスク3: 「抽出」の作成

変更データ取得抽出を追加するには:

1. 左側のナビゲーションで、「抽出」をクリックします。
2. 抽出ページで、「抽出」の追加(プラス・アイコン)をクリックし、次のようにフィールドに入力します:
   • 「情報の抽出」ページで、次の手順を実行します:
     1. 「抽出」型で、「変更データ取得抽出」を選択します。
     2. 「プロセス名」には、「抽出」の名前(ECDCなど)を入力します。
     3. 「次へ」をクリックします。
   • 「抽出」オプション・ページで、次の手順を実行します:
     1. ソース資格証明で、「ドメイン」ドロップダウンからOracle GoldenGateを選択
     2. 「別名」ドロップダウンから、ソースPostgreSQLデータベースを選択します。
     3. 「抽出」トレイル名に、C1などの2文字のトレイル名を入力します。
     4. 「次へ」をクリックします。
   • 「抽出」パラメータ・ページで、MAP *.*, TARGET *.*;を次のように置き換えます:

     TABLE SRC_OCIGGLL.*;

3. 「Create and Run」をクリックします

   「抽出」ページに戻り、「抽出」の開始を確認できます。

タスク4: 「変更データ取得」の「分散パス」を作成

「変更データ取得」の「分散パス」を作成するには、次の手順を実行します:

1. Oracle Cloudコンソールの「デプロイメント」ページで、「ターゲット」ビッグ・データ・デプロイメントを選択します。
2. 「デプロイメントの詳細」ページで、「コンソールを起動」をクリックします。 タスク1のステップ2で作成した管理ユーザーの詳細を使用してログインします。
3. IAM資格証明ストアを使用している場合は、「分散パス」の作成ステップに進みます。 GoldenGate資格証明ストアを使用する場合は、ソースGoldenGateがターゲットGoldenGateへの接続に使用するユーザーを作成します。
   1. ナビゲーション・メニューで、「ユーザー管理」をクリックします。
   2. 新しいユーザーを追加 (プラス・アイコン)をクリックし、次のようにフィールドに入力して、送信をクリックします:
      • 「ユーザー名」には、ggsnetと入力します。
      • 「ロール」で、「オペレータ」を選択します。
      • 確認のためにパスワードを2回入力します。
4. ソースのPostgreSQLデプロイメント・コンソールで、前のステップで作成したユーザーのパス接続を作成します。
   1. ナビゲーション・メニューで、「パス接続」をクリックします。
   2. パス接続の追加 (プラス・アイコン)をクリックし、次のようにフィールドに入力して、送信をクリックします:
      • 資格証明別名に、dpuserと入力します。
      • ユーザーIDに、ggsnetと入力
      • Passwordに、前のステップで使用したものと同じパスワードを入力します。
5. 「分散パス」の追加をクリックします。
6. 次のように「パスの追加」フォームに入力します:
   1. 「パスの情報」ページで、次の手順を実行します:
      1. 「パス名」に、名前を入力します。
      2. 「次へ」をクリックします。
   2. 「ソース・オプション」ページで、次の手順を実行します:
      1. ソース「抽出」で、「変更データ取得抽出」 (ECDC))を選択します。
      2. 「トレイル名」で、「変更データ取得」証跡ファイル(C1)を選択します。
      3. 「次へ」をクリックします。
   3. 「ターゲット・オプション」ページで、次の手順を実行します:
      1. 「ターゲット」で、wssを選択します。
      2. 「ターゲット・ホスト」に、ターゲット・デプロイメント・コンソールのURLを入力します(これは、デプロイメントの詳細ページで、https://または末尾のスラッシュを使用せずに確認できます)。
      3. 「ポート番号」には、443と入力します。
      4. 「トレイル名」には、C1と入力します。
      5. 「ターゲット認証メソッド」で、「UserID別名」を選択します。
      6. 「ドメイン」に、ドメイン名を入力します。
      7. 「別名」に、別名を入力します。
   4. 「パスの作成および実行」をクリックします。
7. 「ターゲット」ビッグ・データ・デプロイメント・コンソールで、「受信サービス」をクリックし、作成した「受信パス」を確認します。

タスク5: Replicatの追加

1. 「ターゲット」ビッグ・データ・デプロイメント・コンソールのナビゲーション・メニューで、Replicatsをクリックし、Replicatの追加 (プラス・アイコン)をクリックします。
2. Replicatsページで、Replicatの追加(プラス・アイコン)をクリックし、次のようにReplicatの追加フォームに入力します:
   1. Replicatの「情報」ページで:
      1. Replicat型で、「パラレル」または「調整Replicat」を選択します。
      2. 「プロセス名」には、RCDCなどの名前を入力します。
      3. 「次へ」をクリックします。
   2. Replicatオプション・ページで、次の手順を実行します:
      1. Replicatトレイル名に、タスク3からのトレイルの名前を入力します( C1)。
      2. 「ターゲット資格証明」で、Google Big Query接続に「ドメイン」および「別名」を選択します。
      3. 「使用可能なステージングのロケーション、」で、ドロップダウンからGoogle Cloud Storageを選択します。
      4. 「ステージング別名を使用」で、ドロップダウンからGoogle Cloud Storage接続を選択します。
   3. 「パラメータ・ファイル」ページで、次のマッピングを追加し、「次」をクリックします:

      MAP *.*, TARGET *.*;

   4. 「プロパティ・ファイル」ページで、必要に応じて必要なプロパティを構成します。 #TODOとマークされているものを探し、「次」をクリックします。
      変更を検討する必要があるプロパティには次が含まれます:

      • gg.eventhandler.gcs.bucketMappingTemplate: ステージング・ストレージとして使用されるバケットの名前を指定
3. 「Create and Run」をクリックします

   Replicatsページに戻り、Replicatの詳細を確認できます。

タスク6: 「変更データ取得」の検証

ソースPostgreSQLデータベースの更新を実行して、Google BigQueryへのレプリケーションを確認します。

1. 次のスクリプトを実行して、PostgreSQLデータベースへの挿入を実行します:

   Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
   Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
   Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
   Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
   Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
   Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
   Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
   Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
   Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
   Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);

2. ソースのPostgreSQLデプロイメント・コンソールで、「抽出」名(EDCD)を選択し、「統計」をクリックします。 src_ociggll.src_cityに10個の挿入があることを確認します。

   ノート:

   「抽出」が挿入を取得しなかった場合は、EDCD 「抽出」を再起動します。
3. ターゲットのビッグ・データ・デプロイメント・コンソールで、Replicat名を選択し、その「詳細」を表示し、「統計」をチェックして挿入数を確認します。

---

タイトルおよび著作権情報

Copyright ©2023,2024,

Oracle and/or its affiliates.