Amazon S3のReplicatの追加

OCI GoldenGateでAmazon S3ターゲットのReplicatプロセスを作成する方法について学習します。

開始する前に

Amazon S3用のReplicatを追加および実行する前に、次のものがあることを確認してください:

ターゲットのビッグ・データ・デプロイメントに作成および割り当てられるAmazon S3接続
Amazon Web Services (AWS)リージョン
Configuration Considerations and Best Practices for Amazon S3を確認してください

Replicatの追加(26ai)

このターゲット・タイプに固有の前提条件を確認してください。

GoldenGate 26aiでReplicatを追加するには:

OCI GoldenGateデプロイメント・コンソール・ナビゲーション・メニューで、「Replicat」を選択します。
Replicatページで、「Replicatの追加」を選択します。
「Replicatの追加」パネルの「Replicat情報」ページで、必要に応じてフィールドに入力し、「次」を選択します。
- Replicatタイプを選択します:
  - クラシックReplicat
  - 調整Replicat
- 「プロセス名」に5文字以内で入力します。
- このプロセスを他のプロセスと区別できるように、「摘要」を入力します。
Replicatオプション・ページで、必要に応じてフィールドに入力し、「次へ」を選択します。
- Replicatトレイル:
  - 「名前」を入力します。
  - トレイル・ファイルがデフォルト以外の場所にある場合は、サブディレクトリを入力します。
  - 暗号化プロファイルを選択します。暗号化プロファイルが作成されていない場合は、デフォルトでローカル・ウォレットが選択されます。
  - 「開始」で、データ処理の開始点を選択します:
    - ログでの位置(デフォルト)
    - Now
    - カスタム時間
- トレイルの位置:
  - 「シーケンス番号」を入力します。
  - 「RBAオフセット」を入力します。
  - ドロップダウンから「ターゲット」を選択します。
    
    ノート:ターゲットの選択によっては、ストリーミング、ステージとマージ、ステージングの場所などの追加オプションがある場合があります。
- ターゲットの資格証明:
  - 「ドメイン」を選択します。
  - 指定したドメイン内の別名を選択します。
  - 「チェックポイント表」を選択します。デフォルトの選択を残すか、ターゲット・デプロイメント用に作成したチェックポイント表を選択します。
  - 「最大スレッド数」を選択します(調整Replicatのみ)。
「管理対象オプション」ページで、必要に応じてオプション・フィールドに入力し、「次へ」を選択します。
- プロファイル名がある場合は、そのプロファイル名を選択します。
- デプロイメントのヘルスに不可欠を有効にします。
- 自動開始設定を有効にして構成します。
「パラメータ・ファイル」ページで、パラメータを追加してReplicatをさらに構成できます。たとえば:
```
table source.table1;
```
ノート:

GoldenGateでは、デフォルトでグリニッジ標準時(GMT)が使用されます。Replicatのデフォルト設定をオーバーライドするには、SETENVを使用します。この変更はデプロイメントには適用されません。たとえば:
```
setenv (TZ="US/Eastern")
setenv (TZ="GMT+5")
```
「プロパティ・ファイル」ページで、次のAmazon S3プロパティを構成します:
- gg.eventhandler.s3.regionは、ターゲットS3バケットのAWSリージョンを指定します。
- gg.eventhandler.s3.bucketMappingTemplate:は、ターゲットのS3バケット名を指定します。バケットが存在しない場合は、OCI GoldenGateによって自動作成されます。静的バケット名を指定するか、「テンプレート・キーワード」を使用してバケット名を動的に割り当てることができます。
  
  ノート:バケット名に小文字のみが含まれていることを確認してください。大文字を使用すると、Replicatが失敗する可能性があります。
- (オプション) gg.handler.abs.format: 出力のフォーマット方法を選択します。デフォルト設定はJSONです。使用可能なオプションには次が含まれます:
- delimitedtext
- json
- json_row
- xml
- avro_row_ocf
- avro_op_ocf
parquetには、追加のプロパティを適用する必要があります。詳細は、Parquet for Amazon S3を参照してください。

このターゲットのプロパティの詳細は、Oracle GoldenGate for Distributed Applications and AnalyticsガイドのAmazon S3を参照してください。
「作成および実行」を選択します。「作成」を選択した場合は、「Replicat」ページからReplicatを後で手動で起動できます。

Replicatの追加(21c)

OCI GoldenGateデプロイメント・コンソールの管理サービスの「概要」ページで、「Replicatの追加」(プラス・アイコン)を選択します。
「Replicatの追加」ページで、Replicatタイプを選択し、「次」を選択します。

Replicatのタイプは:
- クラシックReplicat
- 調整Replicat
「Replicatオプション」ページで、次のフィールドに値を入力し、「次」を選択します。
1. 「プロセス名」に、Replicatプロセスの名前を入力します。
2. (オプション)「説明」に、このプロセスを別のプロセスから区別するための短い説明を入力します。
3. 「トレイル名」に、2文字のトレイル名を入力します。
4. 「ターゲット」で、ドロップダウンから「Amazon S3」を選択します。
5. 「Amazon S3に使用可能な別名」で、ドロップダウンから別名を選択します。
「パラメータ・ファイル」ページで、必要に応じてReplicatパラメータを追加して構成し、「次」を選択します。
```
table source.table1;
```
ノート:

GoldenGateでは、デフォルトでグリニッジ標準時(GMT)が使用されます。Extractのデフォルト設定をオーバーライドするには、SETENVを使用します。この変更はExtractプロセスにのみ適用され、デプロイメントには適用されません。
```
setenv (TZ="US/Eastern")
setenv (TZ="GMT+5")
```
「プロパティ・ファイル」ページで、次のAmazon S3プロパティを構成します:
- gg.eventhandler.s3.regionは、ターゲットS3バケットのAWSリージョンを指定します。
- gg.eventhandler.s3.bucketMappingTemplate:は、ターゲットのS3バケット名を指定します。バケットが存在しない場合は、OCI GoldenGateによって自動作成されます。静的バケット名を指定するか、「テンプレート・キーワード」を使用してバケット名を動的に割り当てることができます。
ノート:バケット名に小文字のみが含まれていることを確認してください。大文字を使用すると、Replicatが失敗する可能性があります。
- (オプション) gg.handler.abs.format: 出力のフォーマット方法を選択します。デフォルト設定はJSONです。使用可能なオプションには次が含まれます:
- delimitedtext
- json
- json_row
- xml
- avro_row_ocf
- avro_op_ocf
parquetには、追加のプロパティを適用する必要があります。詳細は、Parquet for Amazon S3を参照してください。
「作成および実行」を選択します。「作成」を選択すると、後で管理サービスの「概要」ページからReplicatを手動で起動できます。

管理サービスの「概要」ページに戻り、Replicatプロセスの作成を表示したり、Replicatアクションにアクセスできます。

Amazon S3ターゲット詳細

Amazon S3の既知の問題

共有エンドポイントを使用したAmazon S3およびGoogle Cloud Storage接続のJava.net.UnknownHostExceptionエラー

共有エンドポイントでAmazon S3およびGoogle Cloud Storage接続を使用する場合、Java.net.UnknownHostExceptionエラーが発生する可能性があります。

回避策: 接続を編集して「トラフィック・ルーティング方法」を「専用」に変更するか、Amazon S3およびGoogle Cloud Storage接続を作成するときに「専用」を選択します。

OCI GoldenGateでのAmazon S3接続の問題

Amazon S3接続の使用時に次のエラーが発生した場合は、サポート・チケットを開き、詳細およびエラー・メッセージを共有します。

ERROR 2024-03-04 11:42:31.000505 [TaskEngine_2(FileFinalizeTask)] - Verify S3 bucket
      [ggstest] failed.com.amazonaws.SdkClientException: Unable to execute HTTP request: s3.us-east-2.amazonaws.com

回避方法:

Cloud Shellに接続します。

次のCLIサンプルを使用して、新しいAmazon S3接続を作成します:

oci goldengate connection create-amazon-s3-connection --routing-method SHARED_SERVICE_ENDPOINT --display-name <connection_name> --compartment-id <compartment_ocid> --technology-type AMAZON_S3 --access-key-id <aws_access_key> --secret-access-key <aws_secret> --connection-region <amazon_s3_bucket_region>

接続をデプロイに割り当てます。
Amazon S3のReplicatを追加して実行します。

または、パブリックアクセスを使用しない場合は、AWS VPCエンドポイントを使用するように Amazon S3接続のバケットを構成します。OCI GoldenGateがVPCエンドポイントを使用してS3バケットにアクセスするには、VCNとAWS VPCの間にIPsec VPNも構成する必要があります。

Amazon S3のエンドポイントを設定するには、Replicatプロパティ・ファイルにgg.eventhandler.s3.urlプロパティを追加し、プライベート接続のエンドポイントを指定します。