Amazon S3のReplicatの追加

OCI GoldenGateでAmazon S3ターゲットのReplicatプロセスを作成する方法について学習します

開始する前に

Amazon S3用のReplicatを追加および実行する前に、次のものがあることを確認してください。

  • ターゲット・ビッグ・データ・デプロイメントに作成および割り当てられたAmazon S3接続
  • Amazon Web Services (AWS)リージョン

Replicatの追加(23ai)

開始する前に

このターゲット・タイプに固有の前提条件を確認してください。

GoldenGate 23aiにReplicatを追加するには:
  1. OCI GoldenGateデプロイメント・コンソールの管理サービスのホームページで、「Replicatの追加」(プラス・アイコン)をクリックします。
  2. 「Replicatの追加」パネルの「Replicat情報」ページで、必要に応じてフィールドに入力し、「次」をクリックします:
    • Replicatのタイプを選択します:
      • クラシックReplicat
      • 調整Replicat
    • 「プロセス名」に5文字以下の長さで入力します。
    • このプロセスを他のプロセスから区別できるように、「説明」を入力します。
  3. 「Replicatオプション」ページで、必要に応じてフィールドに入力し、「次」をクリックします:
    • Replicatトレイル:
      • 「名前」を入力します
      • サブディレクトリを入力します(トレイル・ファイルがデフォルト以外の場所にあることが予想される場合)。
      • 暗号化プロファイルを選択します。暗号化プロファイルが作成されていない場合は、デフォルトでローカル・ウォレットが選択されます。
      • 「開始」で、データ処理の開始点を選択します:
        • ログでの位置(デフォルト)
        • 現在
        • カスタム時間
    • トレイルの位置:
      • 「シーケンス番号」を入力します。
      • RBAオフセットを入力します。
      • ドロップダウンから「ターゲット」を選択します。
        ノート

        ターゲットの選択によっては、ストリーミング、ステージとマージ、ステージングの場所などの追加オプションがある場合があります。
    • ターゲットの資格証明:
      • 「ドメイン」を選択します
      • 指定したドメイン内の別名を選択します。
      • チェックポイント表を選択します。デフォルトの選択のままにするか、ターゲット・デプロイメント用に作成したチェックポイント表を選択します。
      • 「最大スレッド数」を選択します(調整されたReplicatのみ)。
  4. 「管理対象オプション」ページで、必要に応じてオプションのフィールドに入力し、「次」をクリックします:
    • 使用可能な場合は、プロファイル名を選択します。
    • デプロイメントのヘルスに不可欠を有効にします。
    • 自動開始設定を有効にして構成します。
  5. 「パラメータ・ファイル」ページで、パラメータを追加してReplicatをさらに構成できます。例:
    table source.table1;

    調整Replicatを使用する場合は、パラメータ・ファイルにTARGETDB LIBFILE libggjava.so SET property=/u02/Deployment/etc/conf/ogg/your_replicat_name.propertiesを追加します。

    ノート

    GoldenGateでは、デフォルトでグリニッジ標準時(GMT)が使用されます。SETENVを使用して、このReplicatプロセスのデフォルト設定をオーバーライドします。この変更はデプロイメントには適用されません。例:

    setenv (TZ="US/Eastern")
    setenv (TZ="GMT+5")
  6. 「プロパティ・ファイル」ページで、次のAmazon S3プロパティを構成します:
    • gg.eventhandler.s3.regionは、ターゲットS3バケットのAWSリージョンを指定します。
    • gg.eventhandler.s3.bucketMappingTemplate:には、ターゲットのS3バケット名を指定します。バケットが存在しない場合は、OCI GoldenGateによって自動作成されます。静的バケット名を指定することも、「テンプレートのキーワード」を使用してバケット名を動的に割り当てることもできます。
      ノート

      バケット名に小文字のみが含まれていることを確認してください。大文字を使用すると、Replicatが失敗する可能性があります。
    • (オプション) gg.handler.abs.format: 出力のフォーマット方法を選択します。デフォルト設定はJSONです。使用可能なオプションには次が含まれます:

      parquetの場合は、追加のプロパティを適用する必要があります。詳細は、「Amazon S3のParquet」を参照してください。

      このターゲットのプロパティの詳細は、Oracle GoldenGate for Distributed Applications and AnalyticsガイドのAmazon S3を参照してください。

  7. 「作成および実行」をクリックします。「作成」をクリックすると、後で管理サービスのホーム・ページからReplicatを手動で起動できます。

Replicatの追加(21c)

Amazon S3のアプリケーション・プロセスの追加について学習します。

Amazon S3ターゲットのReplicatを追加するには:
  1. OCI GoldenGateデプロイメント・コンソールの管理サービスの「概要」ページで、「Replicatの追加」(プラス・アイコン)をクリックします。
  2. 「Replicatの追加」ページで、Replicatタイプを選択し、「次」をクリックします。
    Replicatのタイプは:
    • クラシックReplicat
    • 調整Replicat
  3. 「Replicatオプション」ページで、次のフィールドに入力し、「次」をクリックします:
    1. 「プロセス名」に、Replicatプロセスの名前を入力します。
    2. (オプション)「説明」に、このプロセスを他のプロセスから区別するための短い説明を入力します。
    3. 「トレイル名」に、2文字のトレイル名を入力します。
    4. 「ターゲット」で、ドロップダウンから「Amazon S3」を選択します。
    5. 「Amazon S3で使用可能な別名」で、ドロップダウンから別名を選択します。
  4. 「パラメータ・ファイル」ページで、必要に応じてReplicatパラメータを追加して構成し、「次」をクリックします。
    ノート

    • 調整Replicatを使用している場合は、パラメータ・ファイルの2行目に次のパラメータを追加します。
      TARGETDB LIBFILE libggjava.so SET property=/u02/Deployment/etc/conf/ogg/<replicat
            name>.properties

      調整Replicatを使用すると、複数のファイルが作成されます。

      省略すると、次のエラーが発生します。

      OGG-01091 Oracle GoldenGate Delivery, RSNOW.prm: Unable to open file
            "/u02/Deployment/etc/conf/ogg/<replicat name>001.properties" (error 2, No such file or
            directory).
    • GoldenGateでは、デフォルトでグリニッジ標準時(GMT)が使用されます。デフォルト設定をオーバーライドするには、SETENVを使用します。例:
      setenv (TZ="US/Eastern")
      setenv (TZ="GMT+5")

      SETENVについてさらに学習します。

  5. 「プロパティ・ファイル」ページで、次のAmazon S3プロパティを構成します:
    • gg.eventhandler.s3.regionは、ターゲットS3バケットのAWSリージョンを指定します。
    • gg.eventhandler.s3.bucketMappingTemplate:には、ターゲットのS3バケット名を指定します。バケットが存在しない場合は、OCI GoldenGateによって自動作成されます。静的バケット名を指定することも、「テンプレートのキーワード」を使用してバケット名を動的に割り当てることもできます。
      ノート

      バケット名に小文字のみが含まれていることを確認してください。大文字を使用すると、Replicatが失敗する可能性があります。
    • (オプション) gg.handler.abs.format: 出力のフォーマット方法を選択します。デフォルト設定はJSONです。使用可能なオプションには次が含まれます:

      parquetの場合は、追加のプロパティを適用する必要があります。詳細は、「Amazon S3のParquet」を参照してください。

  6. 「作成および実行」をクリックします。「作成」をクリックすると、後で管理サービスの「概要」ページからReplicatを手動で起動できます。
管理サービスの概要ページに戻り、Replicatプロセスの表示、およびReplicatアクションにアクセスできます。

さらに学ぶ

ターゲットで開始される受信パスを作成して実行する方法について学習しますか。OCI GoldenGateからOracle GoldenGateへのデータの送信のクイックスタートを参照するか、サンドボックス環境でLiveLabsバージョンを試してください。

既知の問題

共有エンドポイントを使用したAmazon S3およびGoogle Cloud Storage接続のJava.net.UnknownHostExceptionエラー

回避策: 接続を編集し、トラフィック・ルーティング方法「専用」に変更するか、Amazon S3およびGoogle Cloud Storage接続を作成するときに「専用」を選択します。

OCI GoldenGateでのAmazon S3接続の問題

Amazon S3接続の使用時に次のエラーが発生した場合は、サポート・チケットを開き、詳細およびエラー・メッセージを共有します。

ERROR 2024-03-04 11:42:31.000505 [TaskEngine_2(FileFinalizeTask)] - Verify S3 bucket
      [ggstest] failed.com.amazonaws.SdkClientException: Unable to execute HTTP request: s3.us-east-2.amazonaws.com

その後、次のステップを一時的な回避策として使用できます。

回避策:

  1. Cloud Shellに接続します。
  2. 次のCLIサンプルを使用して、新しいAmazon S3接続を作成します:
    oci goldengate connection create-amazon-s3-connection --routing-method SHARED_SERVICE_ENDPOINT --display-name <connection_name> --compartment-id <compartment_ocid> --technology-type AMAZON_S3 --access-key-id <aws_access_key> --secret-access-key <aws_secret>
  3. デプロイメントに接続します。
  4. Amazon S3のReplicatを追加して実行します。

または、パブリック・アクセスを使用しない場合は、AWS VPC Endpointsを使用するようにAmazon S3接続のバケットを構成します。OCI GoldenGateがVPC Endpointsを使用してS3バケットにアクセスするには、VCNとAWS VPCの間のIPsec VPNも構成する必要があります。

Amazon S3のエンドポイントを設定するには、Replicatプロパティ・ファイルにgg.eventhandler.s3.urlプロパティを追加し、プライベート接続のエンドポイントを指定します。