新增適用於 Amazon S3 的 Replicat

瞭解如何為 OCI GoldenGate 中的 Amazon S3 目標建立 Replicat 處理作業

相關主題

開始之前

新增和執行 Amazon S3 的 Replicat 之前，請確定您具有下列項目：

  • 已建立 Amazon S3 連線並指定給您的目標大數據部署
  • Amazon Web Services (AWS) 區域

新增 Replicat (23ai)

開始前

請確定複查此目標類型的特定先決條件。

若要在 GoldenGate 23ai 中新增 Replicat ，請執行下列動作：
  1. 在 OCI GoldenGate 部署主控台的管理服務首頁上，按一下新增 Replicat (加圖示)。
  2. 在「新增 Replicat 」面板的 Replicat 資訊頁面上，視需要完成欄位，然後按一下下一步：
    • 選取 Replicat 類型：
      • 一般 Replicat
      • 協調的 Replicat
    • 請輸入程序名稱，長度不可超過 5 個字元。
    • 輸入描述，以協助區分此處理與其他處理。
  3. 在「Replicat 選項」頁上，視需要完成欄位，然後按「下一步」：
    • Replicat 歷程檔：
      • 輸入名稱。
      • 如果您預期歷程檔位於預設以外的位置，請輸入子目錄。
      • 選取一個加密設定檔。如果未建立加密設定檔，預設會選取本機公事包。
      • 對於開始，請選取資料處理的起點：
        • 日誌中的位置 (預設)
        • Now
        • 自訂時間
    • 歷程檔位置：
      • 輸入順序編號。
      • 輸入 RBA 偏移量。
      • 從下拉式清單中選取您的目標。

        附註：

        視您的目標選擇而定，您可能會有其他選項，例如「串流處理」、「暫存與合併」，以及「暫存」位置。
    • 目標證明資料：
      • 選取網域。
      • 選取指定網域內的別名。
      • 選取檢查點表格。保留預設選項，或選取您為目標部署建立的檢查點表格。
      • 選取繫線數目上限 (僅限協調複製 )。
  4. 在受管理選項頁面上，視需要完成選擇性欄位，然後按下一步：
    • 選取「基本資料名稱」(若有的話)。
    • 對部署狀況啟用「嚴重」。
    • 啟用並設定「自動啟動」設定值。
  5. 在參數檔頁面上，您可以新增參數以進一步設定您的 Replicat 。例如：
    table source.table1;

    如果使用協調式 Replicat ，請將 TARGETDB LIBFILE libggjava.so SET property=/u02/Deployment/etc/conf/ogg/your_replicat_name.properties 新增至參數檔。

    附註：

    GoldenGate 預設使用格林威治標準時間 (GMT)。使用 SETENV 覆寫此 Replicat 處理的預設設定。此變更不適用於部署。舉例而言： 

    setenv (TZ="US/Eastern")
setenv (TZ="GMT+5")
  6. 在「特性檔」頁面上，設定下列 Amazon S3 特性：
    • gg.eventhandler.s3.region 提供目標 S3 儲存桶的 AWS 區域。
    • gg.eventhandler.s3.bucketMappingTemplate: 提供目標 S3 儲存桶名稱。如果儲存桶不存在，則可以由 OCI GoldenGate 自動建立。您可以提供靜態儲存桶名稱，或使用樣板關鍵字動態指派儲存桶名稱。

      附註：

      請確定儲存桶名稱只包含小寫字元。大寫字元可能會導致 Replicat 失敗。
    • (選擇性) gg.handler.abs.format：選取輸出的格式。JSON 為預設設定。可用的選項包括：

      對於鑲木，您必須套用其他性質。如需詳細資訊，請參閱 Parquet for Amazon S3 。

      如需此目標特性的相關資訊，請參閱 Oracle GoldenGate for Distributed Applications and Analytics 指南中的 Amazon S3 。

  7. 按一下建立並執行。如果您按一下建立，則可以稍後從管理服務首頁手動啟動 Replicat 。

新增 Replicat (21c)

瞭解如何為 Amazon S3 新增 Replicat 處理作業。

新增 Amazon S3 目標的 Replicat：
  1. 在 OCI GoldenGate 部署主控台的「管理服務總覽」頁面中，按一下新增 Replicat (加上圖示)。
  2. 在「新增 Replicat」頁面上，選取一個 Replicat 類型，然後按一下下一步。
    Replicat 的類型包括：
    • 一般 Replicat
    • 協調式 Replicat
  3. 在「Replicat 選項」頁面上，完成下列欄位，然後按一下下一步：
    1. 在處理作業名稱中，輸入 Replicat 處理作業的名稱。
    2. (選用) 對於說明，輸入簡短說明以區別此程序與其他程序。
    3. 在歷程檔名稱中，輸入兩個字元的歷程檔名稱。
    4. 若為目標，請從下拉式清單中選取 Amazon S3 。
    5. 如果是Amazon S3 的可用別名，請從下拉式清單中選取您的別名。
  4. 在「參數檔」頁面上，視需要新增並設定 Replicat 參數，然後按一下下一步。

    附註：

    • 如果使用協調式 Replicat，請在「參數檔」的第二行新增下列參數：
      TARGETDB LIBFILE libggjava.so SET property=/u02/Deployment/etc/conf/ogg/<replicat
      name>.properties

      若使用協調式 Replicat，將會建立多個檔案。

      如果省略，將會發生下列錯誤：

      OGG-01091 Oracle GoldenGate Delivery, RSNOW.prm: Unable to open file
      "/u02/Deployment/etc/conf/ogg/<replicat name>001.properties" (error 2, No such file or
      directory).
    • GoldenGate 預設使用格林威治標準時間 (GMT)。使用 SETENV 以置換預設設定。舉例而言：
      setenv (TZ="US/Eastern")
setenv (TZ="GMT+5")

      深入瞭解 SETENV 。

  5. 在「特性檔」頁面上，設定下列 Amazon S3 特性：
    • gg.eventhandler.s3.region 提供目標 S3 儲存桶的 AWS 區域。
    • gg.eventhandler.s3.bucketMappingTemplate: 提供目標 S3 儲存桶名稱。如果儲存桶不存在，則可以由 OCI GoldenGate 自動建立。您可以提供靜態儲存桶名稱，或使用樣板關鍵字動態指派儲存桶名稱。

      附註：

      請確定儲存桶名稱只包含小寫字元。大寫字元可能會導致 Replicat 失敗。
    • (選擇性) gg.handler.abs.format：選取輸出的格式。JSON 為預設設定。可用的選項包括：

      對於鑲木，您必須套用其他性質。如需詳細資訊，請參閱 Parquet for Amazon S3 。

  6. 按一下建立並執行。如果您按一下建立，則可以稍後從「管理服務總覽」頁面手動啟動 Replicat。
您可以返回「管理服務總覽」頁面，檢視 Replicat 處理作業的建立及存取 Replicat 動作。

已知問題

與共用端點的 Amazon S3 和 Google Cloud Storage 連線發生 Java.net.UnknownHostException 錯誤

解決方法：編輯連線並將流量路由方法變更為專用，或是在建立 Amazon S3 和 Google Cloud Storage 連線時選取專用。

OCI GoldenGate 中的 Amazon S3 連線發生問題

如果您在使用 Amazon S3 連線時發生下列錯誤，請開啟支援回報項目、共用詳細資訊及錯誤訊息。 

ERROR 2024-03-04 11:42:31.000505 [TaskEngine_2(FileFinalizeTask)] - Verify S3 bucket
      [ggstest] failed.com.amazonaws.SdkClientException: Unable to execute HTTP request: s3.us-east-2.amazonaws.com

然後，您可以使用下列步驟作為暫時解決方法。

解決方法：

  1. 連線至 Cloud Shell。
  2. 使用下列 CLI 範例建立新的 Amazon S3 連線：
    oci goldengate connection create-amazon-s3-connection --routing-method SHARED_SERVICE_ENDPOINT --display-name <connection_name> --compartment-id <compartment_ocid> --technology-type AMAZON_S3 --access-key-id <aws_access_key> --secret-access-key <aws_secret>
  3. 指定部署的連線。
  4. 為 Amazon S3 新增並執行 Replicat。

或者，如果您不想使用公用存取，請將 Amazon S3 連線的儲存桶設定為使用 AWS VPC Endpoints。若要讓 OCI GoldenGate 使用 VPC Endpoints 存取您的 S3 儲存桶，您還必須在 VCN 與 AWS VPC 之間設定 IPsec VPN。

若要設定 Amazon S3 的端點，請將 gg.eventhandler.s3.url 特性新增至 Replicat 特性檔，然後提供專用連線的端點。