新增 Snowflake 的 Replicat
瞭解如何在 OCI GoldenGate 資料複製中新增 Snowflake 目標的 Replicat 處理作業。
開始之前
-
確定目標表格存在於 Snowflake 資料庫中。
-
如果您打算使用任何外部階段位置,例如 S3、ADLS Gen2 或 GCS,則必須設定 Amazon Web Services、Google Cloud Platform 或 Azure 雲端帳戶。
-
Snowflake JDBC 驅動程式連線字串
-
用來複製到 Snowflake 的資料庫使用者必須具備下列權限:
-
目標表格上的
INSERT、UPDATE、DELETE及TRUNCATE。 -
CREATE和DROP在 Snowflake 指定階段和外部階段。 -
如果使用外部階段 (S3、ADLS、GCS)、
CREATE、ALTER和DROP外部表格。
-
新增 Replicat (26ai)
請確定您已複查此目標類型的特定先決條件。
-
在 OCI GoldenGate 部署主控台導覽功能表中,選取 Replicat 。
-
在 Replicat 頁面上,選取新增 Replicat 。
-
在「新增 Replicat」面板的 Replicat 資訊頁面中,視需要完成欄位,然後選取下一步:
-
選取複製類型:
-
一般 Replicat
-
協調式 Replicat
-
-
輸入長度不超過 5 個字元的程序名稱。
-
輸入描述,以協助區分此處理與其他處理。
-
-
在複製選項頁面上,視需要完成欄位,然後選取下一步:
-
對於 Replicat 歷程檔:
-
輸入名稱。
-
如果您預期「歷程檔」位於預設以外的位置,請輸入子目錄。
-
選取一個加密設定檔。如果未建立加密設定檔,預設會選取「本機公事包」。
-
針對開始,選取資料處理的起點:
-
日誌中的位置 (預設)
-
Now
-
自訂時間
-
-
-
歷程檔位置:
-
輸入序號。
-
輸入 RBA 沖銷。
-
-
對於目標,請從下拉式清單中選取 Snowflake ,然後選取下列其中一項:
-
串流處理
-
暫存與合併,然後選取可用的暫存位置
-
-
若為目標證明資料:
-
選取一個網域。
-
選取指定網域內的別名。
-
選取檢查點表格。請保留預設選擇,或選取您為目標部署建立的檢查點表格。
-
選取繫線數目上限 (僅限協調式 Replicat)。
-
-
-
在受管理選項頁面上,視需要完成選擇性欄位,然後選取下一步:
-
若有可用的「基本資料名稱」,請選取「基本資料名稱」。
-
對部署狀況啟用「重要」。
-
啟用並設定自動啟動設定。
-
-
在參數檔頁面中,您可以新增參數以進一步設定 Replicat。舉例而言:
table source.table1;注意:
依照預設,GoldenGate 使用格林威治標準時間 (GMT)。使用 SETENV 覆寫 Replicat 的預設設定。此變更不適用於部署。舉例而言:
setenv (TZ="US/Eastern") setenv (TZ="GMT+5") -
(選擇性) 在「特性檔 (Properties File)」頁面上,複查特性:
-
jvm.bootoptions:如果您需要新增更多記憶體至 Replicat JVM (-Xmx16g 最多使用 16 GB 的記憶體,請增加 -Xmx 值;-Xmx32g 最多使用 32 GB,依此類推)。注意:已知問題的相關 Snowflake 串流處理程式因錯誤
Exception: java.lang.StackOverflowError thrown from the UncaughtExceptionHandler in thread "process reaper"而失敗。若要解決此問題,請將下列項目新增至您的 Replicat 特性檔:jvm.bootoptions= -Djdk.lang.processReaperUseDefaultStackSize=true
如需此目標特性的相關資訊,以及瞭解「暫存」與「合併」與「串流處理程式」之間的差異,請參閱 Oracle GoldenGate for Distributed Applications and Analytics 指南中的 Snowflake 。
-
-
選取建立並執行。如果您選取建立,則稍後可以從 Replicat 頁面手動啟動 Replicat。
新增 Replicat (21c)
在 Oracle GoldenGate 21 c 中新增 Snowflake 的 Replicat:
-
在 OCI GoldenGate 部署主控台的「管理服務總覽」頁面中,選取新增 Replicat (加上圖示)。
-
在「新增 Replicat」頁面上,選取一個 Replicat 類型,然後選取下一步。
Replicat 的類型包括:
-
一般 Replicat
-
協調式 Replicat
-
-
在「Replicat 選項」頁面上,完成下列欄位,然後選取下一步:
-
在程序名稱中,輸入 Replicat 程序的名稱。
-
在歷程檔名稱中,輸入兩個字元的歷程檔名稱。
-
若為目標,請從下拉式清單中選取目標 Snowflake 連線。
-
對於可用的別名,請從下拉式清單中選取您的別名。
-
(選用) 啟用外部儲存,從下拉式清單中選取可用的暫存位置。
-
-
在「Replicat 參數」頁面中,新增必要的對應,然後選取下一步:
注意:
- 如果使用協調式 Replicat,請在參數檔的第二行新增下列參數:
TARGETDB LIBFILE libggjava.so SET property=/u02/Deployment/etc/conf/ogg/.properties使用協調式 Replicat 將會建立多個檔案。如果省略,將會發生下列錯誤:
OGG-01091 Oracle GoldenGate Delivery, RSNOW.prm: Unable to open file "/u02/Deployment/etc/conf/ogg/001.properties" (error 2, No such file or directory).-
如果 Snowflake 中有長時間執行的合併作業,而且觀察到大量的鎖定,請確定沒有其他表格正在修改相同的表格。此外,請小心使用協調式 Replicat,因為這可能會導致大量的表格鎖定。
-
依照預設,GoldenGate 使用格林威治標準時間 (GMT)。使用 SETENV 覆寫 Replicat 的預設設定。此變更不適用於部署。舉例而言:
setenv (TZ="US/Eastern") setenv (TZ="GMT+5")進一步瞭解 SETENV 。
-
(選擇性) 在「屬性檔案」頁面上,檢閱下列屬性:
注意:這些特性會在您建立連線時設定,不應在此處修改。
-
ggs.eventhandler.snowflake.connectionURL:連線至 Snowflake 的 JDBC URL。 -
ggs.eventhandler.snowflake.UserName:Snowflake 資料庫使用者名稱。 -
ggs.eventhandler.snowflake.Password:與 Snowflake 資料庫使用者相關聯的密碼。 -
ggs.eventhandler.snowflake.storageIntegration:Snowflake 資料倉儲用來存取個別物件存放區檔案的證明資料。如需詳細資訊,請參閱雪花式儲存整合。 -
jvm.bootoptions:如果您需要新增更多記憶體至 Replicat JVM (-Xmx16g 最多使用 16 GB 的記憶體,請增加 -Xmx 值;-Xmx32g 最多使用 32 GB,依此類推)。
-
-
選取建立並執行。如果您選取建立,之後可以從「管理服務總覽」頁面手動啟動 Replicat。
您可以返回「管理服務總覽」頁面,檢視 Replicat 處理作業的建立及存取 Replicat 動作。
相關內容的
已知問題
錯誤 37518857:OGGDAA GGS Snowflake Streaming Replicat 錯誤
Snowflake Streaming 處理程式失敗,網址為:Exception: java.lang.StackOverflowError thrown from the UncaughtExceptionHandler in thread "process reaper"
解決方法:將下列內容新增至您的 Replicat 特性檔:
jvm.bootoptions= -Djdk.lang.processReaperUseDefaultStackSize=true