將資料從自治式 AI 交易處理複寫至 Azure Synapse Analytics
此快速入門示範如何使用 OCI GoldenGate 設定從自治式 AI 交易處理至 Azure Synapse Analytics 的資料複寫。
開始之前
若要順利完成此快速啟動,您必須具備下列項目:
-
與 Azure Synapse Analytics Workspace 關聯的 Azure 儲存容器
-
Azure Synapse Analytics 資料庫範圍證明資料,可授予 SQL 集區存取儲存帳戶的權限
-
目標表格存在:複製前,目標表格應存在於「同步」資料庫中。由於 GoldenGate 使用「合併 SQL 敘述句」,因此目標表格必須是雜湊分散式表格。
-
指定給部署的 OCI GoldenGate Azure 資料湖儲存連線。如果不存在,請建立 Azure Data Lake Storage 連線並指定給部署。
環境設定:自治式 AI 異動處理
如果您尚未設定複製的來源資料庫,您可以依照下列步驟來載入要用於此快速啟動的範例綱要。此快速入門針對來源資料庫使用自治式 AI 異動處理。
若要設定來源「自治式 AI 交易處理」,請執行下列動作:
-
下載並解壓縮範例資料庫綱要。
-
在 Oracle Cloud 主控台中,從「自治式 AI 資料庫」頁面選取您的「自治式 AI 異動處理 (ATP)」執行處理,以檢視其詳細資訊並存取「資料庫動作」。
-
解除鎖定 GGADMIN 使用者:
-
選取資料庫動作,然後選取資料庫使用者。
-
尋找 GGADMIN,然後選取其省略符號功能表 (三個點),然後選取編輯。
-
在「編輯使用者」面板中,輸入 GGADMIN 密碼,確認密碼,然後取消選取帳戶已鎖定。
-
選取套用變更。
-
-
載入來源範例綱要和資料:
-
從「資料庫」動作功能表的「開發」底下,選取 SQL 。
-
將命令檔從
OCIGGLL_OCIGGS_SETUP_USERS_ATP.sql複製並貼到 SQL 工作表中。 -
選取執行命令檔。「命令檔輸出」頁籤會顯示確認訊息。
-
清除 SQL 工作表,然後從
OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql.複製並貼上 SQL 命令檔提示:您可能需要分別執行每個陳述式,SQL 工具才能順利執行命令檔。
-
若要驗證表格已順利建立,請關閉 SQL 視窗並重新開啟。在「導覽器」頁籤中,尋找
SRC_OCIGGLL綱要,然後從表格的個別下拉式清單中選取表格。
-
-
啟用補充記錄日誌:
-
清除 SQL 工作表。
-
輸入下列陳述式,然後選取執行陳述式:
ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;
-
環境設定:Azure Synapse Analytics
-
開啟 Azure Synapse Analytics Workspace 。
-
選取新建,然後選取 SQL 命令檔。
-
連線至您的 SQL 集區並選取您的資料庫。
-
輸入下列命令以建立主要金鑰加密:
CREATE MASTER KEY ENCRYPTION BY PASSWORD='<password>'; -
使用下列命令來建立「資料庫範圍證明資料」:
請確定將
<storage-account-name>和<storage-account-access-key>預留位置取代為其實際值。CREATE DATABASE SCOPED CREDENTIAL <credential name> WITH IDENTITY='<storage-account-name>', SECRET='<storage-account-access-key>'; -
執行建立表格命令檔:
CREATE TABLE [dbo].[SRC_CUSTOMER] ( CUSTID NUMERIC(10) NOTNULL, DEAR NUMERIC(1), LAST_NAME VARCHAR(50), FIRST_NAME VARCHAR(50), ADDRESS VARCHAR(100), CITY_ID NUMERIC(10), PHONE VARCHAR(50), AGE NUMERIC(3), SALES_PERS_ID NUMERIC(10), constraint PK_SRC_CUSTOMER primarykeyNONCLUSTERED (CUSTID) NOT ENFORCED ) WITH(DISTRIBUTION=HASH ([CUSTID]), HEAP ) GO -
確認已建立
dbo.SRC_Customer表格。
作業 1:建立 OCI GoldenGate 資源
此快速啟動範例需要來源和目標的部署和連線。
-
為來源「自治式 AI 交易處理」執行處理建立 Oracle 部署。
-
為目標 Azure Synapse Analytics 建立大數據部署。
任務 2:新增擷取
-
在「部署」頁面上,選取來源「自治式 AI 交易處理」部署。
-
在部署詳細資料頁面上,選取啟動主控台。
-
以來源部署的管理員使用者名稱和密碼登入。
-
新增擷取。
作業 3:新增並執行分配路徑
-
如果使用 GoldenGate 證明資料存放區,請在目標大數據部署中建立「分送路徑」的使用者,否則請跳至步驟 3。
-
在來源 GoldenGate 部署主控台中,為在步驟 1 中建立的使用者新增「路徑連線」。
-
在來源 GoldenGate 部署主控台中,於左側導覽中選取路徑連線。
-
選取新增路徑連線 (加號圖示),然後完成下列作業:
-
在證明資料別名中,輸入
GGSNetwork。 -
在使用者 ID 中,輸入在步驟 1 中建立的使用者名稱。
-
輸入使用者的密碼兩次以進行驗證。
-
-
選取提交。
路徑連線會顯示在「路徑連線」清單中。
-
-
在來源建置主控台中,使用下列值新增分送路徑:
-
在來源選項頁面上:
-
對於來源擷取,請選取在任務 2 中建立的擷取。
-
在歷程檔名稱中,輸入兩個字元的名稱,例如
E1。
-
-
在目標選項頁面上:
-
在目標主機中,輸入目標部署的主機網域。
-
在連接埠號碼中,輸入
443。 -
在歷程檔名稱中,輸入兩個字元的名稱,例如
E1。 -
在別名中,輸入在步驟 2 中建立的「證明資料別名」。
-
-
-
在目標大數據部署主控台中,複查因「分送路徑」而建立的「接收者路徑」。
-
在目標 Big Data 部署主控台中,選取接收者服務。
-
複查路徑詳細資料。此路徑是由上一個步驟中建立的「分送路徑」所建立。
-
作業 4:新增並執行 Replicat
-
在目標 Big Data 部署主控台中,選取 Replicats ,然後選取新增 Replicat (加號圖示)。
-
使用下列值新增 Replicat :
-
在「Replicat 資訊」頁面的 Replicat 類型下,選取傳統 Replicat ,輸入「處理作業名稱」,然後選取下一步。
-
在「複製選項」頁面上:
-
在名稱中,輸入「任務 2」的「追蹤」名稱。
-
在網域中,選取網域。
-
若為別名,請選取在任務 1 中建立的 Azure Synapse Analytics 連線。
-
針對檢查點表格,選取您為目標部署建立的檢查點表格。
-
-
在「Replicat 參數」頁面上,將
MAP *.*, TARGET *.*;取代為:MAP SRC_OCIGGLL.SRC_CUSTOMER, TARGET dbo.SRC_CUSTOMER; -
在「Replicat 特性」頁面上,設定 Azure Synapse Analytics 特性:
注意:編輯標示為
TODO的特性。-
gg.eventhandler.abs.bucketMappingTemplate是與 Azure Synapse Analytics Workspace 關聯的 Azure 儲存體容器 -
gg.eventhandler.synapse.credential是用來認證與 Azure Synapse Analytics Workspace 關聯之 Azure Storage Container 的證明資料名稱
-
-
-
選取建立並執行。
您會返回「總覽」頁面,您可以在此複查 Replicat 詳細資訊。
工作 5:驗證複製
對來源自治式 AI 交易處理執行處理執行一些更新,以驗證對 Azure 資料湖儲存的複寫。
-
在 Oracle Cloud 主控台中,開啟導覽功能表,選取 Oracle AI Database ,然後選取自治式 AI 異動處理。
-
在「自治式 AI 異動處理」執行處理清單中,選取您的來源執行處理以檢視其詳細資訊。
-
在資料庫詳細資訊頁面上,選取資料庫動作。
注意:您應該自動登入。如果不是,請使用資料庫證明資料登入。
-
在「資料庫動作 (Database Actions)」首頁上,選取 SQL 。
-
在工作表中輸入下列內容,然後選取執行命令檔。
-
在來源 GoldenGate OCI GoldenGate 部署主控台中,選取 Extract 名稱,然後選取統計資料。確認 SRC_OCIGGLL.SRC_CUSTOMER 有 7 個插入。
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1001,0,'Brendt','Paul','10 Jasper Blvd.',107,'(212) 555 2146',19,10); Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1002,0,'McCarthy','Robin','27 Pasadena Drive',11,'(214) 555 3075',29,11); Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1003,0,'Travis','Peter','7835 Hartford Drive',12,'(510) 555 4448',34,12); Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1004,0,'Larson','Joe','87 Carmel Blvd.',13,'(213) 555 5095',45,13); Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1005,0,'Goldschmidt','Tony','91 Torre drive',14,'(619) 555 6529',55,20); Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1006,0,'Baker','William','2890 Grant Avenue',15,'(312) 555 7040',64,21); Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1007,0,'Swenson','Jack','64 Imagination Drive',19,'(202) 555 8125',74,22) -
在目標 Big Data OCI GoldenGate 部署主控台中,選取 Replicat 名稱,然後選取統計資料。確認 SRC_OCIGGLL.SRC_CUSTOMER 有 7 個插入。
-
在 Azure 主控台中,瀏覽至「Azure Synapse Analytics」工作區主控台。從 dbo.SRC_CUSTOMER 執行 Select *,並確認 SRC_OCIGGLL.SRC_CUSTOMER 有 7 個插入。