將資料從自治式 AI 交易處理複寫至 Azure Synapse Analytics

此快速入門示範如何使用 OCI GoldenGate 設定從自治式 AI 交易處理至 Azure Synapse Analytics 的資料複寫。

開始之前

若要順利完成此快速啟動,您必須具備下列項目:

環境設定:自治式 AI 異動處理

如果您尚未設定複製的來源資料庫,您可以依照下列步驟來載入要用於此快速啟動的範例綱要。此快速入門針對來源資料庫使用自治式 AI 異動處理。

若要設定來源「自治式 AI 交易處理」,請執行下列動作:

  1. 下載並解壓縮範例資料庫綱要

  2. 在 Oracle Cloud 主控台中,從「自治式 AI 資料庫」頁面選取您的「自治式 AI 異動處理 (ATP)」執行處理,以檢視其詳細資訊並存取「資料庫動作」。

  3. 解除鎖定 GGADMIN 使用者:

    1. 選取資料庫動作,然後選取資料庫使用者

    2. 尋找 GGADMIN,然後選取其省略符號功能表 (三個點),然後選取編輯

    3. 在「編輯使用者」面板中,輸入 GGADMIN 密碼,確認密碼,然後取消選取帳戶已鎖定

    4. 選取套用變更

  4. 載入來源範例綱要和資料:

    1. 從「資料庫」動作功能表的「開發」底下,選取 SQL

    2. 將命令檔從 OCIGGLL_OCIGGS_SETUP_USERS_ATP.sql 複製並貼到 SQL 工作表中。

    3. 選取執行命令檔。「命令檔輸出」頁籤會顯示確認訊息。

    4. 清除 SQL 工作表,然後從 OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql. 複製並貼上 SQL 命令檔

      提示:您可能需要分別執行每個陳述式,SQL 工具才能順利執行命令檔。

    5. 若要驗證表格已順利建立,請關閉 SQL 視窗並重新開啟。在「導覽器」頁籤中,尋找 SRC_OCIGGLL 綱要,然後從表格的個別下拉式清單中選取表格。

  5. 啟用補充記錄日誌:

    1. 清除 SQL 工作表。

    2. 輸入下列陳述式,然後選取執行陳述式

      ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;

環境設定:Azure Synapse Analytics

  1. 開啟 Azure Synapse Analytics Workspace

  2. 選取新建,然後選取 SQL 命令檔

  3. 連線至您的 SQL 集區並選取您的資料庫。

  4. 輸入下列命令以建立主要金鑰加密:

    CREATE MASTER KEY ENCRYPTION BY PASSWORD='<password>';
  5. 使用下列命令來建立「資料庫範圍證明資料」:

    請確定將 <storage-account-name><storage-account-access-key> 預留位置取代為其實際值。

    CREATE DATABASE SCOPED CREDENTIAL <credential name>
    WITH
    IDENTITY='<storage-account-name>',
    SECRET='<storage-account-access-key>';
  6. 執行建立表格命令檔:

    CREATE TABLE [dbo].[SRC_CUSTOMER] (
       CUSTID         NUMERIC(10) NOTNULL,
       DEAR           NUMERIC(1),
       LAST_NAME      VARCHAR(50),
       FIRST_NAME     VARCHAR(50),
       ADDRESS        VARCHAR(100),
       CITY_ID        NUMERIC(10),
       PHONE          VARCHAR(50),
       AGE            NUMERIC(3),
       SALES_PERS_ID  NUMERIC(10),
       constraint PK_SRC_CUSTOMER primarykeyNONCLUSTERED (CUSTID) NOT ENFORCED
    )
    WITH(DISTRIBUTION=HASH ([CUSTID]), HEAP ) GO
  7. 確認已建立 dbo.SRC_Customer 表格。

作業 1:建立 OCI GoldenGate 資源

此快速啟動範例需要來源和目標的部署和連線。

  1. 為來源「自治式 AI 交易處理」執行處理建立 Oracle 部署

  2. 為目標 Azure Synapse Analytics 建立大數據部署

  3. 建立來源自治式 AI 交易處理的連線

  4. 建立 Azure Synapse Analytics 連線

  5. 建立 Azure 資料湖儲存連線

  6. 指定來源 Oracle 部署的自治式 AI 交易處理連線

  7. 指定 Azure Synapse Analytics 連線至目標大數據部署

任務 2:新增擷取

  1. 在「部署」頁面上,選取來源「自治式 AI 交易處理」部署。

  2. 在部署詳細資料頁面上,選取啟動主控台

  3. 以來源部署的管理員使用者名稱和密碼登入。

  4. 新增擷取

作業 3:新增並執行分配路徑

  1. 如果使用 GoldenGate 證明資料存放區,請在目標大數據部署中建立「分送路徑」的使用者,否則請跳至步驟 3。

  2. 來源 GoldenGate 部署主控台中,為在步驟 1 中建立的使用者新增「路徑連線」。

    1. 在來源 GoldenGate 部署主控台中,於左側導覽中選取路徑連線

    2. 選取新增路徑連線 (加號圖示),然後完成下列作業:

      1. 證明資料別名中,輸入 GGSNetwork

      2. 使用者 ID 中,輸入在步驟 1 中建立的使用者名稱。

      3. 輸入使用者的密碼兩次以進行驗證。

    3. 選取提交

      路徑連線會顯示在「路徑連線」清單中。

  3. 來源建置主控台中,使用下列值新增分送路徑

    1. 來源選項頁面上:

      • 對於來源擷取,請選取在任務 2 中建立的擷取。

      • 歷程檔名稱中,輸入兩個字元的名稱,例如 E1

    2. 目標選項頁面上:

      • 目標主機中,輸入目標部署的主機網域。

      • 連接埠號碼中,輸入 443

      • 歷程檔名稱中,輸入兩個字元的名稱,例如 E1

      • 別名中,輸入在步驟 2 中建立的「證明資料別名」。

  4. 目標大數據部署主控台中,複查因「分送路徑」而建立的「接收者路徑」。

    1. 在目標 Big Data 部署主控台中,選取接收者服務

    2. 複查路徑詳細資料。此路徑是由上一個步驟中建立的「分送路徑」所建立。

作業 4:新增並執行 Replicat

  1. 在目標 Big Data 部署主控台中,選取 Replicats ,然後選取新增 Replicat (加號圖示)。

  2. 使用下列值新增 Replicat

    1. 在「Replicat 資訊」頁面的 Replicat 類型下,選取傳統 Replicat ,輸入「處理作業名稱」,然後選取下一步

    2. 在「複製選項」頁面上:

      • 名稱中,輸入「任務 2」的「追蹤」名稱。

      • 網域中,選取網域。

      • 若為別名,請選取在任務 1 中建立的 Azure Synapse Analytics 連線。

      • 針對檢查點表格,選取您為目標部署建立的檢查點表格。

    3. 在「Replicat 參數」頁面上,將 MAP *.*, TARGET *.*; 取代為:

      MAP SRC_OCIGGLL.SRC_CUSTOMER, TARGET dbo.SRC_CUSTOMER;
    4. 在「Replicat 特性」頁面上,設定 Azure Synapse Analytics 特性:

      注意:編輯標示為 TODO 的特性。

      • gg.eventhandler.abs.bucketMappingTemplate 是與 Azure Synapse Analytics Workspace 關聯的 Azure 儲存體容器

      • gg.eventhandler.synapse.credential 是用來認證與 Azure Synapse Analytics Workspace 關聯之 Azure Storage Container 的證明資料名稱

  3. 選取建立並執行

您會返回「總覽」頁面,您可以在此複查 Replicat 詳細資訊。

工作 5:驗證複製

對來源自治式 AI 交易處理執行處理執行一些更新,以驗證對 Azure 資料湖儲存的複寫。

  1. 在 Oracle Cloud 主控台中,開啟導覽功能表,選取 Oracle AI Database ,然後選取自治式 AI 異動處理

  2. 在「自治式 AI 異動處理」執行處理清單中,選取您的來源執行處理以檢視其詳細資訊。

  3. 在資料庫詳細資訊頁面上,選取資料庫動作

    注意:您應該自動登入。如果不是,請使用資料庫證明資料登入。

  4. 在「資料庫動作 (Database Actions)」首頁上,選取 SQL

  5. 在工作表中輸入下列內容,然後選取執行命令檔

  6. 在來源 GoldenGate OCI GoldenGate 部署主控台中,選取 Extract 名稱,然後選取統計資料。確認 SRC_OCIGGLL.SRC_CUSTOMER 有 7 個插入。

    Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1001,0,'Brendt','Paul','10 Jasper Blvd.',107,'(212) 555 2146',19,10);
    Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1002,0,'McCarthy','Robin','27 Pasadena Drive',11,'(214) 555 3075',29,11);
    Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1003,0,'Travis','Peter','7835 Hartford Drive',12,'(510) 555 4448',34,12);
    Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1004,0,'Larson','Joe','87 Carmel Blvd.',13,'(213) 555 5095',45,13);
    Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1005,0,'Goldschmidt','Tony','91 Torre drive',14,'(619) 555 6529',55,20);
    Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1006,0,'Baker','William','2890 Grant Avenue',15,'(312) 555 7040',64,21);
    Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1007,0,'Swenson','Jack','64 Imagination Drive',19,'(202) 555 8125',74,22)
  7. 在目標 Big Data OCI GoldenGate 部署主控台中,選取 Replicat 名稱,然後選取統計資料。確認 SRC_OCIGGLL.SRC_CUSTOMER 有 7 個插入。

  8. 在 Azure 主控台中,瀏覽至「Azure Synapse Analytics」工作區主控台。從 dbo.SRC_CUSTOMER 執行 Select *,並確認 SRC_OCIGGLL.SRC_CUSTOMER 有 7 個插入。

工作 6:監督和維護處理作業

  1. 監督複製處理作業

  2. 管理歷程檔