將資料從 OCI 上的 HeatWave 複寫至 Autonomous AI Lakehouse

瞭解如何使用 OCI GoldenGate 將資料從 OCI 上的 HeatWave 複製到自治式 AI 湖倉一體。

開始之前

若要順利完成此快速啟動,您必須具備下列項目:

環境設定:OCI 上的 HeatWave

設定此「快速啟動」的環境:

  1. 下載範例資料命令檔,然後在 OCI 資料庫的 HeatWave 上執行命令檔,以建立資料庫並載入資料。

  2. 使用下列指令碼建立 ggadmin 使用者。請記得將 <ggadmin-password> 取代為有效的密碼:

    CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
    GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';
  3. 開啟 port 3306,OCI GoldenGate 可透過此連線。

    1. 在 Oracle Cloud 主控台中,尋找 OCI 資料庫上 HeatWave 所使用的子網路。

    2. 在子網路的安全清單中,建立 port TCP/3306 的傳入規則。

  4. 下載目標綱要命令檔,然後在自治式 AI Lakehouse 執行處理中執行命令檔,以建立綱要和表格。您可以使用自治式 AI 湖倉一體資料庫動作 SQL 工具來執行命令檔:

    1. 在 Oracle Cloud 主控台中,開啟 Autonomous AI Lakehouse 資料庫詳細資訊頁面,然後選取資料庫動作

    2. 在「資料庫動作」的開發底下,選取 SQL

    3. 在 SQL 工具中,將命令檔從 OCIGGLL_OCIGGS_SETUP_USERS_ADW.sql 複製並貼到 SQL 工作表,然後選取執行命令檔。如果成功,「命令檔輸出」頁籤會顯示確認訊息。

    4. 清除 SQL 工作表,然後只從 OCIGGLL_OCIGGS_SRC_MIRROR_USER_SEED_DATA.sql 複製並貼上「建立表格」命令檔。資料將在稍後的工作中載入。

      提示:您可能需要分別執行每個「建立表格」陳述式,SQL 工具才能順利執行命令檔。

    5. 若要驗證表格已順利建立,請關閉 SQL 視窗並重新開啟。在「導覽器」頁籤中,尋找 SRC_OCIGGLL 綱要,然後從表格的個別下拉式清單中選取表格。

作業 1:建立 OCI GoldenGate 資源

此快速啟動範例需要來源和目標的部署和連線。

  1. 為 OCI 資料庫上的來源 HeatWave 建立部署

  2. 建立部署目標自治式 AI 湖倉一體。

  3. 在 OCI 資料庫上建立來源 HeatWave 連線

  4. 建立目標 Autonomous AI Lakehouse 連線

  5. 建立 GoldenGate 連線,然後將此連線指派給來源 MySQL 部署

  6. 指定來源 MySQL 部署的來源連線

  7. 將目標連線指派給目標 Oracle 部署

任務 2:建立擷取

  1. 在「部署 (Deployments)」頁面上,選取在「任務 1」中建立的 MySQL 部署。

  2. 在部署詳細資料頁面上,選取啟動主控台

  3. 使用在任務 1 中建立部署時所指定的管理員憑證登入來源 MySQL 部署主控台。

  4. 在導覽功能表中,選取資料庫連線

  5. 複查 OCI 連線上 HeatWave 的證明資料。記下網域和別名。

  6. 使用下列值新增並執行變更資料擷取擷取擷取

    • 擷取類型中,選取變更資料擷取

    • 處理名稱中,輸入「擷取」處理的名稱。

    • 網域中,選取網域。

    • 別名中,選取別名。

    • 擷取歷程檔名稱中,輸入歷程檔的名稱。

    • 在「參數檔 (Parameter File)」頁面上,新增下列項目:

      TABLE SRC_OCIGGLL.*;
  7. 使用下列值新增並執行初始載入擷取

    • 擷取類型中,選取初始載入擷取

    • 程序名稱中,輸入名稱。

    • 在「參數檔 (Parameter File)」頁面上,新增下列項目:

      TABLE SRC_OCIGGLL.*;

任務 3:建立初始載入擷取的分配路徑

  1. 在「部署」頁面上,選取目標「自治式 AI 資料庫」部署。

  2. 在部署詳細資料頁面上,選取啟動主控台,然後以管理員使用者身分登入。

  3. 如果使用 IAM 證明資料存放區,請繼續執行「建立分送路徑」步驟。如果使用 GoldenGate 證明資料存放區,請建立來源 GoldenGate 用來連線至目標 GoldenGate 的使用者。

    1. 在導覽功能表中,選取使用者管理

    2. 選取新增使用者 (加號圖示)、依下列方式完成欄位,然後選取提交

      • 使用者名稱中,輸入 ggsnet

      • 角色中,選取運算子

      • 輸入密碼兩次以進行驗證。

  4. 來源 MySQL 建置主控台中,為在上一個步驟中建立的使用者建立「路徑連線」。

    1. 在導覽功能表中,選取路徑連線

    2. 選取新增路徑連線 (加號圖示)、依下列方式完成欄位,然後選取送出

      • 在「證明資料別名」中輸入 dpuser

      • 對於使用者 ID,請輸入 ggsnet

      • 若為「密碼」,請輸入上一個步驟所使用的相同密碼。

  5. 建立分配路徑。

    1. 在服務功能表列中,選取分配服務,然後選取新增分配路徑 (加號)。

    2. 完成「新增路徑」表單,如下所示:

      • 在「路徑資訊 (Path Information)」頁面上:

        1. 路徑名稱中,輸入此路徑的名稱。

        2. 選取下一步

      • 在「來源選項 (Source Options)」頁面上:

        1. 對於來源擷取,請保留空白。

        2. 歷程檔名稱中,輸入「起始載入擷取」歷程檔名稱 (I1)。

        3. 選取下一步

      • 在「目標選項 (Target Options)」頁面上:

        1. 目標中,選取 wss

        2. 針對目標主機,輸入不含 https:// 或任何尾端斜線的目標部署 URL。

        3. 連接埠號碼中,輸入 443

        4. 歷程檔名稱中,輸入 I1

        5. 目標認證方法中,選取 UserID 別名

        6. 網域中,輸入在上一個步驟中建立的網域名稱。

        7. 別名中,輸入在上一個步驟中建立的別名 (dpuser)。

        8. 選取下一步

    3. 選取建立並執行

    您可返回「分送服務」頁面,複查建立的路徑。

  6. 複查分送路徑:

    1. 選取接收方服務

    2. 複查「分送路徑」詳細資訊。

任務 4:新增初始載入擷取的 Replicat

  1. 在目標 OCI GoldenGate 部署主控台中,新增檢查點表格。

    1. 開啟導覽功能表,然後選取資料庫連線

    2. 選取連線至資料庫

    3. 在導覽功能表中,選取檢查點

    4. 在「檢查點」頁面中,選取新增檢查點 (加號圖示)。

    5. 檢查點資料表中,輸入 SRCMIRROR_OCIGGLL.CHECKTABLE

    6. 選取提交

      提示:提交時不會重新整理畫面。若要確認已新增檢查點表格,請在搜尋欄位中輸入 SRCMIRROR_OCIGGLL.CHECKTABLE,然後選取搜尋

  2. 新增 Replicat:

    1. 選取管理員服務,然後選取新增 Replicat (加號圖示)。

    2. 在「新增 Replicat」頁面上,完成下列表單欄位,然後選取下一步

      • 對於 Replicat 類型,請選取非整合式 Replicat

      • 程序名稱中輸入名稱,例如 RIL

    3. 在「Replicat 選項」頁面上,完成下列表單欄位,然後選取下一步

      • 名稱中,輸入任務 2 (I1) 的歷程檔名稱。

      • 若為網域,請選取自治式 AI 資料庫連線的網域。

      • 若為別名,請選取自治式 AI 資料庫連線的別名。

      • 針對檢查點表格,選取您在步驟 1 中建立的檢查點表格。

    4. 在「受管理選項」頁面上,將欄位保留原狀,然後選取下一步

    5. 在「Replicat 參數」頁面上,新增下列對應,然後選取建立並執行

      MAP SRC_OCIGGLL.*, TARGET SRCMIRROR_OCIGGLL.*;

    您會返回「總覽」頁面,您可以在此複查 Replicat 詳細資訊。

  3. 選取 Replicat ( RIL) 並檢視其詳細資訊

  4. 選取統計資料,然後複查插入數目。重新整理頁面.

    • 如果「插入」數目未變更,則會載入「初始載入」中的所有記錄,您可以停止 Replicat ( RIL)。

    • 如果「插入」數目持續增加,請持續重新整理頁面,直到「初始載入」記錄全部載入後再繼續。

作業 5:驗證初始載入

  1. 在 Oracle Cloud 主控台中,從 Autonomous AI Lakehouse 資料庫詳細資訊頁面開啟資料庫動作

  2. 在「資料庫動作」的開發底下,選取 SQL

  3. 在 SQL 工具中,將下列每個陳述式輸入工作表,然後選取執行陳述式

    SELECT * FROM SRCMIRROR_OCIGGLL.SRC_CITY;
    SELECT * FROM SRCMIRROR_OCIGGLL.SRC_CUSTOMER;

輸出應傳回因為「起始載入」而載入至目標資料庫表格的資料。

作業 6:建立變更資料擷取的分配路徑

  1. 在來源部署主控台中,選取分配服務

  2. 選取新增分配路徑

  3. 完成「新增路徑」表單,如下所示:

    1. 在「路徑資訊 (Path Information)」頁面上:

      1. 路徑名稱中,輸入名稱。

      2. 選取下一步

    2. 在「來源選項 (Source Options)」頁面上:

      1. 對於來源擷取,請選取「變更資料擷取擷取擷取」(ECDC)。

      2. 針對歷程檔名稱,選取「變更資料擷取」歷程檔 (C1)。

      3. 選取下一步

    3. 在「目標選項 (Target Options)」頁面上:

      1. 目標中,選取 wss

      2. 目標主機中,輸入目標建置主控台 URL (您可以在建置詳細資訊頁面上找到此 URL,而不需要 https:// 或任何尾端斜線)。

      3. 連接埠號碼中,輸入 443

      4. 歷程檔名稱中,輸入 C1

      5. 目標認證方法中,選取 UserID 別名

      6. 針對網域,輸入網域的名稱。

      7. 針對別名,輸入別名。

    4. 選取建立路徑並執行

  4. 在目標建置主控台中,選取接收者服務,然後複查建立的接收者路徑。

作業 7:新增變更資料擷取的 Replicat

  1. 使用下列值新增 Replicat:

    1. 在 Replicat 資訊頁面上:

      • 對於複製類型,請選取協調式複製

      • 程序名稱中輸入名稱,例如 RCDC

    2. 在「Replicat 選項」頁面上:

      • 複製追蹤中,輸入任務 2 (C1) 的追蹤名稱。

      • 若為網域,請選取自治式 AI 資料庫連線的網域。

      • 別名中,輸入「證明資料別名」。

      • 針對檢查點表格,選取您建立的檢查點表格。

    3. 在「Replicat 參數」頁面上,新增下列對應,然後選取建立並執行

      MAP SRC_OCIGGLL.*, TARGET SRCMIRROR_OCIGGLL.*;
  2. 在「管理服務總覽」頁面上,選取初始載入的 Replicat ( RIL),並檢視其詳細資訊

  3. 選取統計資料,然後複查插入數目。重新整理頁面.

    • 如果「插入」數目未變更,則會載入「初始載入」中的所有記錄,您可以停止 Replicat (RIL)。

    • 如果「插入」數目持續增加,請持續重新整理頁面,直到「初始載入」記錄全部載入後再繼續。

  4. 返回「管理服務總覽」頁面,然後啟動「協調式 Replicat (RCDC)」。

  5. 啟動協調式 Replicat 之後,請複查其詳細資訊統計資料,以檢視插入次數。

作業 8:核對變更資料擷取

執行 OCI 資料庫上來源 HeatWave 的更新,以驗證對自治式 AI 湖倉一體進行的複寫。

  1. 在 OCI 堡壘主機中,使用 MySQL IP 和連接埠 3306 建立 SSH 連接埠轉送階段作業。新增您的公用 SSH 金鑰。

  2. 使用您的私密金鑰和連接埠 3306 連線至 Cloud Shell 中的 MySQL。

  3. 順利連線之後,請執行下列命令:

    mysqlsh admin@localhost:3306 --sql
  4. 執行下列命令檔以對 OCI 資料庫上的 HeatWave 執行插入:

    use SRC_OCIGGLL;
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
    commit;
  5. 在來源 MySQL 部署主控台中,選取「變更資料擷取」名稱,然後選取統計資料。確認 SRC_OCIGGLL.SRC_CITY 有 10 個插入項目。

注意:如果 Extract 未擷取任何插入,請重新啟動 Extract。

工作 9:監督和維護處理作業

  1. 監督複製處理作業

  2. 管理歷程檔