將資料從 HeatWave 複製到 Autonomous Data Warehouse

瞭解如何使用 OCI GoldenGate 將資料從 HeatWave 複製到 Autonomous Data Warehouse。

開始之前

若要順利完成此快速輸入,您必須具有下列項目:

  • OCI 堡壘主機,若要連線至 HeatWave ,請載入範例資料庫,然後執行插入
  • 作為來源資料庫的 HeatWave 資料庫
  • 作為目標資料庫的 Autonomous Data Warehouse 執行處理

環境設定:HeatWave

設定此「快速啟動」的環境:
  1. 下載範例資料指令碼,然後在 HeatWave 資料庫上執行指令碼以建立資料庫並載入資料。
  2. 使用下列命令檔建立 ggadmin 使用者。請記得以有效的密碼取代 <ggadmin-password>
    CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
    GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';
  3. 開啟 port 3306,透過此 OCI GoldenGate 可連線。
    1. 在 Oracle Cloud 主控台中,尋找 HeatWave 資料庫使用的子網路。
    2. 在子網路的安全清單中,建立 port TCP/3306 的傳入規則。
  4. 下載目標綱要命令檔,然後在 Autonomous Data Warehouse 執行處理中執行命令檔來建立綱要和表格。您可以使用「Autonomous Data Warehouse 資料庫動作 SQL」工具來執行命令檔:
    1. Oracle Cloud 主控台中,開啟 Autonomous Data Warehouse 資料庫詳細資訊頁面,然後按一下資料庫動作
    2. 在「資料庫動作」的開發底下,按一下 SQL
    3. 在 SQL 工具中,將命令檔從 OCIGGLL_OCIGGS_SETUP_USERS_ADW.sql 複製並貼到 SQL 工作表中,然後按一下執行命令檔。如果成功,「命令檔輸出 (Script Output)」頁籤就會顯示確認訊息。
    4. 清除 SQL 工作表,然後複製並貼上 OCIGGLL_OCIGGS_SRC_MIRROR_USER_SEED_DATA.sql 中的「建立表格」命令檔。資料會在稍後的作業中載入。

      秘訣:

      您可能需要個別執行每個「建立表格」敘述句,SQL 工具才能順利執行命令檔。
    5. 如果要確認表格已順利建立,請關閉 SQL 視窗並重新開啟。在「導覽器」頁籤中,尋找 SRC_OCIGGLL 綱要,然後從它們各自的下拉式清單中選取表格。

任務 2:建立擷取

  1. 在「部署」頁面上,選取在「任務 1」中建立的 MySQL 部署。
  2. 在部署詳細資訊頁面上,按一下啟動主控台
  3. 使用您在任務 1 中建立部署時指定的管理員憑證登入來源 MySQL 部署主控台。
  4. 在導覽功能表中,選取資料庫連線 (DB Connections)
  5. 複查 HeatWave 連線的證明資料。記下網域與別名。
  6. 使用下列值新增並執行 Change Data Capture Extract
    • Extract 類型中,選取 Change Data Capture
    • 程序名稱中,輸入 Extract 程序的名稱。
    • 網域中,選取網域。
    • 對於別名,請選取別名。
    • Extract 歷程檔名稱中,輸入歷程檔的名稱。
    • 在「參數檔 (Parameter File)」頁面上新增下列項目:
      TABLE SRC_OCIGGLL.*;
  7. 使用下列值新增和執行起始載入擷取
    • Extract 類型中,選取 Initial Load Extract
    • 針對程序名稱,輸入名稱。
    • 在「參數檔 (Parameter File)」頁面上新增下列項目:
      TABLE SRC_OCIGGLL.*;

工作 3:為 Initial Load Extract 建立 Distribution Path

  1. 在「部署」頁面上,選取目標 Autonomous Database 部署。
  2. 在部署詳細資訊頁面上,按一下啟動主控台,然後以管理員使用者身分登入。
  3. 如果使用 IAM 證明資料存放區,請繼續進行「建立 Distribution Path」步驟。如果使用 GoldenGate 證明資料存放區,請建立來源 GoldenGate 用來連線目標 GoldenGate 的使用者。
    1. 在導覽功能表中,按一下使用者管理
    2. 按一下新增使用者 (加號圖示),依下列方式完成欄位,然後按一下送出
      • 使用者名稱中,輸入 ggsnet
      • 對於角色,請選取運算子
      • 輸入兩次密碼來進行驗證。
  4. 來源 PostgreSQL 部署主控台中,為上一個步驟中建立的使用者建立「路徑連線」。
    1. 在瀏覽功能表中,按一下路徑連線
    2. 按一下新增路徑連線 (加號圖示),依下列方式完成欄位,然後按一下送出
      • 若為「證明資料別名」,請輸入 dpuser
      • 針對「使用者 ID」,輸入 ggsnet
      • 若為「密碼」,請輸入上一個步驟中使用的相同密碼。
  5. 建立 Distribution Path
    1. 在服務功能表列中,按一下 Distribution Service ,然後按一下新增 Distribution Path (加號圖示)。
    2. 依下述完成「新增路徑」表單:
      • 在「路徑資訊」頁面上:
        1. 針對路徑名稱,輸入此路徑的名稱。
        2. 按一下下一步
      • 在「來源選項」頁面上:
        1. 對於來源 Extract ,請保留空白。
        2. 歷程檔名稱中,輸入 Initial Load Extract 歷程檔名稱 (I1)。
        3. 按一下下一步
      • 在「目標選項 (Target Options)」頁面上:
        1. 目標中,選取 wss
        2. 目標主機中,輸入目標部署 URL,而不使用 https:// 或任何尾端斜線。
        3. 對於連接埠號碼,請輸入 443
        4. 歷程檔名稱中,輸入 I1
        5. 目標驗證方法中,選取 UserID 別名
        6. 網域中,輸入在上一個步驟中建立的網域名稱。
        7. 別名中,輸入在上一個步驟中建立的別名 (dpuser)。
        8. 按一下下一步
    3. 按一下建立並執行
    您可以返回 Distribution Service 頁面,複查建立的路徑。
  6. 檢閱 Distribution Path
    1. 按一下 Receiver Service
    2. 檢閱 Distribution Path 詳細資訊。

工作 4:為 Initial Load Extract 新增 Replicat

  1. 在目標 OCI GoldenGate 部署主控台中,新增檢查點表格。
    1. 開啟導覽功能表,然後按一下資料庫連線 (DB Connections)
    2. 按一下連線到資料庫 SourceATP
    3. 按一下導覽功能表中的檢查點
    4. 在「檢查點」頁面中,按一下新增檢查點 (加號圖示)。
    5. 檢查點表格中,輸入 SRCMIRROR_OCIGGLL.CHECKTABLE
    6. 按一下提交

      秘訣:

      送出時不會重新整理畫面。若要確認已新增檢查點表格,請在搜尋欄位中輸入 SRCMIRROR_OCIGGLL.CHECKTABLE,然後按一下搜尋
  2. 新增 Replicat
    1. 按一下 Administrator Service ,然後按一下新增 Replicat (加號圖示)。
    2. 在「新增 Replicat」頁面上,完成下列表單欄位,然後按下一步
      • 對於 Replicat 類型,請選取 Nonintegrated Replicat
      • 針對程序名稱,輸入名稱,例如 RIL
    3. 在「Replicat 選項」頁面上,完成下列表單欄位,然後按下一步
      • 名稱中,輸入工作 2 的歷程檔名稱 (I1)。
      • 若為網域,請選取 Autonomous Database 連線的網域。
      • 若為別名,請選取 Autonomous Database 連線的別名。
      • 對於檢查點表格,請選取您在步驟 1 中建立的檢查點表格。
    4. 在「受管理選項」頁面上,將欄位保留原樣,然後按一下下一步
    5. 在「Replicat 參數」頁面上,新增下列對應,然後按一下建立並執行
      MAP SRC_OCIGGLL.*, TARGET SRCMIRROR_OCIGGLL.*;
    您會返回「總覽」頁面,您可以在其中複查 Replicat 詳細資訊。
  3. 選取 Replicat ( RIL) 並檢視其詳細資訊
  4. 按一下統計資料並複查插入數目。重新整理頁面.
    • 如果插入數目未變更,則會載入來自 Initial Load 的所有記錄,您可以停止 Replicat ( RIL)
    • 如果「插入」數目持續增加,請持續重新整理頁面,直到「初始載入」記錄全部載入後再繼續。

任務 5:驗證初始載入

  1. Oracle Cloud 主控台中,從 Autonomous Data Warehouse 資料庫詳細資訊頁面開啟資料庫動作
  2. 在「資料庫動作」的開發底下,按一下 SQL
  3. 在 SQL 工具中,在工作表中輸入下列每個敘述句,然後按一下執行敘述句
    SELECT * FROM SRCMIRROR_OCIGGLL.SRC_CITY;
    SELECT * FROM SRCMIRROR_OCIGGLL.SRC_CUSTOMER;
輸出傳回因「起始載入」而載入目標資料庫表格的資料。

工作 6:為 Change Data Capture 建立 Distribution Path

  1. 在來源部署主控台中,按一下 Distribution Service
  2. 按一下新增 Distribution Path
  3. 依下述完成「新增路徑」表單:
    1. 在「路徑資訊」頁面上:
      1. 針對路徑名稱,輸入名稱。
      2. 按一下下一步
    2. 在「來源選項」頁面上:
      1. 來源 Extract 中,選取 Change Data Capture Extract (ECDC))。
      2. 歷程檔名稱中,選取 Change Data Capture 歷程檔 (C1)。
      3. 按一下下一步
    3. 在「目標選項 (Target Options)」頁面上:
      1. 目標中,選取 wss
      2. 目標主機中,輸入目標部署主控台 URL (您可以在部署詳細資料頁面上找到此 URL,而不使用 https:// 或任何尾端斜線。
      3. 對於連接埠號碼,請輸入 443
      4. 歷程檔名稱中,輸入 C1
      5. 目標驗證方法中,選取 UserID 別名
      6. 網域中,輸入網域名稱。
      7. 針對別名,輸入別名。
    4. 按一下建立路徑並執行
  4. 在目標部署主控台中,按一下 Receiver Service ,然後複查建立的 Receiver path

工作 7:為 Change Data Capture 新增 Replicat

  1. 使用下列值新增 Replicat
    1. Replicat 資訊頁面上:
      • Replicat 類型中,選取 Coordinated Replicat
      • 針對程序名稱,輸入名稱,例如 RCDC
    2. 在「Replicat 選項」頁面上:
      • Replicat 軌跡中,輸入「任務 2 的軌跡」名稱 (C1)。
      • 若為網域,請選取 Autonomous Database 連線的網域。
      • 針對別名,輸入「證明資料別名」。
      • 對於檢查點表格,請選取您建立的檢查點表格。
    3. 在「Replicat 參數」頁面上,新增下列對應,然後按一下建立並執行
      MAP SRC_OCIGGLL.*, TARGET SRCMIRROR_OCIGGLL.*;
  2. Administration Service 總覽頁面上,為 Initial Load ( RIL) 選取 Replicat,並檢視其詳細資訊
  3. 按一下統計資料並複查插入數目。重新整理頁面.
    • 如果插入數目未變更,則會載入「初始載入」的所有記錄,您可以停止 Replicat (RIL)
    • 如果「插入」數目持續增加,請持續重新整理頁面,直到「初始載入」記錄全部載入後再繼續。
  4. 返回「管理服務總覽」頁面,然後啟動 Coordinated Replicat (RCDC)。
  5. 啟動 Coordinated Replicat 之後,請複查其詳細資訊統計資料,以檢視「插入」數目。

工作 8:驗證 Change Data Capture

執行來源 HeatWave 資料庫更新,以驗證複製至 Autonomous Data Warehouse。
  1. 在 OCI 堡壘主機中,使用 MySQL IP 和連接埠 3306 建立 SSH 連接埠轉送階段作業。新增您的公用 SSH 金鑰。
  2. 使用您的私密金鑰和連接埠 3306 連線至 Cloud Shell 中的 MySQL。
  3. 順利連線之後,請執行下列命令:
    mysqlsh admin@localhost:3306 --sql
  4. 執行下列命令檔以執行 HeatWave 資料庫的插入:
    use SRC_OCIGGLL;
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
    commit;
  5. 在來源 MySQL 部署主控台中,選取 Change Data Capture Extract 名稱,然後按一下統計資料。確認 SRC_OCIGGLL.SRC_CITY 有 10 個插入項目。

    附註:

    如果 Extract 未擷取插入,請重新啟動 Extract

作業 9:監視與維護處理

  1. 監督效能
  2. 管理歷程檔