將資料從 Autonomous Transaction Processing 複製到 Apache Kafka

瞭解如何設定 OCI GoldenGate ，將資料從 Autonomous Transaction Processing 複製到 Apache Kafka。

概觀

使用 OCI GoldenGate ，您可以將資料從 Autonomous Database 複製到大數據目標，例如 Apache Kafka。此快速啟動示範如何設定 OCI GoldenGate 部署、來源與目標連線，以及複製處理作業。

開始之前

若要順利完成此快速啟動，您必須具有下列項目：

• 在傳入規則中開啟連接埠為 9092 (或用於啟動安裝伺服器的其他連接埠) 的 VCN。
• 來源 Autonomous Transaction Processing 執行處理
• 目標 Apache Kafka 節點

環境設定：Autonomous Transaction Processing

如果您尚未設定要複製的來源資料庫，可以依照下列步驟載入要用於此快速啟動的範例綱要。此快速啟動使用 Autonomous Transaction Processing 作為來源資料庫。

若要設定來源 Autonomous Database：

1. 下載並解壓縮範例資料庫綱要。
2. 在 Oracle Cloud 主控台中，從「自治式資料庫」頁面選取您的 Autonomous Transaction Processing (ATP) 執行處理，以檢視其詳細資訊並存取「資料庫動作」。
3. 解除鎖定 GGADMIN 使用者：
   1. 按一下資料庫動作，然後按一下資料庫使用者。
   2. 尋找 GGADMIN，然後按一下其省略符號功能表 (三個點)，然後選取編輯。
   3. 在「編輯使用者」面板中，輸入 GGADMIN 密碼、確認密碼，然後取消選取帳戶已被鎖定。
   4. 按一下套用變更。
4. 載入來源範例綱要和資料：
   1. 從「資料庫動作」功能表的「開發」底下，選取 SQL 。
   2. 將命令檔從 OCIGGLL_OCIGGS_SETUP_USERS_ATP.sql 複製並貼到 SQL 工作表中。
   3. 按一下執行命令碼。「命令檔輸出 (Script Output)」頁籤會顯示確認訊息。
   4. 清除 SQL 工作表，然後從 OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql. 複製並貼上 SQL 命令檔

      秘訣：

      您可能需要個別執行每個敘述句，SQL 工具才能順利執行命令檔。
   5. 如果要確認表格已成功建立，請關閉 SQL 視窗並重新開啟該視窗。在「導覽器」頁籤中，尋找 SRC_OCIGGLL 綱要，然後從它們各自的下拉式清單中選取表格。
5. 啟用補充記錄日誌：
   1. 清除「SQL 工作表」。
   2. 輸入下列敘述句，然後按一下執行敘述句：

      ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;

工作 1：建立 OCI GoldenGate 資源

此快速啟動範例需要來源和目標的部署和連線。

1. 建立來源 Autonomous Transaction Processing 執行處理的 Oracle 部署。
2. 為目標 Apache Kafka 節點建立大數據部署。
3. 建立來源 Autonomous Transaction Processing 執行處理的連線。
4. 建立目標 Kafka 節點的連線。
5. 建立 GoldenGate 的連線，然後將此連線指定給來源 Oracle 部署。
6. 指定來源 Oracle 部署的 ATP 連線。
7. 將 Kafka 連線指定給目標大數據部署。

工作 2：新增 Extract

1. 在「部署」頁面上，選取來源 Autonomous Transaction Processing 部署。
2. 在部署詳細資訊頁面上，按一下啟動主控台。
3. 使用來源部署的管理員使用者名稱和密碼登入。
4. 新增異動資訊。
5. 新增 Extract 。

工作 3：新增並執行 Distribution Path

1. 如果使用 GoldenGate 證明資料存放區，請在目標大數據部署中建立分配路徑的使用者，否則請跳至步驟 3。
2. 在來源 ATP GoldenGate 部署主控台中，為步驟 1 中建立的使用者新增「路徑連線」。
   1. 在來源 ATP GoldenGate 部署主控台中，按一下左側導覽中的路徑連線。
   2. 按一下新增路徑連線 (加號圖示)，然後完成下列項目：
      1. 在證明資料別名中，輸入 GGSNetwork。
      2. 在使用者 ID 中，輸入在步驟 1 中建立的使用者名稱。
      3. 輸入使用者的密碼兩次以進行驗證。
   3. 按一下提交。

      路徑連線會顯示在「路徑連線」清單中。

3. 在來源可承諾量部署主控台中，使用下列值新增分配路徑：
   1. 在來源選項頁面上：
      • 對於來源擷取，請選取在任務 2 中建立的擷取。
      • 在歷程檔名稱中，輸入兩個字元的名稱，例如 E1。
   2. 在目標選項頁面上：
      • 若為目標主機，請輸入目標部署的主機網域。
      • 對於連接埠號碼，請輸入 443。
      • 在歷程檔名稱中，輸入兩個字元的名稱，例如 E1。
      • 在別名中，輸入在步驟 2 中建立的證明資料別名。
4. 在目標大數據部署主控台中，複查因 Distribution Path 而建立的 Receiver Path。
   1. 在目標「大數據」部署主控台中，按一下 Receiver Service 。
   2. 複查路徑詳細資訊。此路徑是由上一個步驟中建立的 Distribution Path 所建立。

工作 4：新增 Replicat

1. 在目標「大數據」部署主控台中，按一下 Administration Service ，然後按一下新增 Replicat (加上圖示)。
2. 新增包含下列值的 Replicat ：
   1. 在 Replicat 資訊頁面的 Replicat 類型下，選取傳統 Replicat ，輸入處理名稱，然後按一下下一步。
   2. 在「Replicat 選項」頁面上：
      • 在名稱中，輸入「任務 3」的「追蹤」名稱。
      • 在目標方面，選取 Kafka。
      • 若為別名，請選取在任務 1 中建立的 Kafka 連線。
   3. 在 Replicat 參數頁面上，保留預設值。
   4. 在「特性檔」頁面上，提供下列特性的主題名稱：

      gg.handler.kafkahandler.topicMappingTemplate=

      如果主題不存在， OCI GoldenGate 會為您建立一個主題。

3. 按一下建立並執行。

您會返回 Replicats 頁面，您可以在此複查 Replicat 詳細資訊。

工作 5：驗證複製

執行來源 Autonomous Transaction Processing 執行處理的部分更新，以驗證複製至 Apache Kafka。

1. 在 Oracle Cloud 主控台中，開啟導覽功能表，選取 Oracle Database ，然後選取 Autonomous Transaction Processing 。
2. 在 Autonomous Transaction Processing 例項清單中，選取您的來源例項以檢視其詳細資料。
3. 在資料庫詳細資訊頁面上，按一下資料庫動作。

   附註：

   您應自動登入。如果不是，請使用資料庫證明資料登入。
4. 在「資料庫 (Database)」動作首頁中，選取 SQL 。
5. 在工作表中輸入下列項目，然後按一下執行命令檔。

   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);

6. 在來源 ATP 部署主控台中，選取 Extract 名稱，然後按一下統計資料。確認 SRC_OCIGGLL.SRC_CITY 有 10 個插入項目。
7. 在目標「大數據」部署主控台中，選取 Replicat 名稱，然後按一下統計資料。確認 SRC_OCIGGLL.SRC_CITY 有 10 個插入項目。

作業 6：監視與維護處理

1. 監督效能。
2. 管理歷程檔。

---

標題與著作權資訊

Copyright ©2022,

Oracle 和 (或) 其關係企業。