將資料從 Autonomous Transaction Processing 複製到 Confluent Kafka

此快速啟動示範如何使用 OCI GoldenGate 將資料從 Autonomous Transaction Processing 複製到 Confluent Kafka。

開始之前

若要順利完成此快速啟動，您必須具有下列項目：

  • 來源 Autonomous Transaction Processing 執行處理。
  • Confluent Platform 執行處理。

環境設定：Autonomous Transaction Processing

如果您尚未設定要複製的來源資料庫，可以依照下列步驟載入要用於此快速啟動的範例綱要。此快速啟動使用 Autonomous Transaction Processing 作為來源資料庫。

若要設定來源 Autonomous Database：

  1. 下載並解壓縮範例資料庫綱要。
  2. 在 Oracle Cloud 主控台中，從「自治式資料庫」頁面選取您的 Autonomous Transaction Processing (ATP) 執行處理，以檢視其詳細資訊並存取「資料庫動作」。
  3. 解除鎖定 GGADMIN 使用者：
    1. 按一下資料庫動作，然後按一下資料庫使用者。
    2. 尋找 GGADMIN，然後按一下其省略符號功能表 (三個點)，然後選取編輯。
    3. 在「編輯使用者」面板中，輸入 GGADMIN 密碼、確認密碼，然後取消選取帳戶已被鎖定。
    4. 按一下套用變更。
  4. 載入來源範例綱要和資料：
    1. 從「資料庫動作」功能表的「開發」底下，選取 SQL 。
    2. 將命令檔從 OCIGGLL_OCIGGS_SETUP_USERS_ATP.sql 複製並貼到 SQL 工作表中。
    3. 按一下執行命令碼。「命令檔輸出 (Script Output)」頁籤會顯示確認訊息。
    4. 清除 SQL 工作表，然後從 OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql. 複製並貼上 SQL 命令檔

      秘訣：

      您可能需要個別執行每個敘述句，SQL 工具才能順利執行命令檔。
    5. 如果要確認表格已成功建立，請關閉 SQL 視窗並重新開啟該視窗。在「導覽器」頁籤中，尋找 SRC_OCIGGLL 綱要，然後從它們各自的下拉式清單中選取表格。
  5. 啟用補充記錄日誌：
    1. 清除「SQL 工作表」。
    2. 輸入下列敘述句，然後按一下執行敘述句：
      ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;

環境設定：Confluent Cloud

如果您還沒有目標 Confluent Cloud 叢集、主題和綱要，可以執行下列作業：
  1. 建立叢集。
  2. 建立叢集的 API 金鑰。請注意下一步的 API 金鑰與加密密碼。
  3. 啟用結構描述登錄，然後建立 Confluent Cloud 結構描述登錄的 API 金鑰。請注意下一步的 API 金鑰與加密密碼。
  4. 在叢集中建立主題。請注意後續步驟的主題名稱。

作業 1：建立 OCI GoldenGate 資源

此快速啟動範例需要來源和目標的部署和連線。
  1. 建立來源 Autonomous Transaction Processing 執行處理的 Oracle 部署。
  2. 為目標 Confluent Cloud 建立大數據部署。
  3. 建立來源 Autonomous Transaction Processing 連線。
  4. 建立 Confluent Kafka 連線。
  5. 建立 Confluent Schema Registry 。
  6. (選擇性) 如果大數據部署沒有公用端點，請建立 GoldenGate 連線，然後將此連線指定給來源 Oracle 部署。
  7. 將 Autonomous Transaction Processing 連線指定給來源 Oracle 部署。
  8. 將 Confluent Kafka 和 Confluent Schema Registry 連線指派給目標大數據部署。

任務 2：新增擷取

  1. 在「部署」頁面上，選取來源 Autonomous Transaction Processing 部署。
  2. 在部署詳細資訊頁面上，按一下啟動主控台。
  3. 使用來源部署的管理員使用者名稱和密碼登入。
  4. 新增異動資訊。
  5. 新增 Extract

工作 3：新增並執行 Distribution Path

  1. 如果使用 GoldenGate 證明資料存放區，請在目標大數據部署中建立分配路徑的使用者，否則請跳至步驟 3。
  2. 在來源 ATP GoldenGate 部署主控台中，為步驟 1 中建立的使用者新增「路徑連線」。
    1. 在來源 ATP GoldenGate 部署主控台中，按一下左側導覽中的路徑連線。
    2. 按一下新增路徑連線 (加號圖示)，然後完成下列項目：
      1. 在證明資料別名中，輸入 GGSNetwork。
      2. 在使用者 ID 中，輸入在步驟 1 中建立的使用者名稱。
      3. 輸入使用者的密碼兩次以進行驗證。
    3. 按一下提交。

      路徑連線會顯示在「路徑連線」清單中。

  3. 在來源可承諾量部署主控台中，使用下列值新增分配路徑：
    1. 在來源選項頁面上：
      • 對於來源擷取，請選取在任務 2 中建立的擷取。
      • 在歷程檔名稱中，輸入兩個字元的名稱，例如 E1。
    2. 在目標選項頁面上：
      • 若為目標主機，請輸入目標部署的主機網域。
      • 對於連接埠號碼，請輸入 443。
      • 在歷程檔名稱中，輸入兩個字元的名稱，例如 E1。
      • 在別名中，輸入在步驟 2 中建立的證明資料別名。
  4. 在目標大數據部署主控台中，複查因 Distribution Path 而建立的 Receiver Path。
    1. 在目標「大數據」部署主控台中，按一下 Receiver Service 。
    2. 複查路徑詳細資訊。此路徑是由上一個步驟中建立的 Distribution Path 所建立。

工作 4：新增並執行 Replicat

  1. 在目標「大數據」部署主控台中，按一下 Administrator Service ，然後按一下 Add Replicat (加號)。
  2. 新增包含下列值的 Replicat ：
    1. 在 Replicat 資訊頁面的 Replicat 類型下，選取 Coordinated Replicat ，輸入處理名稱，然後按一下下一步。
    2. 在「複寫選項」頁面中：
      • 在名稱中，輸入「任務 2」的「追蹤」名稱。
      • 在網域中，選取一個網域。
      • 在別名中，選取在任務 1 中建立的 Confluent Kafka 連線。
      • 對於檢查點表格，請選取您為目標部署建立的檢查點表格。
    3. 在「Replicat 參數」頁面上，將 MAP *.*, TARGET *.*; 取代為：
      MAP SRC_OCIGGLL.SRC_CUSTOMER, Table SRC.CUSTOMER;
  3. 按一下建立並執行。
您可以返回「總覽」頁面，您可以在此頁面複查 Replicat 詳細資訊。

工作 5：驗證複製

對來源 Autonomous Transaction Processing 執行處理執行一些更新，以驗證對 Confluent Kafka Cloud 的複寫。
  1. 在 Oracle Cloud 主控台中，開啟導覽功能表，選取 Oracle Database ，然後選取 Autonomous Transaction Processing 。
  2. 在 Autonomous Transaction Processing 例項清單中，選取您的來源例項以檢視其詳細資料。
  3. 在資料庫詳細資訊頁面上，按一下資料庫動作。

    附註：

    您應自動登入。如果不是，請使用資料庫證明資料登入。
  4. 在「資料庫 (Database)」動作首頁中，選取 SQL 。
  5. 在工作表中輸入下列項目，然後按一下執行命令檔。
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
  6. 在來源 ATP 部署主控台中，選取擷取名稱，然後按一下統計資料。確認 SRC_OCIGGLL.SRC_CITY 有 10 個插入項目。
  7. 在目標 Big Data OCI GoldenGate 部署主控台中，選取 Replicat 名稱，然後按一下統計資料。確認 SRC_OCIGGLL.SRC_CUSTOMER 有 7 個插入。

作業 6：(選擇性) 驗證 Confluent CLI 中的複製

  1. 在您的系統中安裝 Confluent CLI 。
  2. 執行：
    export PATH=$(pwd)/bin:$PATH
confluent login
  3. 列出環境並選取您的環境
    confluent environment list
confluent environment use <your_environment_ID>
  4. 列出叢集並選取叢集
    confluent kafka cluster list
confluent kafka cluster use <your_cluster_id>
  5. 在本機儲存 API 金鑰和加密密碼
    confluent api-key store <cluster_api_key> <cluster_api_secret>
confluent api-key use <cluster_api_key> --resource <cluster_id>
  6. 清單主題 
    confluent kafka topic list
  7. 檢視訊息
    confluent kafka topic consume --value-format avro --from-beginning <topic_name>