將資料複寫至串流處理分析

瞭解如何將資料從 OCI GoldenGate 複製到串流分析。

GoldenGate Stream Analytics 採用 Apache Spark 和 Apache Kafka，進而發展為在程式實際執行架構時執行的複雜事件處理引擎。Stream Analytics 可以從任何來源 (例如資料庫、GoldenGate、Kafka、JMS、REST 或甚至檔案系統檔案) 擷取串流資料。擷取資料後，您可以對即時資料執行分析。

開始之前

若要順利完成此快速啟動，您需要：

  • 載入範例資料並啟用補充日誌記錄的來源 Autonomous Database。

    秘訣：

    如果您需要使用範例資料，可以下載 OCI GoldenGate 範例資料。
    • 首先，編輯 SETUP_USERS_ATP.sql 並修改 SRC_OCIGGLL 使用者的密碼以移除特殊字元。
    • 使用 Autonomous Database 的資料庫動作 SQL 工具執行兩個命令檔來建立使用者綱要和表格。
    • 使用 SQL 工具啟用補充日誌記錄。
    請遵循實驗室 1、作業 3：載入可承諾量綱要中的步驟以取得更多明細。
  • 解除鎖定來源 Autonomous Database 執行處理的 GGADMIN 使用者
    1. 在 Autonomous Database 詳細資訊頁面上，從資料庫動作功能表選取資料庫使用者。

      秘訣：

      如果出現提示，請使用在您建立要登入的執行處理時所提供的 Autonomous Database 管理員證明資料。
    2. 尋找 GGADMIN 使用者，然後從其省略符號 (三個點) 功能表中選取編輯。
    3. 在「編輯使用者」面板中，輸入密碼並確認該密碼，然後取消選取帳戶已鎖定。
    4. 按一下套用變更。

工作 1：建立 OCI GoldenGate 資源

  1. 建立用於資料複製的 OCI GoldenGate 部署。
  2. 為來源資料庫建立連線。
  3. 將連線指派給部署。
  4. 建立並執行擷取。

工作 2：建立串流分析資源

  1. 建立 Stream Analytics 部署。
  2. 使用 Kafka 執行處理的公用 IP 建立 Kafka 連線，然後選取純文字作為安全協定。
  3. 建立 GoldenGate 連線。
  4. 指定串流分析部署的連線。

作業 3：建立及執行管線

  1. 啟動串流分析部署主控台。
  2. 複查 Stream Analytics 部署主控台中的連線。
    1. 在 Stream Analytics 部署主控台中，按一下目錄。
    2. 在「目錄」頁面上，檢閱連線清單。您應該會看到 GoldenGate 連線、Autonomous Database 連線，以及 Kafka 連線。
  3. 啟動 GoldenGate 大數據叢集：
    1. 在 OCI GoldenGate Stream Analytics 部署主控台中，從 ossaadmin 使用者功能表中選取系統設定值。
    2. 在「系統設定」對話方塊中，按一下管理叢集，然後展開 GGDB 叢集。
    3. 按一下開始叢集。等待叢集狀態為執行中，然後關閉對話方塊視窗。
  4. 更新 GoldenGate 連線證明資料：

    雖然串流分析部署主控台中有 GoldenGate 連線，但 GoldenGate 證明資料並不會結轉。更新密碼並測試連線。

    1. 按一下目錄，然後按一下 GoldenGate 連線。
    2. 在編輯連線對話方塊中，按一下下一步。
    3. 在 GG 使用者名稱中，輸入 oggadmin。
    4. 對於 GG 密碼，按一下變更密碼，然後輸入在任務 1 中建立資料複製的 OCI GoldenGate 部署時所提供的密碼。
    5. 按一下測試連接。如果成功，請按一下儲存。
  5. 使用 GoldenGate Extract 建立並啟動 GoldenGate 變更資料。

    請確定您在 GG 變更資料明細頁面上，使用任務 1 中提供的擷取明細。

  6. 更新 Autonomous Database 使用者名稱。

    使用預設使用者 ggadmin 建立資料庫連線。將使用者名稱更新為 SRC_OCIGGLL (如果您使用提供的範例資料) 以存取其綱要和表格。

    1. 按一下目錄，然後按一下 Autonomous Database 連線。
    2. 在「編輯連線」對話方塊中，按一下下一步。
    3. 在使用者名稱中，輸入 SRC_OCIGGLL。
    4. 在密碼中，輸入您在開始此快速啟動時開始步驟之前所修改的 SRC_OCIGGLL 密碼。
    5. 按一下測試連接。如果成功，請按一下儲存。
  7. 使用 Autonomous Database 查詢表格來建立客戶和訂單的參考。
  8. 使用 Kafka 連線建立客戶和訂單的 Kafka 串流。
  9. 使用 Autonomous Database SQL 工具在來源資料庫上執行插入。
    例如，您可以執行下列插入：
    Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (11,'COM',101,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (12,'COM',102,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (13,'COM',103,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (14,'COM',104,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (15,'COM',105,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (16,'COM',106,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (17,'COM',107,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (18,'COM',201,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (19,'COM',202,to_date('16-AUG-2023','DD-MON-YYYY'),null);
  10. 建立管線，此管線使用步驟 8 中建立的 Kafka 串流。
  11. 新增查詢階段，然後新增篩選，僅傳回訂單串流中 CUST_ID 與客戶串流 CUSTID 相符的訂單。
  12. 新增目標階段。
  13. 發布管線。