新增 Kafka 擷取

在大數據部署版本之間新增 Kafka 來源的 Extract 不同。依照大數據部署版本的指示進行。

若要檢查您的 OCI GoldenGate 版本，請在部署詳細資訊頁面檢視版本資訊。

您可以從下列串流來源擷取訊息：

  • Apache Kafka
  • OCI 串流處理
  • Confluent Kafka (含或不含綱要登錄)
  • Azure Event Hubs
  • Amazon MSK

OCI GoldenGate 會從 Kafka 主題或主題讀取訊息，然後將資料轉換成寫入 GoldenGate 歷程檔的邏輯變更記錄。GoldenGate Replicat 處理作業接著可以使用產生的歷程檔來傳輸資料，以支援關聯式資料庫管理系統 (RDBMS) 實行。

OCI GoldenGate 大數據部署支援相同部署中的多個來源技術，因此您可以在相同部署中設定來自不同支援來源技術的多個擷取。OCI GoldenGate 使用證明資料存放區項目來識別來源技術。例如，OCI GoldenGate 會使用證明資料的使用者 ID 來判斷是要啟動 Kafka ( kafka：// ) 還是 Mongo ( Mongo：//) Extract。

新增擷取 (23ai)

新增並執行 Extract 之前，請確定：
  • 複查此來源連線類型的特定詳細資訊。
  • 在大數據部署主控台中建立證明資料：
    1. 請從部署詳細資料頁面啟動大數據部署主控台，然後登入。
    2. 在「管理服務」的左側導覽功能表中，按一下 DB 連線。
    3. 在「資料庫連線 (DB Connections)」頁面上，按一下「新增證明資料 (加號)」圖示。
    4. 在提供的欄位中輸入下列詳細資訊，然後按一下送出：
      • 在證明資料網域中，輸入 OracleGoldenGate。
      • 在證明資料別名中，輸入 kafka。
      • 對於使用者 ID ：輸入 kafka://
      • 在密碼中，輸入密碼。
      • 若為驗證密碼，請再次輸入密碼。
若要在 Oracle GoldenGate 23ai 中新增 Extract，請執行下列動作：
  1. 在 OCI GoldenGate 部署主控台的「管理服務首頁」中，按一下新增擷取。
  2. 在「新增擷取」面板的擷取資訊頁面上，視需要完成下列欄位，然後按下一步：
    • 輸入長度不超過 8 個字元的程序名稱。
    • 輸入描述 (選擇性)，以協助您區分此處理與其他處理。
    • 從下拉式清單中選取來源。
  3. 在擷取選項頁面上，視需要完成下列欄位，然後按下一步：
    1. 若為擷取軌跡：
      1. 輸入 Extract 處理作業的名稱。
      2. 輸入子目錄名稱，為產生的歷程檔設定自訂位置。
      3. 輸入歷程檔順序以設定歷程檔的起始號碼。
      4. 輸入歷程檔大小，以設定所產生歷程檔的大小上限。
      5. 選取一個加密設定檔。如果未建立加密設定檔，預設會選取本機公事包設定檔。
      6. 選取加密演算法：
        • NONE
        • AES256
        • AES192
        • AES128
    2. 在「來源證明資料」中，選取：
      1. 網域
      2. 別名
      3. 時間 / 地點開始
  4. 在受管理選項頁面上，視需要完成下列選擇性欄位，然後按下一步：
    • 設定檔名稱
    • 對於部署狀況具有重大影響
    • 自動啟動
    • 自動重新啟動

    附註：

    新增設定檔並設定「自動啟動」和「自動重新啟動」選項，可讓您的部署在網路中斷後自動重新啟動。請參閱「設定受管理處理作業」以瞭解詳細資訊。

  5. 在「參數檔 (Parameter)」頁面上更新下列項目：
    1. 將 SOURCEDB USERIDALIAS 更新為 SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate
    2. 讓表格對應保持原狀 (TABLE source.*;)，以監聽指定之啟動安裝伺服器中的所有主題。若要從指定的主題擷取，請將對應變更為 TABLE source.<topic-name>;，其中 <topic-name> 是要擷取之主題的名稱。

      附註：

      Extract 對應格式為 Table SourceSchema.Table。在 Kafka 中，沒有來源綱要 / 表格。OCI GoldenGate 會將第一個部分 (上述步驟中的來源) 寫入為綱要名稱，而第二個部分則作為表格名稱寫入歷程檔。如此一來，您就可以將擷取的 Kafka 訊息複製到其他 GoldenGate 支援的目標。
  6. 按一下建立並執行以建立並開始擷取。如果您按一下建立，稍後就可以從「擷取」頁面手動啟動「擷取」。

新增擷取 (21 c)

在您建立 Extract 之前，請在大數據部署主控台中建立證明資料：

  1. 在「部署」頁面上，選取「大數據」部署以檢視其詳細資訊。
  2. 使用建立部署時指定的證明資料登入 Big Data 部署主控台。您會移至「管理伺服器總覽」頁面。
  3. 新增證明資料：
    1. 開啟導覽功能表，然後按一下組態。
    2. 在「證明資料 (Credentials)」頁面上，按一下新增證明資料 (Add Credential) (加圖示)。
    3. 在提供的欄位中輸入下列詳細資訊，然後按一下送出：
      • 在證明資料網域中，輸入 OracleGoldenGate。
      • 在證明資料別名中，輸入 kafka。
      • 對於使用者 ID ：輸入 kafka://
      • 在密碼中，輸入密碼。
      • 若為驗證密碼，請再次輸入密碼。
若要在 OCI GoldenGate 中新增適用於大數據部署版本 21.9 或更新版本的 Kafka Extract，請執行下列操作：
  1. 在導覽功能表中，按一下總覽以返回「管理服務總覽」頁面。
  2. 按一下新增擷取 (加號圖示)。
  3. 在「新增擷取」頁面上，選取下列項目，然後按下一步：
    • 來源： Kafka
    • 擷取類型：變更資料擷取擷取
  4. 在「擷取選項」頁面上，依下列方式完成欄位，然後按下一步：
    • 在「程序名稱」中，輸入最多 8 個字元的名稱。
    • (選擇性) 輸入描述。
    • 針對「連線別名」，選取先前指派的連線別名。
    • 針對「開始」，選取現在。
    • 在「歷程檔名稱」中輸入 2 個字元的名稱。
    • (選用) 如果來源是 Kafka Connect 架構，請啟用 Kafka Connect 。
    • (選擇性) 如果選取 Kafka Connect，請選取其中一個可用的轉換器：
      • JSON
      • AVRO
    • (選用) 如果選取 AVRO，請選取綱要登錄。
    • (可選) 在「受管理的選項」下，您可以設定下列項目：
      • 設定檔名稱
      • 自動啟動
      • 自動重新啟動

      附註：

      新增設定檔並設定「自動啟動」和「自動重新啟動」選項，可讓您的部署在網路中斷後自動重新啟動。請參閱設定受管理處理作業以瞭解詳細資訊。
  5. 在「參數檔 (Parameter)」頁面上更新下列項目：
    1. 將 SOURCEDB USERIDALIAS 更新為 SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate
    2. 讓表格對應保持原狀 (TABLE source.*;)，以監聽指定之啟動安裝伺服器中的所有主題。若要從指定的主題擷取，請將對應變更為 TABLE source.<topic-name>;，其中 <topic-name> 是要擷取之主題的名稱。

      附註：

      Extract 對應格式為 Table SourceSchema.Table。在 Kafka 中，沒有來源綱要 / 表格。OCI GoldenGate 會將第一個部分 (上述步驟中的來源) 寫入為綱要名稱，而第二個部分則作為表格名稱寫入歷程檔。如此一來，您就可以將擷取的 Kafka 訊息複製到其他 GoldenGate 支援的目標。
  6. 按一下「建立並執行」。
您可返回「管理服務概要」頁面，觀察「摘錄」狀態。然後，您可以選取「擷取」來檢視其詳細資料、統計資料及報表。