從 Kafka 平台擷取資料

使用 OCI GoldenGate 從 Kafka 平台串流來源擷取訊息。

概觀

您可以使用 OCI GoldenGate 從下列串流來源擷取訊息：

  • Apache Kafka
  • OCI 串流處理
  • 含或不含綱要登錄的 Confluent Kafka
  • Azure Event Hubs
  • Amazon MSK

OCI GoldenGate 會從 Kafka 主題或主題讀取訊息，然後將資料轉換成寫入 GoldenGate Trail 檔案的邏輯變更記錄。GoldenGate Replicat 處理作業接著可以使用產生「歷程檔」來傳輸資料以支援 RDBMS 實行。

作業 1：設定用戶特性

  1. 使用下列其中一個還原序列器或轉換器建立 Kafka 用戶特性檔。如果來源是 Confluent Kafka with Schema Registry 中的主題，您可以使用 Avro 轉換器。對於其他來源，請視需要使用 JSON 轉換器或還原序列器：
    • JSON 還原序列器的 Kafka 用戶特性： 
      key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
    • JSON 轉換器的 Kafka 用戶特性：
      key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
    • Avro 轉換器的 Kafka 用戶特性：
      key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter
  2. 儲存特性檔並記下其位置。

工作 2：建立 OCI GoldenGate 資源

此工作會引導您如何建立新資源 (如果尚未存在)。請確定您使用的大數據部署已升級至最新的可用版本。

  1. 為大數據建立 OCI GoldenGate 部署。
  2. 建立。

    附註：

    建立下列任一連線時，請確定您按一下顯示進階選項，然後上傳「用戶」特性檔。
  3. 指定大數據部署連線。

作業 3：建立證明資料

建立 Extract 之前，您必須先建立證明資料。
若要建立證明資料，請執行下列動作：
  1. 在「部署」頁面上選取「大數據」部署。
  2. 在部署詳細資訊頁面上，按一下啟動主控台。
  3. 以您在「任務 2 步驟 1」中建立部署時指定的使用者名稱與密碼登入大數據部署。
  4. 從導覽功能表中選取資料庫連線。
  5. 在「組態」頁面的「資料庫」頁籤下，按一下新增資料庫連線 (加號圖示)，然後完成表單，如下所示：
    1. 如果是證明資料網域，請輸入 OracleGoldenGate。
    2. 在證明資料別名中，輸入 kafka。
    3. 在使用者 ID 中，輸入 kafka://
    4. 對於密碼與驗證密碼，輸入密碼。
    5. 按一下提交。

作業 4：建立摘錄

  1. 在「管理服務總覽」頁面上，按一下新增 Extract (加號圖示)。
  2. 使用下列值新增擷取：
    1. 在 Extract 資訊頁面上，依下列方式完成欄位，然後按一下下一步：
      • 在 Extract 類型中，選取 Integrated Extract。
      • 在程序名稱中，輸入擷取的名稱。
    2. 在「Extract 選項」頁面上，依下列方式完成欄位，然後按下一步：
      • 在網域中，選取網域。
      • 對於別名，請選取指派給部署的連線。
      • 針對名稱，輸入 2 個字元的名稱。
    3. 在「受管理選項」頁面上，將欄位保留原樣，然後按一下下一步。
    4. 在「參數檔 (Parameter File)」頁面上：
      • 將表格對應保留為 TABLE TESTSCHEMA.*;，即可監聽指定之啟動安裝伺服器中的所有主題。您也可以將表格對應設為 TABLE TESTSCHEMA.<topic-name>;，以便從指定的主題擷取。
      • 將 SOURCEDB USERIDALIAS 更新為 SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate。
    5. 按一下建立並執行。
您會返回 Administration Service 總覽頁面，您可以在其中監看 Extract 處理作業的開始和複查事件訊息。