從 Kafka 平台擷取資料

使用 OCI GoldenGate 從 Kafka 平台串流來源擷取訊息。

概觀

您可以使用 OCI GoldenGate 從下列串流來源擷取訊息：

• Apache Kafka

• OCI 串流處理

• Confluent Kafka (含或不含 Confluent Schema 登錄)

• Azure Event Hubs

• Amazon MSK

• Microsoft Fabric Eventstream

OCI GoldenGate 會從 Kafka 主題或主題讀取訊息，然後將資料轉換成寫入 GoldenGate 歷程檔的邏輯變更記錄。GoldenGate Replicat 處理作業接著可以使用產生歷程檔來傳輸資料，以支援 RDBMS 實行。

工作 1：設定用戶特性

1. 建立具有下列其中一個還原序列化程式或轉換器的 Kafka 用戶特性檔。如果來源是 Confluent Kafka 中具有 Confluent Schema Registry 的主題，您可以使用 Avro 轉換器。對於其他來源，請視需要使用 JSON 轉換器或還原序列化程式：

   • JSON 還原序列器的 Kafka 用戶特性：

     key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
     value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer

   • JSON 轉換器的 Kafka 用戶特性：

     key.converter=org.apache.kafka.connect.json.JsonConverter
     value.converter=org.apache.kafka.connect.json.JsonConverter

   • Avro 轉換器的 Kafka 用戶特性：

     key.converter=io.confluent.connect.avro.AvroConverter
     value.converter=io.confluent.connect.avro.AvroConverter

2. 儲存屬性檔案並記下其位置。

作業 2：建立 OCI GoldenGate 資源

此作業會引導您瞭解如何建立新資源 (若尚不存在的話)。請確定您使用的大數據部署已升級至最新版本。

1. 建立大數據的 OCI GoldenGate 部署。

2. 建立連線。

   注意：建立下列任一連線時，請確定您已選取顯示進階選項，然後上傳「用戶」特性檔。

   • 若為 Apache Kafka 或 Amazon MSK，請建立 Kafka 連線。

   • 對於 Confluent Kafka，請建立 Confluent Kafka 連線。

   • 若為「影響結構登錄」，請建立影響結構登錄連線。

   • 若為 Azure Event Hubs，請建立 Azure Event Hubs 連線。

   • 對於 OCI Streaming，請建立 OCI Streaming 連線。

   • 針對 Microsoft Fabric Eventstream，建立 Microsoft Fabric Eventstream 連線

3. 指定大數據部署的連線。

工作 3：建立證明資料

您必須先建立證明資料，才能建立 Extract。

若要建立證明資料：

1. 在「部署」頁面上選取「大數據」部署。

2. 在部署詳細資料頁面上，選取啟動主控台。

3. 在「任務 2 步驟 1」中建立部署時，使用指定的使用者名稱和密碼登入大數據部署。

4. 從導覽功能表中，選取資料庫連線。

5. 在「組態」頁面的「資料庫」頁籤下，選取新增資料庫連線 (加號圖示)，然後依照下列方式完成表單：

   1. 在證明資料網域中，輸入 OracleGoldenGate。

   2. 在證明資料別名中，輸入 kafka。

   3. 對於使用者 ID ，請輸入 kafka://

   4. 在密碼和驗證密碼中，輸入密碼。

   5. 選取提交。

任務 4：建立擷取

1. 在「首頁」上，選取新增擷取 (加圖示)。

2. 使用下列值新增擷取：

   1. 在「擷取資訊」頁面上，依下列方式完成欄位，然後選取下一步：

      • 在擷取類型中，選取「整合式擷取」。

      • 在程序名稱中，輸入擷取的名稱。

   2. 在「擷取選項」頁面上，依下列方式完成欄位，然後選取下一步：

      • 在網域中，選取網域。

      • 若為別名，請選取指派給部署的連線。

      • 在名稱中，輸入 2 個字元的名稱。

   3. 在「受管理選項」頁面上，將欄位保留原狀，然後選取下一步。

   4. 在「參數檔 (Parameter File)」頁面上：

      • 將表格對應保留為 TABLE TESTSCHEMA.*;，即可監聽指定之啟動安裝伺服器中的所有主題。您也可以將表格對應設為 TABLE TESTSCHEMA.<topic-name>;，以便從指定的主題擷取。

      • 將 SOURCEDB USERIDALIAS 更新為 SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate。

   5. 選取建立並執行。

您可以返回「Oracle GoldenGate 首頁」，從中監測「擷取」處理作業的啟動和複查事件訊息。