連線至 Confluent Kafka

瞭解如何建立與 Confluent Schema Registry 連線搭配使用的 Confluent Kafka 連線，以作為 OCI GoldenGate 大數據部署中的來源或目標。

相關主題

開始之前

建立連線之前，請確定您：

建立來源連線

建立來源 Confluent Kafka 連線：
  1. 從 OCI GoldenGate 總覽頁面，按一下連線。
    您也可以按一下「開始使用」區段底下的建立連線，然後跳至步驟 3。
  2. 在「連線」頁面上，按一下建立連線。
  3. 在「建立連線」頁面中，完成下列欄位：
    1. 對於名稱，請輸入連線的名稱。
    2. (選擇性) 在描述中，輸入可協助您區分此連線與其他連線的描述。
    3. 若為區間，請選取要在其中建立連線的區間。
    4. 從類型下拉式清單中，選取 Confluent Kafka 。
    5. 在「啟動安裝伺服器」底下：
      1. 輸入 Bootstrap 伺服器的主機和連接埠編號。若無法從您的子網路解析主機名稱，或其使用 SSL/TLS，請輸入專用 IP。

        附註：

        如果您輸入專用 IP，OCI GoldenGate 會以 ip-10-0-0-0.ociggsvc.oracle.vcn.com 格式重寫專用 IP。

        秘訣：

        叢集中的所有節點都必須要有 FQDN，才能夠透過專用端點進行周遊。
      2. (選擇性) 按一下 + 啟動安裝伺服器，即可新增其他啟動安裝伺服器。
    6. 對於安全協定，請從下列項目中選取：
      • 純文字
      • SASL over plaintext，然後提供使用者名稱和密碼。
      • SASL over SSL，然後視需要提供「使用者名稱」、「密碼」以及「信任存放區」和「金鑰存放區」值。
      • SSL，然後視需要提供「信任存放區」和「金鑰存放區」值。
    7. 展開顯示進階選項。您可以設定以下選項：
      • 安全
        • 取消選取此連線不使用密碼加密密碼的使用保存庫加密密碼。如果未選取：
          • 選取使用 Oracle 管理的加密金鑰即可將所有加密金鑰管理保留給 Oracle。
          • 選取使用客戶管理的加密金鑰，以選取儲存在 OCI 保存庫中的特定加密金鑰，以加密您的連線證明資料。
      • 網路連線
        • 共用端點：與指派的建置共用端點。您必須允許從部署的傳入 IP 連線。
        • 專用端點，適用於透過 VCN 中指定子網路內之專用端點的網路流量。您必須允許從此連線的傳入 IP 進行連線。

          附註：

          • 如果專用連線持續 7 天未指派，則服務會將其轉換為共用連線。
          • 深入瞭解 Oracle GoldenGate 連線。
      • 設定值若要從 Kafka 擷取，請建立包含下列其中一個還原序列化程式或轉換器的 Kafka 用戶特性檔：
        • JSON 還原序列器的 Kafka 用戶特性：
          key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
        • JSON 轉換器的 Kafka 用戶特性：
          key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
        • Avro 轉換器的 Kafka 用戶特性：
          key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter
      • 標記：新增標記即可組織您的資源。
  4. 按一下建立。
連線就會顯示在「連線」清單中，您可以在此選取連線來檢視其詳細資訊。確定您同時建立與 Confluent Schema Registry 的連線，然後將這兩個連線指派給 Big Data 部署。

建立目標連線

建立目標 Confluent Kafka 連線：
  1. 從 OCI GoldenGate 總覽頁面，按一下連線。
    您也可以按一下「開始使用」區段底下的建立連線，然後跳至步驟 3。
  2. 在「連線」頁面上，按一下建立連線。
  3. 在「建立連線」頁面中，完成下列欄位：
    1. 對於名稱，請輸入連線的名稱。
    2. (選擇性) 在描述中，輸入可協助您區分此連線與其他連線的描述。
    3. 若為區間，請選取要在其中建立連線的區間。
    4. 從類型下拉式清單中，選取 Confluent Kafka 。
    5. 在「啟動安裝伺服器」底下：
      1. 選取流量路由方法：
      2. 輸入 Bootstrap 伺服器的主機和連接埠編號。若無法從您的子網路解析主機名稱，或其使用 SSL/TLS，請輸入專用 IP。

        附註：

        如果您輸入專用 IP，OCI GoldenGate 會以 ip-10-0-0-0.ociggsvc.oracle.vcn.com 格式重寫專用 IP。

        秘訣：

        叢集中的所有節點都必須要有 FQDN，才能夠透過專用端點進行周遊。
      3. (選擇性) 按一下 + 啟動安裝伺服器，即可新增其他啟動安裝伺服器。
    6. 對於安全協定，請從下列項目中選取：
      • 純文字
      • SASL over plaintext，然後提供使用者名稱和密碼。
      • SASL over SSL，然後視需要提供「使用者名稱」、「密碼」以及「信任存放區」和「金鑰存放區」值。
      • SSL，然後視需要提供「信任存放區」和「金鑰存放區」值。
    7. 展開顯示進階選項。您可以設定以下選項：
      • 安全
        • 取消選取此連線不使用密碼加密密碼的使用保存庫加密密碼。如果未選取：
          • 選取使用 Oracle 管理的加密金鑰即可將所有加密金鑰管理保留給 Oracle。
          • 選取使用客戶管理的加密金鑰，以選取儲存在 OCI 保存庫中的特定加密金鑰，以加密您的連線證明資料。
      • 網路連線
        • 共用端點：與指派的建置共用端點。您必須允許從部署的傳入 IP 連線。
        • 專用端點，適用於透過 VCN 中指定子網路內之專用端點的網路流量。您必須允許從此連線的傳入 IP 進行連線。

          附註：

          • 如果專用連線持續 7 天未指派，則服務會將其轉換為共用連線。
          • 深入瞭解 Oracle GoldenGate 連線。
      • 設定值若要在 Kafka 複製中使用 Snappy 壓縮，請拖放或選取產生器特性，然後變更複製設定值，如使用壓縮 OCI GoldenGate (影響) Kafka 複製中所述。
      • 標記：新增標記即可組織您的資源。
  4. 按一下建立。
連線就會顯示在「連線」清單中，您可以在此選取連線來檢視其詳細資訊。確定您同時建立與 Confluent Schema Registry 的連線，然後將這兩個連線指派給 Big Data 部署。

使用私人連結建立 Confluent Cloud 連線

專用連結可讓您透過虛擬網路中的專用端點，存取在第三方雲端上執行的 Confluent Cloud 叢集。

建立連線之前，請確定您具有下列項目：

  • 建立 Oracle Cloud Infrastructure (OCI) 與目標第三方雲端之間的專用網路連線。
  • 在 Confluent Cloud 新增專用連結的網路組態時，請確定選取「專用 DNS 解析」。
  • 在您設定 Confluent Cloud 和 OCI 的第三方雲端中設定 DNS 區域，然後在其中設定 DNS 記錄。在 OCI 中，您可以在 VCN 的專用檢視內建立區域。您可以在區域內新增必要的 DNS 記錄。

您可以使用上面的指示來建立連線，但請取代步驟 5 和步驟 6，執行下列作業：

  • 步驟 3e：
    • 提供啟動安裝伺服器主機和連接埠詳細資訊。
    • 您可以新增多個啟動安裝伺服器。
  • 對於 3f：
    • 對於「安全性」協定，請選取 SASL over Plaintext 。
    • 請輸入使用者名稱及密碼 。

Kafka 連線錯誤疑難排解

大多數的連線問題都會導致 TimeoutException 錯誤。舉例而言：

A failure occurred sending a message to Kafka to topic [ggstest] org.apache.kafka.common.errors.TimeoutException: Topic ggstest not  present in metadata after 60000/120000 ms.

如果在 Replicat 報表檔案中出現此訊息，您可以：

  • 確定目標主題存在，或檢查是否已在目標 Kafka 設定值內啟用自動主題建立。
  • 確保沒有任何防火牆規則封鎖流量。
  • 如果您使用專用端點在 OCI 上執行 Kafka，請確定使用內部 FQDN 作為 server.properties 和 Kafka 連線中的啟動安裝伺服器。
  • 如果您使用專用端點連線至 Confluent Cloud：
    • 確定在 OCI 和目標第三方雲端中正確設定 DNS 區域和 DNS 記錄。
    • 確保 OCI 與目標雲端之間的網路連線正常運作。
    • 測試是否可以從在連線至第三方雲端的相同子網路中執行的 OCI VM，使用 OpenSSL (openssl s_client -connect <bootstrap>) 連線至目標 Confluent Cloud。
    • 測試是否可以在連線至第三方雲端的相同子網路內，發布或使用在 OCI 上執行之 Kafka 從屬端的訊息。如果失敗，請檢查 OCI 和第三方雲端上的網路設定值。