连接到 Apache Kafka

了解如何创建与 Apache Kafka 的连接以用作 OCI GoldenGate 源或目标。

相关主题

开始之前

在创建连接之前，请确保：

  • 查看 OCI GoldenGate 如何连接到源和目标。

  • 配置所需的策略以启用安全 Vault 和密钥访问，例如使用密钥、使用 Vault 和读取密钥包。有关详细信息，请参阅建议的最低策略。

  • 如果使用 TLS/mTLS，请将 JKS 信任库或信任库和密钥库转换为 PKCS12 格式以用于连接。

    1. 使用 JDK 中的 keytool 实用程序可转换为 PKCS12 格式。

      对于密钥库，keytool 实用程序会提示您输入密码，如以下示例中所示： 
      keytool -importkeystore -srckeystore [MY_KEYSTORE.jks] -destkeystore [MY_KEYSTORE.p12] -srcstoretype JKS -deststoretype PKCS12 -deststorepass [PASSWORD_PKCS12]
      对于信任库，keytool 实用程序会提示输入密码，如以下示例中所示：
      keytool -importkeystore -srckeystore [MY_TRUSTSTORE.jks] -destkeystore [MY_TRUSTSTORE.p12] -srcstoretype JKS -deststoretype PKCS12 -deststorepass [PASSWORD_PKCS12]
    2. 转换密钥库和信任库后，将以下行添加到 Kafka 生成器属性文件，然后保存所做的更改：
      ssl.truststore.type=PKCS12
ssl.keystore.type=PKCS12
    3. 将文件上载到连接高级选项的设置部分中的生成器属性。

创建源连接

要创建源 Apache Kafka 连接，请执行以下操作：
  1. 在 OCI GoldenGate “概览”页中，单击连接。
    您还可以单击“入门”部分下的创建连接，然后跳至步骤 3。
  2. 在“连接”页上，单击创建连接。
  3. 在“Create Connection（创建连接）”页面上，按以下方式填写字段：
    1. 对于名称，输入连接名称。
    2. （可选）对于说明，输入可帮助您将此连接与其他连接区分开的说明。
    3. （仅限 GoldenGate on Multicloud ）选择您的订阅，然后填写以下字段。
      1. 从区间下拉列表中，选择资源锚点所在的区间。
      2. 选择多云合作伙伴区域。
      3. 选择您的合作伙伴可用性区域。可用选项根据所选的多云合作伙伴区域进行填充。
    4. 对于区间，选择要在其中创建连接的区间。
    5. 从类型下拉列表中，选择 Apache Kafka 。
    6. 在 Bootstrap 服务器下：
      1. 输入引导服务器的 Host（主机）和 Port（端口）编号。仅当无法从您的子网解析主机名或该主机名使用 SSL/TLS 时，才输入专用 IP。

        注意：

        如果输入专用 IP，则 OCI GoldenGate 将以 ip-10-0-0-0.ociggsvc.oracle.vcn.com 格式重写专用 IP。

        提示：

        集群中的所有节点都必须具有 FQDN，才能通过专用端点进行遍历。
      2. （可选）单击 + Bootstrap server 以添加其他引导服务器。
    7. 对于安全协议，选择以下选项之一，然后填写相应的字段：
      • 明文
      • 基于纯文本的 SASL
      • 基于 SSL 的 SASL
      • SSL
    8. 扩展显示高级选项。您可以配置以下选项：
      • 安全
        • 取消选择您不希望为此连接使用密码密钥的使用 Vault 密钥。如果未选择：
          • 选择使用 Oracle 托管的加密密钥可将所有加密密钥管理留给 Oracle。
          • 选择使用客户管理的加密密钥以选择存储在 OCI Vault 中的特定加密密钥来加密连接身份证明。
      • 网络连接
        • 共享端点，用于与分配的部署共享端点。您必须允许来自部署的入站 IP 的连接。
        • 专用端点，用于通过 VCN 中已分配子网中的专用端点进行网络流量。您必须允许来自此连接的入站 IP 的连接。

          注意：

          • 如果专用连接保持未分配状态七天，则服务会将它转换为共享连接。
          • 详细了解 Oracle GoldenGate 连接。
      • 设置
        • 如果将此连接用于提取，则拖放或选择使用者或生产者属性文件 (.properties)。
        • 要从 Kafka 捕获，请使用以下反序列化器或转换器之一创建 Kafka 使用者属性文件 (.properties)：
          • JSON 反序列化器的 Kafka 使用者属性：
            key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
          • JSON 转换器的 Kafka 使用者属性：
            key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
          • Avro 转换器的 Kafka 使用者属性：
            key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter
      • 安全属性：添加安全属性以使用 Zero Trust Packet Routing (ZPR) 控制对此连接的访问。
      • 标记：添加标记以组织资源。
  4. 单击创建。
创建连接后，它将显示在“Connections（连接）”列表中。确保将连接分配给部署以将其用作复制中的源或目标。

创建目标连接

要创建目标 Apache Kafka 连接，请执行以下操作：
  1. 在 OCI GoldenGate “概览”页中，单击连接。
    您还可以单击“入门”部分下的创建连接，然后跳至步骤 3。
  2. 在“连接”页上，单击创建连接。
  3. 在“Create Connection（创建连接）”页面上，按以下方式填写字段：
    1. 对于名称，输入连接名称。
    2. （可选）对于说明，输入可帮助您将此连接与其他连接区分开的说明。
    3. （仅限 GoldenGate on Multicloud ）选择您的订阅，然后填写以下字段。
      1. 从区间下拉列表中，选择资源锚点所在的区间。
      2. 选择多云合作伙伴区域。
      3. 选择您的合作伙伴可用性区域。可用选项根据所选的多云合作伙伴区域进行填充。
    4. 对于区间，选择要在其中创建连接的区间。
    5. 从类型下拉列表中，选择 Apache Kafka 。
    6. 在 Bootstrap 服务器下：
      1. 输入引导服务器的 Host（主机）和 Port（端口）编号。仅当无法从您的子网解析主机名或该主机名使用 SSL/TLS 时，才输入专用 IP。

        注意：

        如果输入专用 IP，则 OCI GoldenGate 将以 ip-10-0-0-0.ociggsvc.oracle.vcn.com 格式重写专用 IP。

        提示：

        集群中的所有节点都必须具有 FQDN，才能通过专用端点进行遍历。
      2. （可选）单击 + Bootstrap server 以添加其他引导服务器。
    7. 对于安全协议，选择以下选项之一，然后填写相应的字段：
      • 明文
      • 基于纯文本的 SASL
      • 基于 SSL 的 SASL
      • SSL
    8. 扩展显示高级选项。您可以配置以下选项：
      • 安全
        • 取消选择您不希望为此连接使用密码密钥的使用 Vault 密钥。如果未选择：
          • 选择使用 Oracle 托管的加密密钥可将所有加密密钥管理留给 Oracle。
          • 选择使用客户管理的加密密钥以选择存储在 OCI Vault 中的特定加密密钥来加密连接身份证明。
      • 网络连接
        • 共享端点，用于与分配的部署共享端点。您必须允许来自部署的入站 IP 的连接。
        • 专用端点，用于通过 VCN 中已分配子网中的专用端点进行网络流量。您必须允许来自此连接的入站 IP 的连接。

          注意：

          • 如果专用连接保持未分配状态七天，则服务会将它转换为共享连接。
          • 详细了解 Oracle GoldenGate 连接。
      • 设置要在 Kafka 复制中使用 Snappy 压缩，请拖放或选择生成器属性，并更改复制设置，如使用 Compression OCI GoldenGate (Confluent) Kafka 复制中所述。
      • 安全属性：添加安全属性以使用 Zero Trust Packet Routing (ZPR) 控制对此连接的访问。
      • 标记：添加标记以组织资源。
  4. 单击创建。
创建连接后，它将显示在“Connections（连接）”列表中。确保将连接分配给部署以将其用作复制中的源或目标。

排除 Kafka 连接错误

大多数连接问题都会导致 TimeoutException 错误。例如：

A failure occurred sending a message to Kafka to topic [ggstest] org.apache.kafka.common.errors.TimeoutException: Topic ggstest not  present in metadata after 60000/120000 ms.

如果在复制报告文件中遇到此消息，您可以：

  • 确保存在目标主题，或者检查是否在目标 Kafka 设置中启用了自动创建主题。
  • 确保没有防火墙规则阻止流量。
  • 如果您使用专用端点在 OCI 上运行 Kafka，请确保在 server.properties 和 Kafka 连接中使用内部 FQDN 作为引导服务器。
  • 如果您要连接到具有专用端点的融合云：
    • 确保在 OCI 和目标第三方云中正确配置了 DNS 区域和 DNS 记录。
    • 确保 OCI 与目标云之间的网络连接正常工作。
    • 测试您是否可以通过 OpenSSL (openssl s_client -connect <bootstrap>) 从在连接到第三方云的同一子网中运行的 OCI VM 连接到目标 Confluent Cloud。
    • 测试您是否可以在连接到第三方云的同一子网中发布或使用基于 OCI 运行的 Kafka 客户端的消息。如果失败，请检查 OCI 和第三方云上的网络设置。