从 Kafka 平台获取数据

使用 OCI GoldenGate 从 Kafka 平台流处理源提取消息。

概述

您可以使用 OCI GoldenGate 从以下流处理来源捕获消息：

  • Apache Kafka
  • OCI 流处理
  • 包含或不包含方案注册表的 Confluent Kafka
  • Azure 事件中心
  • Amazon MSK

OCI GoldenGate 读取 Kafka 主题中的消息，然后将数据转换为写入 GoldenGate 线索文件的逻辑更改记录。GoldenGate 然后，复制进程可以使用生成线索文件来传播数据以支持 RDBMS 实现。

任务 1：配置使用者属性

  1. 使用以下反序列化程序或转换器之一创建 Kafka 使用者属性文件。如果源是带有模式注册表的 Confluent Kafka 中的主题，则可以使用 Avro 转换器。对于其他源，请根据需要使用 JSON 转换器或反序列化器：
    • JSON 反序列化器的 Kafka 使用者属性： 
      key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
    • JSON 转换器的 Kafka 使用者属性：
      key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
    • Avro 转换器的 Kafka 使用者属性：
      key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter
  2. 保存属性文件并记下其位置。

任务 2：创建 OCI GoldenGate 资源

此任务将指导您如何创建新资源（如果这些资源尚不存在）。确保您使用的大数据部署已升级到可用的最新版本。

  1. 为大数据创建 OCI GoldenGate 部署。
  2. 创建连接。

    注意：

    创建以下任一连接时，请确保单击显示高级选项，然后上载使用者属性文件。
  3. 分配与大数据部署的连接。

任务 3：创建身份证明

创建 Extract 之前，必须先创建身份证明。
要创建身份证明，请执行以下操作：
  1. 在“Deployments（部署）”页面上选择“Big Data deployment（大数据部署）”。
  2. 在部署详细信息页上，单击启动控制台。
  3. 使用在任务 2 步骤 1 中创建部署时指定的用户名和密码登录到大数据部署。
  4. 从导航菜单中，选择数据库连接。
  5. 在“配置”页上，在“数据库”选项卡下，单击添加数据库连接（加号图标），然后按如下方式完成表单：
    1. 对于身份证明域，输入 OracleGoldenGate。
    2. 对于身份证明别名，输入 kafka。
    3. 对于用户 ID ，输入 kafka://
    4. 对于 Password 和 Verify Password ，输入一个密码。
    5. 单击提交。

任务 4：创建提取

  1. 在“管理服务概览”页上，单击添加 Extract （加号图标）。
  2. 使用以下值添加提取：
    1. 在 Extract“信息”页上，按如下方式填写字段，然后单击下一步：
      • 对于 Extract 类型，选择 Integrated Extract。
      • 对于进程名，输入提取的名称。
    2. 在 Extract“选项”页上，按如下方式填写字段，然后单击下一步：
      • 对于域，选择域。
      • 对于别名，选择分配给部署的连接。
      • 对于名称，输入 2 个字符的名称。
    3. 在“托管选项”页上，将字段保留原样，然后单击下一步。
    4. 在“参数文件”页上：
      • 将表映射保留为 TABLE TESTSCHEMA.*;，以侦听给定引导服务器中的所有主题。您还可以将表映射设置为 TABLE TESTSCHEMA.<topic-name>; 以从指定的主题捕获。
      • 将 SOURCEDB USERIDALIAS 更新为 SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate。
    5. 单击创建并运行。
您可以返回到 Administration Service“Overview（概览）”页面，在其中可以观察 Extract 进程启动和查看事件消息。