为 Kafka 添加提取

为 Kafka 源添加提取在大数据部署版本之间有所不同。根据您的大数据部署版本，按照说明操作。

要查看 OCI GoldenGate 版本，请在部署详细信息页面上查看版本信息。

您可以从以下流处理源捕获消息：

  • Apache Kafka
  • OCI 流处理
  • Confluent Kafka，带或不带模式注册表
  • Azure 事件中心
  • Amazon MSK

OCI GoldenGate 从 Kafka 主题或主题读取消息，然后将数据转换为写入 GoldenGate Trail 文件的逻辑更改记录。GoldenGate 然后，复制进程可以使用生成的线索文件来传播数据以支持关系数据库管理系统 (RDBMS) 实施。

OCI GoldenGate 大数据部署支持同一部署中的多种源技术，因此您可以在同一部署中配置来自不同受支持源技术的多个提取。OCI GoldenGate 使用身份证明存储条目来标识源技术。例如，OCI GoldenGate 使用凭证的用户 ID 来确定是启动 Kafka ( kafka：//) 还是启动 Mongo ( Mongo：//) 提取。

添加提取 (23ai)

在添加和运行提取之前，请确保：
  • 复查特定于此源连接类型的详细信息。
  • 在大数据部署控制台中创建身份证明：
    1. 从部署详细信息页面启动大数据部署控制台，然后登录。
    2. 在管理服务的左侧导航菜单中，单击 DB Connections（DB 连接）。
    3. 在“DB Connections（数据库连接）”页面上，单击“Add Credential（添加身份证明）”（加号图标）。
    4. 在提供的字段中输入以下详细信息，然后单击提交：
      • 对于 Credential Domain ，输入 OracleGoldenGate。
      • 对于身份证明别名，输入 kafka。
      • 对于用户 ID ：输入 kafka://
      • 对于 Password（密码），输入密码。
      • 对于 Verify Password ，再次输入密码。
要在 Oracle GoldenGate 23ai 中添加提取：
  1. 在 OCI GoldenGate 部署控制台的“管理服务”主页上，单击添加提取。
  2. 在“添加提取”面板的提取信息页上，根据需要填写以下字段，然后单击下一步：
    • 输入进程名称，长度不超过 8 个字符。
    • 输入说明（可选）以帮助您区分此流程与其他流程。
    • 从下拉列表中选择源。
  3. 在提取选项页上，根据需要填写以下字段，然后单击下一步：
    1. 对于提取线索：
      1. 输入“提取”流程的名称。
      2. 输入子目录名称以设置生成的线索文件的定制位置。
      3. 输入线索序号以设置线索文件的起始编号。
      4. 输入线索大小以设置生成的线索文件的最大大小。
      5. 选择 Encryption Profile（加密配置文件）。如果未创建加密配置文件，则默认情况下会选择本地 Wallet 配置文件。
      6. 选择加密算法：
        • NONE
        • AES256
        • AES192
        • AES128
    2. 对于源身份证明，请选择：
      1. 域
      2. 别名
      3. 何时/何地开始
  4. 在托管选项页上，根据需要填写以下可选字段，然后单击下一步：
    • 概要文件名
    • 对于部署的健康状况至关重要
    • 自动启动
    • 自动重新启动

    注意：

    通过添加配置文件和配置 "Auto Start" 和 "Auto Restart" 选项，您的部署可以在网络中断后自动重新启动。请参阅“配置托管流程”以了解详细信息。

  5. 在“参数文件”页上，更新以下内容：
    1. 将 SOURCEDB USERIDALIAS 更新为 SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate
    2. 将表映射保留原样 (TABLE source.*;)，以侦听给定引导服务器中的所有主题。要从指定的主题捕获，请将映射更改为 TABLE source.<topic-name>;，其中 <topic-name> 是要从中捕获的主题的名称。

      注意：

      提取映射格式为 Table SourceSchema.Table。在 Kafka 中，没有源方案/表。OCI GoldenGate 将第一部分（“上一步中的源”）写入方案名称，第二部分将表名称写入线索文件。通过这种方式，可以将捕获的 kafka 消息复制到其他 GoldenGate 支持的目标。
  6. 单击创建并运行以创建并启动提取。如果单击创建，则稍后可以从“提取”页面手动启动提取。

添加提取 (21 c )

在创建提取之前，请在大数据部署控制台中创建身份证明：

  1. 在“Deployments（部署）”页面上，选择“Big Data（大数据）”部署以查看其详细信息。
  2. 使用在创建部署时指定的身份证明登录到大数据部署控制台。您将转到 "Administration Server Overview" 页面。
  3. 添加身份证明：
    1. 打开导航菜单，然后单击配置。
    2. 在“身份证明”页上，单击添加身份证明（加号图标）。
    3. 在提供的字段中输入以下详细信息，然后单击提交：
      • 对于 Credential Domain ，输入 OracleGoldenGate。
      • 对于身份证明别名，输入 kafka。
      • 对于用户 ID ：输入 kafka://
      • 对于 Password（密码），输入密码。
      • 对于 Verify Password ，再次输入密码。
要在 OCI GoldenGate 中为大数据部署版本 21.9 或更高版本添加 Extract for Kafka：
  1. 在导航菜单中，单击概览以返回到“管理服务概览”页。
  2. 单击添加提取（加号图标）。
  3. 在“添加提取”页上，选择以下内容，然后单击下一步：
    • 来源： Kafka
    • 提取类型：更改数据捕获提取
  4. 在“提取选项”页上，按如下方式填写字段，然后单击下一步：
    • 在“Process Name（流程名称）”中，输入名称，最多 8 个字符。
    • （可选）输入说明。
    • 对于“Connection Alias（连接别名）”，选择以前分配的连接别名。
    • 对于“开始”，选择现在。
    • 在“线索名称”中，输入 2 个字符的名称。
    • （可选） Enable Kafka Connect （如果源是 Kafka Connect 框架）。
    • （可选）如果选择了 Kafka Connect，请选择一个可用的转换器：
      • JSON
      • AVRO
    • （可选）如果选择了 AVRO，请选择方案注册表。
    • （可选）在“Managed Options（托管选项）”下，可以配置以下各项：
      • 概要文件名
      • 自动启动
      • 自动重新启动

      注意：

      通过添加配置文件和配置 "Auto Start" 和 "Auto Restart" 选项，您的部署可以在网络中断后自动重新启动。有关详细信息，请参阅配置托管进程。
  5. 在“参数文件”页上，更新以下内容：
    1. 将 SOURCEDB USERIDALIAS 更新为 SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate
    2. 将表映射保留原样 (TABLE source.*;)，以侦听给定引导服务器中的所有主题。要从指定的主题捕获，请将映射更改为 TABLE source.<topic-name>;，其中 <topic-name> 是要从中捕获的主题的名称。

      注意：

      提取映射格式为 Table SourceSchema.Table。在 Kafka 中，没有源方案/表。OCI GoldenGate 将第一部分（“上一步中的源”）写入方案名称，第二部分将表名称写入线索文件。通过这种方式，可以将捕获的 kafka 消息复制到其他 GoldenGate 支持的目标。
  6. 单击创建并运行。
返回到“管理服务概览”页，可在其中查看“提取”状态。然后，可以选择“提取”以查看其详细信息、统计数据和报告。