为 Kafka 源添加提取

为 Kafka 源添加提取在大数据部署版本之间有所不同。按照 OCI GoldenGate Big Data 部署版本的说明进行操作。

要查看 OCI GoldenGate 版本，请在部署详细信息页面上查看版本信息。

您可以从以下流处理源捕获消息：

• Apache Kafka

• OCI 流处理

• OCI Streaming with Apache Kafka

• Confluent Kafka，带或不带 Confluent Schema Registry

• Azure 事件中心

• Amazon MSK

• Microsoft Fabric 事件流

OCI GoldenGate 从 Kafka 主题或主题读取消息，然后将数据转换为写入 GoldenGate Trail 文件的逻辑更改记录。然后，GoldenGate Replicat 进程可以使用生成的 Trail 文件来传播数据以支持关系数据库管理系统 (RDBMS) 实施。

OCI GoldenGate 大数据部署支持同一部署中的多种源技术，因此您可以在同一部署中配置来自不同受支持源技术的多个提取。OCI GoldenGate 使用身份证明存储条目来识别源技术。例如，OCI GoldenGate 使用凭证的用户 ID 来确定是启动 Kafka ( kafka：//) 还是 Mongo ( Mongo：//) 提取。

添加提取 (26ai)

在添加和运行提取之前，请确保：

• 复查特定于此源连接类型的详细信息。

• 在大数据部署控制台中创建身份证明：

  1. 从部署详细信息页面启动大数据部署控制台，然后登录。

  2. 在管理服务的左侧导航菜单中，选择 DB Connections（DB 连接）。

  3. 在“DB Connections（数据库连接）”页面上，选择“Add Credential（添加身份证明）”（加号图标）。

  4. 在提供的字段中输入以下详细信息，然后选择提交：

     • 对于 Credential Domain ，输入 OracleGoldenGate。

     • 对于身份证明别名，输入 kafka。

     • 对于用户 ID ：输入 kafka://

     • 对于 Password（密码），输入密码。

     • 对于 Verify Password ，再次输入密码。

要在 Oracle GoldenGate 26ai 中添加提取：

1. 在 OCI GoldenGate 部署控制台导航菜单中，选择提取。

2. 在“提取”页上，选择添加提取。

3. 在“添加提取”面板的提取信息页上，根据需要填写以下字段，然后选择下一步：

   • 输入进程名称，长度不超过 8 个字符。

   • 输入说明（可选）以帮助您区分此流程与其他流程。

   • 从下拉列表中选择源。

4. 在提取选项页上，根据需要填写以下字段，然后选择下一步：

   1. 对于提取线索：

      1. 输入“提取”流程的名称。

      2. 输入子目录名称以设置生成的线索文件的定制位置。

      3. 输入线索序号以设置线索文件的起始编号。

      4. 输入线索大小以设置生成的线索文件的最大大小。

      5. 选择 Encryption Profile（加密配置文件）。如果未创建加密配置文件，则默认情况下会选择本地 Wallet 配置文件。

      6. 选择加密算法：

         • NONE（无）

         • AES256

         • AES192

         • AES128

   2. 对于源身份证明，选择：

      1. 域

      2. 别名

      3. 何时/何地开始

5. 在托管选项页面上，根据需要填写以下可选字段，然后选择下一步：

   • 概要文件名

   • 对于部署的健康状况至关重要

   • 自动启动

   • 自动重新启动

     注：通过添加配置文件和配置“自动启动”和“自动重新启动”选项，您的部署可以在网络中断后自动重新启动。要了解详细信息，请参阅配置托管流程。

6. 在“参数文件”页上，更新以下内容：

   1. 将 SOURCEDB USERIDALIAS 更新为 SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate

   2. 将表映射保留原样 (TABLE source.*;)，以侦听给定引导服务器中的所有主题。要从指定的主题捕获，请将映射更改为 TABLE source.<topic-name>;，其中 <topic-name> 是要从中捕获的主题的名称。

      注：提取映射格式为 Table SourceSchema.Table。在 Kafka 中，没有源方案/表。OCI GoldenGate 将第一部分（“上一步中的源”）写入方案名称，第二部分写入表名称以跟踪文件。通过这种方式，可以将捕获的 kafka 消息复制到其他 GoldenGate 支持的目标。

7. 选择创建并运行以创建并启动提取。如果选择创建，则稍后可以从“提取”页面手动启动提取。

添加提取 (21c)

在创建提取之前，请在大数据部署控制台中创建身份证明：

1. 在“Deployments（部署）”页面上，选择“Big Data（大数据）”部署以查看其详细信息。

2. 使用在创建部署时指定的身份证明登录到大数据部署控制台。您将转到 "Administration Server Overview" 页面。

3. 添加身份证明：

   1. 打开导航菜单，然后选择配置。

   2. 在“身份证明”页上，选择添加身份证明（加号图标）。

   3. 在提供的字段中输入以下详细信息，然后选择提交：

      • 对于 Credential Domain ，输入 OracleGoldenGate。

      • 对于身份证明别名，输入 kafka。

      • 对于用户 ID ：输入 kafka://

      • 对于 Password（密码），输入密码。

      • 对于 Verify Password ，再次输入密码。

要在 OCI GoldenGate for Big Data 部署版本 21.9 或更高版本中添加 Extract for Kafka：

1. 在导航菜单中，选择概览以返回到“管理服务概览”页。

2. 选择添加提取（加号图标）。

3. 在“添加提取”页上，选择以下内容，然后选择下一步：

   • 来源： Kafka

   • 提取类型：更改数据捕获提取

4. 在“提取选项”页面上，按如下方式填写字段，然后选择下一步：

   • 在“Process Name（流程名称）”中，输入名称，最多 8 个字符。

   • （可选）输入说明。

   • 对于“Connection Alias（连接别名）”，选择以前分配的连接别名。

   • 对于“开始”，选择现在。

   • 在“线索名称”中，输入 2 个字符的名称。

   • （可选） Enable Kafka Connect （如果源是 Kafka Connect 框架）。

   • （可选）如果选择了 Kafka Connect，请选择一个可用的转换器：

     • JSON

     • AVRO

   • （可选）如果选择了 AVRO，则选择 Confluent Schema Registry 。

   • （可选）在“Managed Options（托管选项）”下，可以配置以下各项：

     • 概要文件名

     • 自动启动

     • 自动重新启动

       注：通过添加配置文件和配置“自动启动”和“自动重新启动”选项，您的部署可以在网络中断后自动重新启动。有关详细信息，请参阅配置托管进程。

5. 在“参数文件”页上，更新以下内容：

   1. 将 SOURCEDB USERIDALIAS 更新为 SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate

   2. 将表映射保留原样 (TABLE source.*;)，以侦听给定引导服务器中的所有主题。要从指定的主题捕获，请将映射更改为 TABLE source.<topic-name>;，其中 <topic-name> 是要从中捕获的主题的名称。

      注：提取映射格式为 Table SourceSchema.Table。在 Kafka 中，没有源方案/表。OCI GoldenGate 将第一部分（“源”）写入方案名称，第二部分写入表名以跟踪文件。通过这种方式，可以将捕获的 kafka 消息复制到其他 GoldenGate 支持的目标。

6. 选择创建并运行。

返回到“管理服务概览”页，可在其中查看“提取”状态。然后，您可以选择“提取”以查看其详细信息、统计数据和报告。