将数据从自治事务处理复制到 Confluent Kafka

此快速入门演示如何使用 OCI GoldenGate 将数据从自治事务处理复制到 Confluent Kafka。

开始之前

要成功完成此快速入门,您必须具有以下各项:

  • 源自治事务处理实例。
  • 融合平台实例。

环境设置:自治事务处理

如果您尚未设置用于复制的源数据库,可以按照以下步骤加载要用于此快速入门的示例方案。此快速入门对源数据库使用自治事务处理

要设置源 Autonomous Database,请执行以下操作:

  1. 下载并解压缩示例数据库方案
  2. 在 Oracle Cloud 控制台中,从“自治数据库”页中选择自治事务处理 (ATP) 实例以查看其详细信息并访问 Database Actions。
  3. 解锁 GGADMIN 用户:
    1. 单击数据库操作,然后单击数据库用户
    2. 找到 GGADMIN,然后单击其省略号菜单(三个点),然后选择编辑
    3. 在“编辑用户”面板中,输入 GGADMIN 密码,确认密码,然后取消选择帐户已锁定
    4. 单击应用更改
  4. 加载源示例方案和数据:
    1. 从“数据库操作”菜单的“开发”下,选择 SQL
    2. 将脚本从 OCIGGLL_OCIGGS_SETUP_USERS_ATP.sql 复制并粘贴到 SQL 工作表中。
    3. 单击运行脚本。“脚本输出”选项卡显示确认消息。
    4. 清除 SQL 工作表,然后从 OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql. 复制并粘贴 SQL 脚本

      提示:

      您可能需要单独运行每个语句,SQL 工具才能成功执行脚本。
    5. 要验证表是否已成功创建,请关闭 SQL 窗口,然后重新打开。在“导航器”选项卡中,查找 SRC_OCIGGLL 方案,然后从各自的下拉列表中选择表。
  5. 启用补充事件记录:
    1. 清除 SQL 工作表。
    2. 输入以下语句,然后单击运行语句
      ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;

环境设置:Confluent Cloud

如果您还没有目标 Confluent Cloud 集群、主题和方案,可以执行以下操作:
  1. 创建集群
  2. 为集群创建 API 密钥。记下后续步骤的 API 密钥和密钥。
  3. 启用方案注册表,然后为 Confluent Cloud 方案注册表创建 API 密钥。记下后续步骤的 API 密钥和密钥。
  4. 在群集中创建主题。记下后续步骤的主题名称。

任务 1:创建 OCI GoldenGate 资源

此快速入门示例需要源和目标的部署和连接。
  1. 为源 Autonomous Transaction Processing 实例创建 Oracle 部署
  2. 为目标 Confluent Cloud 创建大数据部署
  3. 创建与源自治事务处理的连接
  4. 创建 Confluent Kafka 连接
  5. Create a Confluent Schema Registry
  6. (可选)如果您的大数据部署没有公共端点,请创建与 GoldenGate 的连接,然后将此连接分配给源 Oracle 部署
  7. 将自治事务处理连接分配给源 Oracle 部署
  8. 将 Confluent Kafka 和 Confluent Schema Registry 连接分配给目标大数据部署

任务 2:添加提取

  1. 在“Deployments(部署)”页面上,选择源自治事务处理部署。
  2. 在部署详细信息页上,单击启动控制台
  3. 使用源部署的管理员用户名和密码登录。
  4. 添加事务处理信息
  5. 添加提取

任务 3:添加并运行 Distribution Path

  1. 如果使用 GoldenGate 身份证明存储,请在目标大数据部署中为分发路径创建用户,否则跳至步骤 3。
  2. ATP GoldenGate 部署控制台中,为在步骤 1 中创建的用户添加路径连接。
    1. 在源 ATP GoldenGate 部署控制台中,单击左侧导航中的路径连接
    2. 单击添加路径连接(加号图标),然后完成以下操作:
      1. 对于身份证明别名,输入 GGSNetwork
      2. 对于用户 ID ,输入在步骤 1 中创建的用户的名称。
      3. 输入用户口令两次以进行验证。
    3. 单击提交

      路径连接将显示在 "Path Connections"(路径连接)列表中。

  3. ATP 部署控制台中,使用以下值添加分发路径
    1. 源选项页上:
      • 对于源提取,选择在任务 2 中创建的提取。
      • 对于线索名称,输入两个字符的名称,例如 E1
    2. 目标选项页上:
      • 对于目标主机,输入目标部署的主机域。
      • 对于端口号,输入 443
      • 对于线索名称,输入两个字符的名称,例如 E1
      • 对于别名,输入在步骤 2 中创建的身份证明别名。
  4. 目标大数据部署控制台中,查看因 Distribution Path 而创建的 Receiver Path
    1. 在目标大数据部署控制台中,单击 Receiver Service
    2. 查看路径详细信息。此路径是由于上一步中创建的 Distribution Path 而创建的。

任务 4:添加并运行 Replicat

  1. 在目标大数据部署控制台中,单击 Administrator Service ,然后单击 Add Replicat (加号图标)。
  2. 添加具有以下值的 Replicat
    1. 在“Replicat 信息”页的 Replicat 类型下,选择 Coordinated Replicat ,输入进程名称,然后单击下一步
    2. 在“复制选项”页上:
      • 名称中,输入“任务 2 中的线索”的名称。
      • 对于,选择域。
      • 对于别名,选择在任务 1 中创建的 Confluent Kafka 连接。
      • 对于检查点表,选择为目标部署创建的检查点表。
    3. 在“Replicat 参数”页上,将 MAP *.*, TARGET *.*; 替换为:
      MAP SRC_OCIGGLL.SRC_CUSTOMER, Table SRC.CUSTOMER;
  3. 单击创建并运行
您可以返回到“概览”页,在其中可以查看 Replicat 详细信息。

任务 5:验证复制

对源自治事务处理实例执行一些更新,以验证复制到 Confluent Kafka 云。
  1. Oracle Cloud 控制台中,打开导航菜单,选择 Oracle Database ,然后选择自治事务处理
  2. 在自治事务处理实例列表中,选择源实例以查看其详细信息。
  3. 在数据库详细信息页上,单击数据库操作

    注意:

    应该自动登录。如果没有,请使用数据库身份证明登录。
  4. 在“数据库操作”主页上,选择 SQL
  5. 在工作表中输入以下内容,然后单击运行脚本
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
  6. 在源 ATP 部署控制台中,选择提取名称,然后单击统计信息。验证 SRC_OCIGGLL.SRC_CITY 是否具有 10 个插入。
  7. 在目标大数据 OCI GoldenGate 部署控制台中,选择复制名称,然后单击统计信息。验证 SRC_OCIGGLL.SRC_CUSTOMER 是否具有 7 个插入。

任务 6:(可选)在 Confluent CLI 中验证复制

  1. 在系统中安装 Confluent CLI
  2. 执行:
    export PATH=$(pwd)/bin:$PATH
    confluent login
  3. 列出环境并选择环境
    confluent environment list
    confluent environment use <your_environment_ID> 
  4. 列出集群并选择集群
    confluent kafka cluster list
    confluent kafka cluster use <your_cluster_id>
  5. 在本地存储 API 密钥和密钥
    confluent api-key store <cluster_api_key> <cluster_api_secret>
    confluent api-key use <cluster_api_key> --resource <cluster_id>
  6. 列表主题
    confluent kafka topic list
  7. 查看消息
    confluent kafka topic consume --value-format avro --from-beginning <topic_name>