将数据从自治事务处理复制到 Apache Kafka

概述

使用 OCI GoldenGate ，您可以将数据从 Autonomous Database 复制到大数据目标，例如 Apache Kafka。此快速入门演示如何设置 OCI GoldenGate 部署、源和目标连接以及复制流程。

开始之前

要成功完成此快速入门，您必须具有以下各项：

在入站规则中打开的端口为 9092（或用于引导服务器的另一个端口）的 VCN。
源自治事务处理实例
目标 Apache Kafka 节点

环境设置：自治事务处理

如果您尚未设置用于复制的源数据库，可以按照以下步骤加载要用于此快速入门的示例方案。此快速入门对源数据库使用自治事务处理。

要设置源 Autonomous Database，请执行以下操作：

下载并解压缩示例数据库方案。
在 Oracle Cloud 控制台中，从“自治数据库”页中选择自治事务处理 (ATP) 实例以查看其详细信息并访问 Database Actions。
取消锁定 GGADMIN 用户：
1. 单击数据库操作，然后单击数据库用户。
2. 找到 GGADMIN，然后单击其省略号菜单（三个点），然后选择编辑。
3. 在“编辑用户”面板中，输入 GGADMIN 密码，确认密码，然后取消选择帐户已锁定。
4. 单击应用更改。
加载源示例方案和数据：
1. 从“数据库操作”菜单的“开发”下，选择 SQL 。
2. 将脚本从 OCIGGLL_OCIGGS_SETUP_USERS_ATP.sql 复制并粘贴到 SQL 工作表中。
3. 单击运行脚本。“脚本输出”选项卡显示确认消息。
4. 清除 SQL 工作表，然后从 OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql. 复制并粘贴 SQL 脚本
  
  提示：
  您可能需要单独运行每个语句，SQL 工具才能成功执行脚本。
5. 要验证表是否已成功创建，请关闭 SQL 窗口，然后重新打开。在“导航器”选项卡中，查找 SRC_OCIGGLL 方案，然后从各自的下拉列表中选择表。
启用补充事件记录：
1. 清除 SQL 工作表。
2. 输入以下语句，然后单击运行语句：
```
ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;
```

任务 1：创建 OCI GoldenGate 资源

此快速入门示例需要源和目标的部署和连接。

为源 Autonomous Transaction Processing 实例创建 Oracle 部署。
为目标 Apache Kafka 节点创建大数据部署。
为源 Autonomous Transaction Processing 实例创建连接。
为目标 Kafka 节点创建连接。
创建与 GoldenGate 的连接，然后将此连接分配给源 Oracle 部署。
将 ATP 连接分配给源 Oracle 部署。
将 Kafka 连接分配给目标大数据部署。

任务 2：添加 Extract

在“Deployments（部署）”页面上，选择源自治事务处理部署。
在部署详细信息页上，单击启动控制台。
使用源部署的管理员用户名和密码登录。
添加事务处理信息。
添加 Extract 。

任务 3：添加并运行 Distribution Path

如果使用 GoldenGate 身份证明存储，请在目标大数据部署中为分发路径创建用户，否则跳至步骤 3。
在源 ATP GoldenGate 部署控制台中，为在步骤 1 中创建的用户添加路径连接。
1. 在源 ATP GoldenGate 部署控制台中，单击左侧导航中的路径连接。
2. 单击添加路径连接（加号图标），然后完成以下操作：
  1. 对于身份证明别名，输入 GGSNetwork。
  2. 对于用户 ID ，输入在步骤 1 中创建的用户的名称。
  3. 输入用户口令两次以进行验证。
3. 单击提交。
  
  路径连接将显示在 "Path Connections"（路径连接）列表中。
在源 ATP 部署控制台中，使用以下值添加分发路径：
1. 在源选项页上：
  - 对于源提取，选择在任务 2 中创建的提取。
  - 对于线索名称，输入两个字符的名称，例如 E1。
2. 在目标选项页上：
  - 对于目标主机，输入目标部署的主机域。
  - 对于端口号，输入 443。
  - 对于线索名称，输入两个字符的名称，例如 E1。
  - 对于别名，输入在步骤 2 中创建的身份证明别名。
在目标大数据部署控制台中，查看因 Distribution Path 而创建的 Receiver Path。
1. 在目标大数据部署控制台中，单击 Receiver Service 。
2. 查看路径详细信息。此路径是由于上一步中创建的 Distribution Path 而创建的。

任务 4：添加 Replicat

在目标大数据部署控制台中，单击 Administration Service ，然后单击添加 Replicat （加号图标）。
添加具有以下值的 Replicat ：
1. 在“Replicat 信息”页的 Replicat 类型下，选择经典 Replicat ，输入进程名称，然后单击下一步。
2. 在“Replicat 选项”页面上：
  - 在名称中，输入“任务 3 中的线索”的名称。
  - 对于目标，选择 Kafka。
  - 对于别名，选择在任务 1 中创建的 Kafka 连接。
3. 在“Replicat 参数”页上，保留默认值。
4. 在“属性文件”页上，为以下属性提供主题名称：
```
gg.handler.kafkahandler.topicMappingTemplate=
```
  如果主题不存在， OCI GoldenGate 将为您创建一个主题。
单击创建并运行。

您可以返回到 Replicats 页面，在其中可以查看 Replicat 详细信息。

任务 5：验证复制

对源自治事务处理实例执行一些更新，以验证向 Apache Kafka 的复制。

在 Oracle Cloud 控制台中，打开导航菜单，选择 Oracle Database ，然后选择自治事务处理。
在自治事务处理实例列表中，选择源实例以查看其详细信息。
在数据库详细信息页上，单击数据库操作。

注意：
应该自动登录。如果没有，请使用数据库身份证明登录。
在“数据库操作”主页上，选择 SQL 。

在工作表中输入以下内容，然后单击运行脚本。

Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);

在源 ATP 部署控制台中，选择 Extract 名称，然后单击统计信息。验证 SRC_OCIGGLL.SRC_CITY 是否具有 10 个插入。
在目标大数据部署控制台中，选择复制名称，然后单击统计信息。验证 SRC_OCIGGLL.SRC_CITY 是否具有 10 个插入。

任务 6：监控和维护流程

监视性能。
管理线索文件。