将 Kafka 流数据连接到 Oracle Autonomous Database
通过 Oracle GoldenGate 流分析,用户可以构建可扩展的数据转换和分析管道,获得敏捷的实时业务洞察。
本部分假设您已从“开始之前”部分安装 Oracle Autonomous Database 。您现在将学会执行以下操作:
- 访问 GGSA 控制台。
- 配置 Kafka 生成器以摄取数据。
- 将 GGSA for Kafka 连接到 Autonomous Database 。
获取对 GGSA 控制台的访问权限
- 在 OCI 控制台的计算下,选择实例。GGSA 市场实例应已启动且正在运行。
- 复制公共 IP 地址。
- 使用私钥登录实例,并检查
/home/opc下的README.txt。 - 复制 OSA UI 密码。
- 打开浏览器并输入
https://<Public IP Address>/osa。 - 输入用户名作为
osaadmin,并使用从README.txt复制的密码。
配置 Kafka 生成器以摄取数据
按照以下步骤创建 Kafka 流。
- 在目录页面上,单击创建新项。
- 将鼠标悬停在 Connection 上,然后从子菜单中选择 Kafka 。
- 在 Type Properties(类型属性)屏幕上,输入 Name(名称),然后选择 Connection Type(连接类型)作为 Kafka 。对于此示例,我们将使用 GGSA 实例中安装的 Kafka。
- 在 Connection Details 屏幕的 Zookeepers 字段中输入
localhost:2181。 - 单击测试连接。您应该能看到 Successful 消息。
- 单击保存。
注:
确保端口 2181 在入站中打开。
按照以下步骤启动 Kafka 主题以摄取数据。
- 通过 SSH 连接到 GGSA 实例并转到
/u01/app/osa/utilities/kafka-utils文件夹。 - 您将使用
complex.json作为传入数据。 - 执行以下命令将数据馈送作为 Kafka 主题循环:
complex Kafka 主题开始生成数据并准备好摄取。opc@ggsanew kafka-utils]$ ./loop-file.sh ./complex.json | ./sampler.sh 1 1 | ./kafka.sh feed complex - 在目录页上,单击创建新项以使用 Kafka 连接创建流。
- 将鼠标悬停在 Stream 上,然后从子菜单中选择 Kafka。
- 在 Type Properties(类型属性)屏幕上,输入名称并选择 Stream Type(流类型)作为 Kafka 。
- 单击下一步。
- 在源详细信息屏幕上,选择在连接中创建的 Kafka 连接。
- 选择主题名称作为复杂。
- 选择数据格式作为
JSON。
- 单击下一步。
- 在数据格式屏幕上,保留默认值。
- 单击下一步。
- 在 Shape 屏幕上,从 Stream 推断传入的
JSON配置。 - 单击保存。已成功创建 Kafka 流。
将 GGSA for Kafka 连接到 Autonomous Database
按照以下步骤从 GGSA 创建与 Oracle Autonomous Database 的连接。
- 在目录页面上,单击创建新项。
- 将鼠标悬停在连接上,然后从子菜单中选择 Oracle Database 。
- 在类型属性屏幕上,输入名称,然后选择连接类型作为 Oracle Database 。
- 单击下一步。
- 在连接详细信息的类型:Oracle Database 屏幕上,输入 Autonomous Database 连接详细信息。
- 在连接使用中选择 Wallet 并上载 wallet 文件。
- 从下拉列表中选择服务名/SID 。
- 以 admin 身份输入用户名。
- 输入数据库管理员密码。
- 单击保存。已成功创建 Autonomous Database 连接。
- 登录到 Autonomous Database 中的方案,然后创建一个表来接收数据。
CREATE TABLE COMPLEX ( BOOLEANFIELD VARCHAR2(20) , NUMBERFIELD NUMBER , STRINGFIELD VARCHAR2(20) , OBJECTFIELD_A_KEY NUMBER , OBJECTFIELD_A_VALUE NUMBER , OBJECTFIELD_C VARCHAR2(20) , OBJECTFIELD_E VARCHAR2(20) , ARRAYFIELD_0 NUMBER , ARRAYFIELD_1 NUMBER );
按照以下步骤在 GGSA 中创建管道并设置源和目标:
- 在目录页面上,单击创建新项,然后从下拉列表中选择管道。
- 将鼠标悬停在目标上,然后从子菜单中选择数据库表。
- 在类型属性屏幕上,输入目标的名称,选择目标类型作为数据库表。
- 单击下一步。
- 在目标详细信息屏幕上,从下拉列表中选择之前创建的 Autonomous Database 表。
- 单击下一步。
- 在 Shape 屏幕上,从下拉列表中选择 Table Name 作为 complex 。
- 单击下一步。
- 推断 Shape 并单击 Save 。
按照以下步骤设置目标:
- 在目录页面上,单击创建新项,然后从下拉列表中选择管道。
- 将鼠标悬停在 Target 上,然后从子菜单中选择 Kafka Stream 。
- 单击保存。
- 在管道中,右键单击流,选择添加阶段,然后选择目标。
- 在创建目标阶段窗口中,输入名称并单击保存。
- 选择之前创建的目标表。
- 单击发布以发布管道,并使数据在目标表中可用。
-
登录数据库以查看将数据加载到 Autonomous Database 的 complex 表中。