将 Kafka 流数据连接到 Oracle Autonomous Database

通过 Oracle GoldenGate 流分析,用户可以构建可扩展的数据转换和分析管道,获得敏捷的实时业务洞察。

本部分假设您已从“开始之前”部分安装 Oracle Autonomous Database 。您现在将学会执行以下操作:

  • 访问 GGSA 控制台。
  • 配置 Kafka 生成器以摄取数据。
  • 将 GGSA for Kafka 连接到 Autonomous Database

获取对 GGSA 控制台的访问权限

  1. 在 OCI 控制台的计算下,选择实例。GGSA 市场实例应已启动且正在运行。
  2. 复制公共 IP 地址
  3. 使用私钥登录实例,并检查 /home/opc 下的 README.txt
  4. 复制 OSA UI 密码。
  5. 打开浏览器并输入 https://<Public IP Address>/osa
  6. 输入用户名作为 osaadmin,并使用从 README.txt 复制的密码。

配置 Kafka 生成器以摄取数据

按照以下步骤创建 Kafka 流。

  1. 目录页面上,单击创建新项
  2. 将鼠标悬停在 Connection 上,然后从子菜单中选择 Kafka
  3. Type Properties(类型属性)屏幕上,输入 Name(名称),然后选择 Connection Type(连接类型)作为 Kafka 。对于此示例,我们将使用 GGSA 实例中安装的 Kafka。
  4. Connection Details 屏幕的 Zookeepers 字段中输入 localhost:2181
  5. 单击测试连接。您应该能看到 Successful 消息。
  6. 单击保存

    注:

    确保端口 2181 在入站中打开。

按照以下步骤启动 Kafka 主题以摄取数据。

  1. 通过 SSH 连接到 GGSA 实例并转到 /u01/app/osa/utilities/kafka-utils 文件夹。
  2. 您将使用 complex.json 作为传入数据。
  3. 执行以下命令将数据馈送作为 Kafka 主题循环:
    opc@ggsanew kafka-utils]$ ./loop-file.sh ./complex.json | ./sampler.sh 1 1 | ./kafka.sh feed complex
    complex Kafka 主题开始生成数据并准备好摄取。
  4. 目录页上,单击创建新项以使用 Kafka 连接创建流。
  5. 将鼠标悬停在 Stream 上,然后从子菜单中选择 Kafka。
  6. Type Properties(类型属性)屏幕上,输入名称并选择 Stream Type(流类型)作为 Kafka
  7. 单击下一步
  8. 源详细信息屏幕上,选择在连接中创建的 Kafka 连接。
    1. 选择主题名称作为复杂
    2. 选择数据格式作为 JSON
  9. 单击下一步
  10. 数据格式屏幕上,保留默认值。
  11. 单击下一步
  12. Shape 屏幕上,从 Stream 推断传入的 JSON 配置。
  13. 单击保存。已成功创建 Kafka 流。

将 GGSA for Kafka 连接到 Autonomous Database

按照以下步骤从 GGSA 创建与 Oracle Autonomous Database 的连接。

  1. 目录页面上,单击创建新项
  2. 将鼠标悬停在连接上,然后从子菜单中选择 Oracle Database
  3. 类型属性屏幕上,输入名称,然后选择连接类型作为 Oracle Database
  4. 单击下一步
  5. 连接详细信息类型:Oracle Database 屏幕上,输入 Autonomous Database 连接详细信息。
    • 连接使用中选择 Wallet 并上载 wallet 文件。
    • 从下拉列表中选择服务名/SID
    • admin 身份输入用户名
    • 输入数据库管理员密码。
  6. 单击保存。已成功创建 Autonomous Database 连接。
  7. 登录到 Autonomous Database 中的方案,然后创建一个表来接收数据。
    CREATE TABLE COMPLEX
            (  BOOLEANFIELD VARCHAR2(20) , NUMBERFIELD NUMBER
            , STRINGFIELD VARCHAR2(20)
            , OBJECTFIELD_A_KEY NUMBER
            , OBJECTFIELD_A_VALUE NUMBER
            , OBJECTFIELD_C VARCHAR2(20)
            , OBJECTFIELD_E VARCHAR2(20)
            , ARRAYFIELD_0 NUMBER
            , ARRAYFIELD_1 NUMBER
            
        ); 

按照以下步骤在 GGSA 中创建管道并设置源和目标:

  1. 目录页面上,单击创建新项,然后从下拉列表中选择管道
  2. 将鼠标悬停在目标上,然后从子菜单中选择数据库表
  3. 类型属性屏幕上,输入目标名称,选择目标类型作为数据库表
  4. 单击下一步
  5. 目标详细信息屏幕上,从下拉列表中选择之前创建的 Autonomous Database 表。
  6. 单击下一步
  7. Shape 屏幕上,从下拉列表中选择 Table Name 作为 complex
  8. 单击下一步
  9. 推断 Shape 并单击 Save

按照以下步骤设置目标:

  1. 目录页面上,单击创建新项,然后从下拉列表中选择管道
  2. 将鼠标悬停在 Target 上,然后从子菜单中选择 Kafka Stream
  3. 单击保存
  4. 在管道中,右键单击流,选择添加阶段,然后选择目标
  5. 创建目标阶段窗口中,输入名称并单击保存
  6. 选择之前创建的目标表。
  7. 单击发布以发布管道,并使数据在目标表中可用。
  8. 登录数据库以查看将数据加载到 Autonomous Databasecomplex 表中。