了解如何使用 Oracle Integration 将 Kafka 主题流处理到 Oracle Autonomous Database 3

Kafka 主题有各种用例,数据必须不断接收和处理。您可以通过多种方式在 Oracle Cloud Infrastructure (OCI) 中使用流式 Kafka。

在此解决方案手册中,我们使用 Oracle Integration 3 从 Oracle GoldenGate Stream Analytics 捕获 Kafka 流消息,并将数据存储在 Oracle Autonomous Database 中。Oracle GoldenGate Stream Analytics 支持用户构建可扩展的数据转换和分析管道,以获得敏捷的实时业务洞察。您还可以从内部部署实例使用 Kafka 流。

使用须知

必须在您的环境中下载并安装 Kafka 以及以下 Kafka 主题,生产者应启动并运行以生成消息。

体系结构

此架构在 OCI 区域中显示本地 Kafka Streams、Oracle Integration 3、Oracle GoldenGate Stream Analytics 和 Oracle Autonomous Database

使用此体系结构使用 Oracle Integration 3 将 Kafka 流消息从本地 Kafka 流或 Oracle GoldenGate Stream Analytics 捕获到 Oracle Autonomous Database 中。

包含 Oracle Integration 3 的 OCI 区域从本地 Kafka 流或 Oracle GoldenGate 流分析中摄取数据。

Oracle Integration 3 将数据存储在 Oracle Autonomous Database 的关系表中。



oci-oad-kafka-oi-oracle.zip

此体系结构支持以下组件:

  • Kafka 流

    Kafka Streams 是用于构建应用程序和微服务的客户端库,其中输入和输出数据存储在 Kafka 集群中。它将在客户端编写和部署标准 Java 和 Scala 应用的简单性与 Kafka 服务器端集群技术的优势相结合。

  • 自治数据库

    Oracle Autonomous Database 是一个完全托管的预配置数据库环境,可用于事务处理和数据仓库工作负载。您不需要配置或管理任何硬件,或者安装任何软件。Oracle Cloud Infrastructure 负责创建、备份、打补丁、升级和优化数据库。

  • Oracle Integration 3

    Oracle Integration 3 是一个完全托管的预配置环境,让您能够集成云和内部部署应用程序,自动执行业务流程,开发可视应用程序,使用符合 SFTP 标准的文件服务器存储和检索文件,并与 B2B 贸易合作伙伴交换业务文档。

  • Oracle GoldenGate 流分析

    GoldenGate Stream Analytics 支持创建定制运营仪表盘,在基于 Apache Spark 的系统中实时监视和分析事件流。它使客户能够识别其基于 Apache Spark 的系统中的相关事件,实时对这些事件流执行查询,并驱动运营仪表盘或根据该分析发出警报。

  • Oracle SQL Developer

    Oracle SQL Developer 是一个免费的集成开发环境,可简化传统部署和云部署中 Oracle Database 的开发和管理。SQL Developer 提供完整的 PL/SQL 应用端到端开发、用于运行查询和脚本的工作表、用于管理数据库的 DBA 控制台、报告接口、完整的数据建模解决方案以及用于将第三方数据库迁移到 Oracle 的迁移平台。

关于必需的产品和角色

此解决方案需要以下产品和角色:

  • Oracle Autonomous Database
  • Oracle Integration 3
  • Oracle Cloud Infrastructure
  • Oracle GoldenGate 流分析

这些是每个服务所需的角色。

产品名称:角色 必需 ...
Oracle Autonomous Database :管理员 创建身份证明。
Oracle Integration 3:管理 创建身份证明。
Oracle Cloud Infrastructure :管理员 创建和管理 OCI 资源。
Oracle GoldenGate 流分析:管理员 配置 Kafka 生成器以摄取数据。

要获取所需的资源,请参阅 Oracle 产品、解决方案和服务