了解如何使用 Oracle Integration 将 Kafka 主题流处理到 Oracle Autonomous Database 3
Kafka 主题有各种用例,数据必须不断接收和处理。您可以通过多种方式在 Oracle Cloud Infrastructure (OCI) 中使用流式 Kafka。
在此解决方案手册中,我们使用 Oracle Integration 3 从 Oracle GoldenGate Stream Analytics 捕获 Kafka 流消息,并将数据存储在 Oracle Autonomous Database 中。Oracle GoldenGate Stream Analytics 支持用户构建可扩展的数据转换和分析管道,以获得敏捷的实时业务洞察。您还可以从内部部署实例使用 Kafka 流。
体系结构
此架构在 OCI 区域中显示本地 Kafka Streams、Oracle Integration 3、Oracle GoldenGate Stream Analytics 和 Oracle Autonomous Database 。
使用此体系结构使用 Oracle Integration 3 将 Kafka 流消息从本地 Kafka 流或 Oracle GoldenGate Stream Analytics 捕获到 Oracle Autonomous Database 中。
包含 Oracle Integration 3 的 OCI 区域从本地 Kafka 流或 Oracle GoldenGate 流分析中摄取数据。
Oracle Integration 3 将数据存储在 Oracle Autonomous Database 的关系表中。
此体系结构支持以下组件:
- Kafka 流
Kafka Streams 是用于构建应用程序和微服务的客户端库,其中输入和输出数据存储在 Kafka 集群中。它将在客户端编写和部署标准 Java 和 Scala 应用的简单性与 Kafka 服务器端集群技术的优势相结合。
- 自治数据库
Oracle Autonomous Database 是一个完全托管的预配置数据库环境,可用于事务处理和数据仓库工作负载。您不需要配置或管理任何硬件,或者安装任何软件。Oracle Cloud Infrastructure 负责创建、备份、打补丁、升级和优化数据库。
- Oracle Integration 3
Oracle Integration 3 是一个完全托管的预配置环境,让您能够集成云和内部部署应用程序,自动执行业务流程,开发可视应用程序,使用符合 SFTP 标准的文件服务器存储和检索文件,并与 B2B 贸易合作伙伴交换业务文档。
- Oracle GoldenGate 流分析
GoldenGate Stream Analytics 支持创建定制运营仪表盘,在基于 Apache Spark 的系统中实时监视和分析事件流。它使客户能够识别其基于 Apache Spark 的系统中的相关事件,实时对这些事件流执行查询,并驱动运营仪表盘或根据该分析发出警报。
- Oracle SQL Developer
Oracle SQL Developer 是一个免费的集成开发环境,可简化传统部署和云部署中 Oracle Database 的开发和管理。SQL Developer 提供完整的 PL/SQL 应用端到端开发、用于运行查询和脚本的工作表、用于管理数据库的 DBA 控制台、报告接口、完整的数据建模解决方案以及用于将第三方数据库迁移到 Oracle 的迁移平台。
关于必需的产品和角色
此解决方案需要以下产品和角色:
- Oracle Autonomous Database
- Oracle Integration 3
- Oracle Cloud Infrastructure
- Oracle GoldenGate 流分析
这些是每个服务所需的角色。
产品名称:角色 | 必需 ... |
---|---|
Oracle Autonomous Database :管理员 | 创建身份证明。 |
Oracle Integration 3:管理 | 创建身份证明。 |
Oracle Cloud Infrastructure :管理员 | 创建和管理 OCI 资源。 |
Oracle GoldenGate 流分析:管理员 | 配置 Kafka 生成器以摄取数据。 |
要获取所需的资源,请参阅 Oracle 产品、解决方案和服务。