了解如何将实时数据流连接到 Oracle Autonomous Database

将实时数据流式传输到数据仓库平台，以处理和生成富有洞察力的报表是一项艰巨的任务。

当 JSON 用于流数据格式时，数据转换可能是一个挑战。在此解决方案中，您将学习如何使用 Oracle Cloud Infrastructure 资源（如 Oracle GoldenGate Stream Analytics）将 Kafka 数据流式传输到 Oracle Autonomous Database 。

开始之前

开始之前，请从 Oracle Live Labs 完成以下安装：

• 安装针对数据仓库工作负载优化的 Autonomous Database 实例

体系结构

此体系结构显示 OCI 区域中的内部部署 Kafka 流、Oracle Stream Analytics 和 Oracle Autonomous Database 。

使用此体系结构将数据从内部部署 Kafka 流摄取到 Oracle GoldenGate 流分析 (G Stream Analytics，GGSA) 中。

插图 kafka-stream-adb-goldengate-arch.png 的说明

kafka-stream-adb-goldengate-arch.zip

1. 包含 GGSA 的 OCI 区域从内部部署 Kafka 流摄取数据。
2. GGSA 将 JSON 数据流式传输并转换为关系数据。
3. GGSA 将数据存储在 Autonomous Database 的关系表中。

此体系结构支持以下组件：

• Kafka 流

  Kafka Streams 是一个用于构建应用程序和微服务的客户机库，其中输入和输出数据存储在 Kafka 集群中。它将客户端编写和部署标准 Java 和 Scala 应用的简单性与 Kafka 服务器端集群技术的优势相结合。

  Kafka Streams 从主题中极大地简化了流处理。它基于 Kafka 客户端库而构建，可提供数据并行性、分布式协调、容错和可扩展性。Kafka 流使用分区和任务的概念作为与主题分区紧密关联的逻辑单元。此外，它使用线程在应用程序实例内并行处理。支持的另一个重要功能是状态存储，Kafka Streams 使用这些状态存储来存储和查询来自主题的数据。

  适用于 Kafka 处理程序的 Oracle GoldenGate 可将捕获数据从 Oracle GoldenGate 线索更改为 Kafka 主题。

• Oracle GoldenGate

  Oracle Cloud Infrastructure GoldenGate 是一项完全托管的服务，它利用 GoldenGate CDC 技术从位于内部部署环境或任何云中的源摄取数据，以实时、大规模地捕获和交付到 Oracle Autonomous Data Warehouse 的数据，从而使相关信息尽快提供给消费者。

• Autonomous Database（自治数据库）

  Oracle Cloud Infrastructure Autonomous Database 是一个完全托管的预配置数据库环境，可用于事务处理和数据仓库负载。您不需要配置或管理任何硬件，也不需要安装任何软件。Oracle Cloud Infrastructure 处理数据库创建以及数据库备份、打补丁、升级和优化。

关于必需的服务和角色

此解决方案需要以下服务和角色：

• Oracle Autonomous Data Warehouse

• Oracle GoldenGate 流分析 (GGSA)

• Oracle Cloud Infrastructure

这些是每个服务所需的角色。

服务名称：角色	需要 ...
Oracle Autonomous Data Warehouse ：管理员	创建身份证明。
Oracle GoldenGate Stream Analytics：管理	访问 GGSA 控制台。
Oracle Cloud Infrastructure ：管理	从应用市场安装 GGSA。 配置 Kafka 生成器以摄取数据。 将 GGSA for Kafka 连接到 Autonomous Database 。

要获得所需的云服务，请参阅 了解如何获取适用于 Oracle 解决方案的 Oracle Cloud 服务 。