数据现金流
Oracle GoldenGate 数据流提供了一个 WebSocket 端点,可持续发布来自 Oracle GoldenGate 线索的已提交更改记录。客户端创建或使用命名的数据流资源,连接到生成的端点,接收 JSON 记录,处理每个记录,并保存上次成功处理的位置以进行恢复。
数据流使用 AsyncAPI 3.0 文档来描述端点、通道、查询参数、消息配置和记录方案。为特定流生成的 AsyncAPI YAML 是该流的授权合同。使用它,而不是从其他部署中复制通用主机名、通道路径或有效负载定义。
对开发人员和数据科学家的好处
-
增强的数据摄取:通过 AsyncAPI 提供的发布或订阅模型,应用可以高效地接收实时数据更新。
-
灵活的数据格式设置:您可以选择与现有工具无缝集成的首选格式。
-
简化集成:AsyncAPI 可促进与开发人员和数据科学家常用的各种应用和工具的顺畅交互。
-
保证数据完整性:数据流继承 Oracle GoldenGate 的核心优势,可在更改提交到源数据库中时复制更改,从而确保数据持久性。
注:数据流功能通过 Oracle GoldenGate for Distributed Applications and Analytics 或 Oracle GoldenGate for Big Data Targets 获得许可。有关详细信息,请参阅 Oracle GoldenGate 许可指南中的 Oracle GoldenGate for Distributed Applications and Analytics 。
运行时序列
-
提取捕获已提交的源更改并将其写入本地或远程 Oracle GoldenGate 线索。
-
管理员创建用于标识源线索和可选筛选以及 JSON 输出设置的数据流资源。
-
该服务为数据流生成 AsyncAPI YAML 文档。
-
客户机建立 WebSocket 连接并提供
begin=now、begin=earliest、ISO 8601 时间戳或保存的pos值。 -
该服务持续推送 JSON 消息。协议不会等待来自客户机的每记录确认。
-
客户机处理记录并持久保存上次成功处理的 DML 或 DDL 记录中的
pos。
服务发送的内容
-
描述流中记录的 JSON 方案记录。
-
标识生成器、源数据库、主机和源线索信息的流元数据记录。
-
描述表列、JSON 基元类型、空性和键成员关系的对象元数据记录。
-
INSERT、UPDATE和DELETE的 DML 记录。 -
标识受影响对象并包含 DDL 语句的 DDL 记录。
-
可选的 CloudEvents JSON 信封,其
data成员包含 GoldenGate 记录。