此架构展示了如何使用数据资源池 Oracle Cloud Infrastructure (OCI) 创建现代数据平台,以从结构化和非结构化源摄取、处理、存储、处理和可视化数据。
架构组件分为四个阶段,显示为功能性数据流:
- 数据生成器:流数据生成器包括用于价格和汇率数据的 Kafka 生成器和用于交易数据的事件生成器。非结构化数据直接推送到对象存储(“青铜”数据资源池)。调度或事件触发的数据生成器包括来自文件存储的批处理数据以及来自数据库系统的引用数据。
- 摄取/加载:持久性流数据将传递到“青铜”对象存储。流数据还被处理为异常贸易数据和实时资金见解。调度或事件触发的数据由数据集成处理,并传递到“青铜”对象存储。
- 持久/转换/计算:
- 流数据由 Kafka Connect 处理,以生成实时的资金洞察和流分析。服务连接器中心可协调异常贸易数据,并使用 Oracle Cloud Infrastructure Notifications 提供用户洞察。
- Oracle Cloud Infrastructure Events、Oracle Functions 和 OCI Vision 为来自青铜对象存储的传真图像提供 OCR 和文本提取,并将结果数据传递到“银”对象存储。
- 在数据资源池内,Oracle Cloud Infrastructure Data Flow 清理青铜对象存储中的数据,并将其传递给银色对象存储。数据流还处理银对象存储中的数据并将其传递到“黄金”对象存储。Oracle Autonomous Data Warehouse (ADW) 和 Oracle Cloud Infrastructure 数据目录为最终用户和分析提供“黄金”数据。
- 服务/可视化:最终用户访问流式异常数据,或者使用 OpenSearch 获取实时分析和洞察。用户可以使用 Oracle Analytics Cloud 或第三方分析来利用数据资源池中的数据。数据科学家还可以使用 Oracle Cloud Infrastructure Data Science 来利用数据资源池中的数据。