此图显示了通过 Oracle Cloud Infrastructure 区域中的组件将多个来源的企业应用、平面文件、事件和传感器数据转换为数据使用者的可用洞察。
以下组件适用于整个 Oracle Cloud Infrastructure 区域:
该区域分为包含物理或功能部件的功能层:
数据源层:数据共享提供程序、设备、最终用户、事件、传感器、文件、任何类型的数据源以及企业应用程序。从企业应用数据库获取元数据并流入块监管(数据目录)。
连接、摄取和转换层:数据可以按批处理、API 和流摄取方式进行优化,并根据具体使用场景利用不同的服务。
标记为“批量摄取”(OCI 数据集成、数据集成器、数据转换)的块处理批量或微批量摄取和转换的数据。原始数据存储在对象存储中。
标记为基于 API 的摄取(OIC、ORDS、API 网关、函数)的块用于处理摄取 API 的数据。原始数据存储在对象存储中。
标记为“实时摄取”(GoldenGate Service/OGG Marketplace) 的块可处理近乎实时摄取的数据。实时摄取的数据还使用批摄取组件提供的功能进行处理和细化。原始和细化的应用程序数据沿着单独的路径传递到持久、整理、创建层。原始数据存储在对象存储中。
标记为“批量传输”的块(FastConnect、数据传输、存储网关、CLI、SDK、API)处理批量(文件)数据,然后将数据传递到云存储块。
流处理数据由标记为“流处理摄取”(OCI Streaming、Service Connector Hub、Kafka Connect)的块摄取,然后流入云存储(对象存储)、流处理(OCI Golden Gate、流分析)或流分析 (Golden Gate Stream Analytics)。
持久保存、整理、创建:数据保存在 Oracle Autonomous Data Warehouse 和/或 Object Storage 的数据湖仓中。它由 API 访问,并用于分析、可视化和数据科学。
数据共享中的已处理数据和数据可移动到数据湖仓一体中标记为 Serving (Oracle Autonomous Data Warehouse) 的块中。数据湖仓一体还包括云/存储/日期湖(对象存储)。
其他处理由批处理 (Data Flow,OCI Data Integration,Data Integrator)、开源生态系统 (Big Data Service) 和流处理 (OCI GoldenGate Stream Analytics,OCI Data Flow) 提供。元数据传递到标有“Data Governance(数据目录)”的块。
分析、学习和预测层:数据湖仓一体数据由 Oracle Analytics Cloud 用于分析和可视化,由数据科学和 AI 用于精简和预测,由 AI 和生成式 AI 服务,由数据标签用于数据扩充,由 OCI Search 用于为人员和合作伙伴以及使用 API 的申请人和 IoT 使用者提供结果。
数据湖仓一体和流数据可以使用反向 ETL 回写向应用程序和 IoT 使用者提供数据。
衡量、行动层:数据共享接收者使用共享数据,人员和合作伙伴使用分析数据,而应用程序和 IoT 使用者使用精细数据。