En este diagrama se muestra la conversión de datos de sensores, eventos, archivos planos y aplicaciones empresariales de varios orígenes a través de componentes de una región de Oracle Cloud Infrastructure en estadísticas útiles para los consumidores de datos.
Los siguientes componentes se aplican a toda la región de Oracle Cloud Infrastructure:
La región se divide en capas funcionales que albergan componentes físicos o funcionales:
Capa de orígenes de datos: proveedor de recursos compartidos de datos, dispositivos, usuarios finales, eventos, sensores, archivos, cualquier origen de datos para cualquier tipo y aplicaciones empresariales. Los metadatos de las bases de datos de aplicaciones empresariales se recopilan y fluyen hacia la gobernanza de bloques (Data Catalog).
Capa Connect, Ingest, Transform: los datos se perfeccionan en la ingestión de lotes, API y flujos, aprovechando los diferentes servicios en función del caso de uso.
Un bloque etiquetado como ingesta por lotes (OCI Data Integration, Data Integrator y Data Transforms) maneja los datos que se ingieren y transforman en lotes o micro lotes. Los datos sin formato se almacenan en el almacenamiento de objeto.
Un bloque con etiqueta de ingesta basada en API (OIC, ORDS, API Gateway, Functions) maneja los datos que se ingieren en las API. Los datos sin formato se almacenan en el almacenamiento de objeto.
Un bloque etiquetado como Real Time Ingest (GoldenGate Service/OGG Marketplace) maneja los datos que se ingieren casi en tiempo real. Los datos ingeridos en tiempo real también se procesan y refinan con las capacidades proporcionadas por el componente de ingestión de lotes. Los datos de aplicación sin procesar y refinados se transfieren a la capa Persistir, depurar y crear a lo largo de rutas independientes. Los datos sin formato se almacenan en el almacenamiento de objeto.
Un bloque con etiqueta de transferencia masiva (FastConnect, transferencia de datos, gateway de almacenamiento, CLI, SDK, API) maneja datos masivos (de archivo) que, a continuación, se transfieren al bloque de almacenamiento en la nube.
Los datos de Streaming se ingieren mediante un bloque etiquetado como Streaming Ingest (OCI Streaming, Service Connector Hub, Kafka Connect), que luego fluye a Cloud Storage (Object Storage), Streaming Processing (OCI Golden Gate, Streaming Analytics) o Streaming Analytics (Golden Gate Stream Analytics).
Conservar, depurar y crear: los datos se conservan en el lakehouse de Oracle Cloud Infrastructure Lakehouse, en Object Storage o en ambos. Se accede a él mediante API y se utiliza para análisis, visualización y ciencia de datos.
Los datos procesados y los datos de un recurso compartido de datos proporcionan movimientos a un bloque dentro del lakehouse con la etiqueta Serving (Oracle Cloud Infrastructure Lakehouse). El lakehouse también incluye Cloud/Storage/Date Lake (almacenamiento de objetos).
El procesamiento adicional lo proporcionan el procesamiento por lotes (Data Flow, OCI Data Integration, Data Integrator), el ecosistema de código abierto (Big Data Service) y el procesamiento de flujo (OCI GoldenGate Stream Analytics, OCI Data Flow). Los metadatos se transfieren al bloque etiquetado como Data Governance (Data Catalog).
Capa de análisis, aprendizaje y predicción: Oracle Analytics Cloud utiliza los datos de Lakehouse para el análisis y la visualización, la ciencia de datos y la IA para el aprendizaje y las predicciones, los servicios de IA y IA generativa, el etiquetado de datos para el enriquecimiento de datos, OCI Search para proporcionar resultados para personas y socios y para aplicaciones y consumidores de IoT que utilizan una API.
Lakehouse y los datos de transmisión pueden utilizar la reescritura de ETL inversa para proporcionar datos a las aplicaciones y a los consumidores de IoT.
Medir, Actuar capa: Los destinatarios utilizan datos compartidos, las personas y los socios utilizan datos analíticos mientras que las aplicaciones y los consumidores de IoT utilizan datos refinados.