Ce diagramme illustre la conversion des données d'applications d'entreprise, de fichiers plats, d'événements et de capteurs provenant de plusieurs sources via des composants d'une région Oracle Cloud Infrastructure en informations exploitables pour les consommateurs de données.
Les composants suivants s'appliquent à l'ensemble de la région Oracle Cloud Infrastructure :
La région est divisée en couches fonctionnelles qui abritent des composants physiques ou fonctionnels :
Couche de sources de données : fournisseur de partage de données, appareils, utilisateurs finaux, événements, capteurs, fichiers, toute source de données vers n'importe quel type et applications d'entreprise. Les métadonnées des bases des applications d'entreprise sont collectées et sont transmises au bloc Governance (Data Catalog).
Couche Connect, Ingest, Transform : les données sont affinées en mode batch, API et transmission en continu, en exploitant différents services en fonction du cas d'emploi.
Un bloc intitulé Assimilation par lots (OCI Data Integration, Data Integrator, Data Transforms) gère les données ingérées et transformées par lots ou micro batches. Les données brutes sont stockées dans le stockage d'objet.
Un bloc libellé Ingest basé sur les API (OIC, ORDS, API Gateway, Functions) gère les données qui sont incluses dans les API. Les données brutes sont stockées dans le stockage d'objet.
Un bloc libellé Assimilation en temps réel (GoldenGate Service/OGG Marketplace) gère les données qui sont ingérées en temps quasi réel. Les données ingérées en temps réel sont également traitées et affinées avec les fonctionnalités fournies par le composant d'ingestion par lots. Les données d'application brutes et affinées sont transmises à la couche Persist, Curate, Create le long de chemins distincts. Les données brutes sont stockées dans le stockage d'objet.
Un bloc intitulé Bulk Transfer (transfert en masse) (FastConnect, Data Transfer, Storage Gateway, CLI, SDK, API) gère les données (fichiers) en masse qui sont ensuite transmises au bloc Cloud Storage.
Les données Streaming sont ingérées par un bloc nommé Streaming Ingest (OCI Streaming, Service Connector Hub, Kafka Connect), qui passe ensuite au stockage cloud (Object Storage), au traitement Streaming (OCI Golden Gate, Streaming Analytics) ou à Streaming Analytics (Golden Gate Stream Analytics).
Conserver, organiser et créer : les données sont conservées dans le lakehouse dans Oracle Cloud Infrastructure Lakehouse ou dans Object Storage, ou les deux. Elle est accessible par les API et utilisée pour l'analyse, la visualisation et la data science.
Les données et les données traitées provenant d'un partage de données permettent de passer dans un bloc du lakehouse intitulé Serving (Oracle Cloud Infrastructure Lakehouse). Le lakehouse inclut également Cloud/Storage/Date Lake (Object Storage).
Un traitement supplémentaire est fourni par le traitement par lots (Data Flow, OCI Data Integration, Data Integrator), par l'écosystème open source (Big Data Service) et par le traitement en continu (OCI GoldenGate Stream Analytics, OCI Data Flow). Les métadonnées sont transmises au bloc nommé Gouvernance des données (Data Catalog).
Couche d'analyse, d'apprentissage et de prévision : les données Lakehouse sont utilisées par Oracle Analytics Cloud à des fins d'analyse et de visualisation, par Data Science et l'IA pour l'inclinaison et les prévisions, par les services d'IA et d'IA générative, par Data Labeling pour l'enrichissement des données, par OCI Search pour fournir des résultats aux personnes et aux partenaires, ainsi qu'aux applications et aux consommateurs IoT qui utilisent une API.
Les données Lakehouse et Streaming peuvent utiliser la fonction de réécriture ETL inverse pour fournir des données aux applications et aux consommateurs IoT.
Couche Mesure, Agir : Les destinataires de partage de données utilisent des données partagées, les personnes et les partenaires utilisent des données d'analyse tandis que les applications et les consommateurs IoT utilisent des données affinées.