Ce diagramme présente la conversion des données d'applications d'entreprise, de fichiers plats, d'événements et de capteurs provenant de plusieurs sources au moyen de composants dans une région Oracle Cloud Infrastructure en informations utilisables pour les consommateurs de données.
Les composants suivants s'appliquent à l'ensemble de la région Oracle Cloud Infrastructure :
La région est divisée en couches fonctionnelles qui abritent des composants physiques ou fonctionnels :
Couche des sources de données : Fournisseur de partage de données, appareils, utilisateurs finaux, événements, capteurs, fichiers, n'importe quelle source de données à n'importe quel type et applications d'entreprise. Les métadonnées des bases de données des applications d'entreprise sont collectées et transmises au service de gouvernance des blocs (catalogue de données).
Couche Connexion, ingestion et transformation : Les données sont affinées par lots, API et diffusion en continu, tirant parti de différents services en fonction du cas d'utilisation.
Un bloc étiqueté Ingest (OCI Data Integration, Data Integrator, Data Transforms) traite les données ingérées et transformées en lots ou en micro-lots. Les données brutes sont stockées dans le stockage d'objets.
Un bloc étiqueté Ingest basé sur API (OIC, ORDS, API Gateway, Functions) traite les données qui sont des API ingérées. Les données brutes sont stockées dans le stockage d'objets.
Un bloc étiqueté " Real Time Ingest " (GoldenGate Service/OGG Marketplace) gère les données ingérées en temps quasi réel. Les données ingérées en temps réel sont également traitées et affinées avec les capacités fournies par le composant d'ingestion par lots. Les données d'application brutes et affinées sont transmises aux couches Persist, Curate et Create le long de chemins distincts. Les données brutes sont stockées dans le stockage d'objets.
Un bloc étiqueté Transfert en masse (FastConnect, Transfert de données, Storage Gateway, interface de ligne de commande, trousse SDK, API) traite les données en masse (fichiers) qui sont ensuite transmises au bloc Stockage en nuage.
Les données du service de flux sont ingérées par un bloc étiqueté Ingestion du service de flux (service de flux pour OCI, centre de connecteurs de service, Kafka Connect), qui se jette ensuite dans le stockage en nuage (stockage d'objets), le traitement du service de flux (Golden Gate, Streaming Analytics) ou les analyses du service de flux (Golden Gate Stream Analytics).
Conservation, conservation, création : Les données sont conservées dans l'entrepôt avec lac de données dans Oracle Cloud Infrastructure Lakehouse ou dans le service de stockage d'objets, ou les deux. Il est accessible par les API et est utilisé pour l'analyse, la visualisation et la science des données.
Les données traitées et les données provenant d'un partage de données fournissent des déplacements dans un bloc au sein de l'entrepôt avec lac de données étiqueté Service (Oracle Cloud Infrastructure Lakehouse). L'entrepôt avec lac de données comprend également Cloud/Storage/Date Lake (stockage d'objets).
Le traitement supplémentaire est fourni par le traitement par lots (flux de données, intégration de données OCI, intégrateur de données), par l'écosystème à source ouverte (service de mégadonnées) et le traitement en continu (analyse de flux GoldenGate pour OCI, flux de données OCI). Les métadonnées sont transmises au bloc étiqueté Gouvernance des données (catalogue de données).
Couche d'analyse, d'apprentissage et de prédiction : Les données d'entrepôt avec lac de données sont utilisées par Oracle Analytics Cloud pour l'analyse et la visualisation, par le service de science des données et l'intelligence artificielle pour l'apprentissage et les prédictions, par les services d'intelligence artificielle et d'intelligence artificielle générative, par le service d'étiquetage de données pour l'enrichissement des données, par le service de recherche pour OCI pour fournir des résultats aux personnes et aux partenaires, ainsi qu'aux applications et aux consommateurs de l'IdO qui utilisent une API.
Les données d'entrepôt avec lac de données et de diffusion en continu peuvent utiliser la réécriture ETL inverse pour fournir des données aux applications et aux consommateurs de l'Internet des objets.
Couche de mesure et d'action : Les destinataires du partage de données utilisent des données partagées, les personnes et les partenaires utilisent des données d'analyse tandis que les applications et les consommateurs d'IdO utilisent des données affinées.