Ce diagramme présente la conversion des données d'applications d'entreprise, de fichiers plats, d'événements et de capteurs provenant de plusieurs sources via des composants dans une région Oracle Cloud Infrastructure en informations exploitables pour les consommateurs de données.

Les composants suivants s'appliquent à l'ensemble de la région Oracle Cloud Infrastructure :

• Data Governance (Data Catalog) dans le cadre d'une couche de gouvernance générale
• Sécurité des données (Data Safe, Audit, Logging, Vault) dans le cadre d'une couche de gouvernance générale et d'une couche Infrastructure, Network Security, Identity and Access Management (IAM)

La région est divisée en couches fonctionnelles qui abritent des composants physiques ou fonctionnels :

• Couche Sources de données : fournisseur de partage de données, appareils, utilisateurs finaux, événements, capteurs, fichiers, source de données de tout type et applications d'entreprise. Les métadonnées des bases de données des applications d'entreprise sont collectées et sont transmises à la gouvernance de blocs (Data Catalog).

• Couche Connexion, assimilation et transformation : les données sont affinées lors de l'assimilation par lots, API et diffusion en continu, avec différents services en fonction du cas d'emploi.

  Un bloc libellé Assimilation par lots (OCI Data Integration, Data Integrator, Data Transforms) gère les données ingérées et transformées en lots ou en micro-batchs. Les données brutes sont stockées dans le stockage d'objets.

  Un bloc libellé Assimilation basée sur API (OIC, ORDS, API Gateway, Functions) gère les données qui sont des API assimilées. Les données brutes sont stockées dans le stockage d'objets.

  Un bloc libellé Assimilation en temps réel (GoldenGate Service/OGG Marketplace) gère les données assimilées en temps quasi réel. Les données ingérées en temps réel sont également traitées et affinées avec les fonctionnalités fournies par le composant d'ingestion de batch. Les données d'application brutes et affinées sont transmises à la couche Persist, Curate et Create le long de chemins distincts. Les données brutes sont stockées dans le stockage d'objets.

  Un bloc libellé Transfert en masse (FastConnect, Data Transfer, Storage Gateway, CLI, SDK, API) gère les données (fichiers) en masse qui sont ensuite transmises au bloc Cloud Storage.

  Les données de diffusion en continu sont ingérées par un bloc étiqueté Streaming Ingest (OCI Streaming, Service Connector Hub, Kafka Connect), qui est ensuite transféré vers Cloud Storage (Object Storage), Streaming Processing (OCI Golden Gate, Streaming Analytics) ou Streaming Analytics (Golden Gate Stream Analytics).

• Persister, organiser et créer : les données sont conservées dans le lakehouse dans Oracle Autonomous Data Warehouse, Object Storage ou les deux. Il est accessible par les API et est utilisé pour l'analyse, la visualisation et la data science.

  Les données et les données traitées à partir d'un partage de données fournissent des déplacements vers un bloc dans le lakehouse libellé Serving (Oracle Autonomous Data Warehouse). Le lakehouse inclut également Cloud/Storage/Date Lake (Object Storage).

  Le traitement supplémentaire est fourni par le traitement par lots (Data Flow, OCI Data Integration, Data Integrator), par l'écosystème open source (Big Data Service) et par le traitement en continu (OCI GoldenGate Stream Analytics, OCI Data Flow). Les métadonnées sont transmises au bloc Data Governance (Data Catalog).

• Couche d'analyse, d'apprentissage et de prévision : les données Lakehouse sont utilisées par Oracle Analytics Cloud pour l'analyse et la visualisation, par Data Science et AI pour l'apprentissage et les prévisions, par les services d'IA et d'IA générative, par Data Labeling pour l'enrichissement des données, par OCI Search pour fournir des résultats aux personnes et aux partenaires, ainsi qu'aux applications et aux consommateurs IoT qui utilisent une API.

  Les données Lakehouse et Streaming peuvent utiliser l'écriture ETL inverse pour fournir des données aux applications et aux destinataires IoT.

• Mesure, couche Act : les destinataires de partage de données utilisent des données partagées, les personnes et les partenaires utilisent des données d'analyse tandis que les applications et les consommateurs IoT utilisent des données affinées.