Este diagrama mostra a conversão de aplicativos empresariais, arquivos simples, eventos e dados de sensores de várias origens por meio de componentes em uma região do Oracle Cloud Infrastructure para insights utilizáveis para consumidores de dados.

Os seguintes componentes se aplicam a toda a região do Oracle Cloud Infrastructure:

• Governança de Dados (Data Catalog) como parte de uma camada de Governança geral
• Segurança de Dados (Data Safe, Audit, Logging, Vault) como parte de uma camada geral de Governança e de uma camada de Infraestrutura, Segurança de Rede, IAM (Identity and Access Management)

A região é dividida em camadas funcionais que abrigam componentes físicos ou funcionais:

• Camada de Fontes de Dados: Provedor de compartilhamento de dados, dispositivos, usuários finais, eventos, sensores, arquivos, qualquer fonte de dados para qualquer tipo e aplicativos corporativos. Os metadados dos bancos de dados de aplicativos empresariais são coletados e fluem para o bloco Governance (Data Catalog).

• Camada Connect, Ingest, Transform: os dados são refinados em lote, API e ingestão de streaming, aproveitando diferentes serviços, dependendo do caso de uso.

  Um bloco rotulado como Ingestão de Batch (OCI Data Integration, Data Integrator, Data Transforms) trata dados ingeridos e transformados em batches ou micro batches. Os dados brutos são armazenados no armazenamento de objetos.

  Um bloco rotulado como Ingestão baseada em API (OIC, ORDS, Gateway de API, Funções) trata dados que são APIs ingeridas. Os dados brutos são armazenados no armazenamento de objetos.

  Um bloco chamado Real Time Ingest (GoldenGate Service/OGG Marketplace) trata dados que são ingeridos quase em tempo real. Os dados ingeridos em tempo real também são processados e refinados com os recursos fornecidos pelo componente de ingestão em lote. Dados brutos e refinados do aplicativo passam para a camada Persistir, Curar, Criar ao longo de caminhos separados. Os dados brutos são armazenados no armazenamento de objetos.

  Um bloco rotulado como Transferência em Massa (FastConnect, Transferência de Dados, Storage Gateway, CLI, SDK, API) trata dados em massa (arquivo) que, em seguida, passam para o bloco do Cloud Storage.

  Os dados de streaming são ingeridos por um bloco chamado Streaming Ingest (OCI Streaming, Service Connector Hub, Kafka Connect), que flui para o Cloud Storage (Object Storage), Streaming Processing (OCI Golden Gate, Streaming Analytics) ou Streaming Analytics (Golden Gate Stream Analytics).

• Persistir, Curar, Criar: Os dados são persistidos no lakehouse no Oracle Cloud Infrastructure Lakehouse ou no Object Storage ou em ambos. Ele é acessado por APIs e usado para análise, visualização e ciência de dados.

  Os dados processados e os dados de um compartilhamento de dados fornecem movimentos para um bloco dentro do lakehouse rotulado como Serving (Oracle Cloud Infrastructure Lakehouse). O lakehouse também inclui Cloud/Storage/Date Lake (Object Storage).

  O processamento adicional é fornecido pelo Processamento em Batch (Data Flow, OCI Data Integration, Data Integrator), pelo Ecossistema de Código Aberto (Big Data Service) e pelo Processamento de Stream (OCI GoldenGate Stream Analytics, OCI Data Flow). Os metadados passam para o bloco denominado Data Governance (Data Catalog).

• Camada de Análise, Aprendizado e Previsão: Os dados do Lakehouse são usados pelo Oracle Analytics Cloud para análise e visualização, pela Ciência de Dados e IA para inclinação e previsões, pelos serviços de IA e IA Generativa, pelo Data Labeling para enriquecimento de dados, pelo OCI Search para fornecer resultados para pessoas e parceiros e para aplicações e consumidores de IoT que usam uma API.

  Lakehouse e streaming de dados podem usar o Reverse ETL Writeback para fornecer dados a aplicativos e consumidores de IoT.

• Camada Medida e Ação: os Destinatários de Compartilhamento de Dados usam dados compartilhados, as pessoas e os parceiros usam dados analíticos, enquanto os aplicativos e os consumidores de IoT usam dados refinados.