Este diagrama mostra a conversão de aplicativos empresariais, arquivos simples, eventos e dados de sensores de várias fontes por meio de componentes em uma região do Oracle Cloud Infrastructure em insights utilizáveis para consumidores de dados.

Os seguintes componentes se aplicam a toda a região do Oracle Cloud Infrastructure:

• Data Governance (Data Catalog) como parte de uma camada de Governança geral
• Segurança de Dados (Data Safe, Audit, Logging, Vault) como parte de uma camada de Governança geral e de uma camada de Infraestrutura, Segurança de Rede, IAM (Identity and Access Management)

A região é dividida em camadas funcionais que abrigam componentes físicos ou funcionais:

• Camada de Origens de Dados: Provedor de compartilhamento de dados, dispositivos, usuários finais, eventos, sensores, arquivos, qualquer origem de dados para qualquer tipo e aplicativos empresariais. Os metadados dos bancos de dados de aplicativos empresariais são coletados e fluem para o bloco Governança (Catálogo de Dados).

• Camada Connect, Ingest, Transform: Os dados são refinados em lote, API e ingestão de streaming, aproveitando diferentes serviços, dependendo do caso de uso.

  Um bloco rotulado de Ingestão em Lote (OCI Data Integration, Data Integrator, Data Transforms) lida com dados que são ingeridos e transformados em lotes ou micro lotes. Os dados brutos são armazenados no armazenamento de objetos.

  Um bloco rotulado de Ingestão Baseada em API (OIC, ORDS, Gateway de API, Funções) trata os dados que são APIs ingeridas. Os dados brutos são armazenados no armazenamento de objetos.

  Um bloco rotulado como Ingestão em Tempo Real (GoldenGate Service/OGG Marketplace) trata os dados que são ingeridos quase em tempo real. Os dados ingeridos em tempo real também são processados e refinados com os recursos fornecidos pelo componente de ingestão em lote. Os dados brutos e refinados do aplicativo passam para a camada Persistir, Curar, Criar ao longo de caminhos separados. Os dados brutos são armazenados no armazenamento de objetos.

  Um bloco rotulado como Transferência em Massa (FastConnect, Transferência de Dados, Gateway de Armazenamento, CLI, SDK, API) trata os dados em massa (arquivo) que são transmitidos para o bloco de Armazenamento na Nuvem.

  Os dados de streaming são ingeridos por um bloco chamado Ingestão de Streaming (OCI Streaming, Service Connector Hub, Kafka Connect), que, em seguida, flui para Armazenamento na Nuvem (Armazenamento de Objetos), Processamento de Streaming (OCI Golden Gate, Streaming Analytics) ou Streaming Analytics (Golden Gate Stream Analytics).

• Persistir, Curar, Criar: Os dados são persistidos no lakehouse no Oracle Autonomous Data Warehouse, no Object Storage ou em ambos. Ele é acessado por APIs e é usado para análise, visualização e ciência de dados.

  Os dados processados e os dados de um compartilhamento de dados fornecem movimentações para um bloco dentro do lakehouse chamado Serving (Oracle Autonomous Data Warehouse). O lakehouse também inclui Cloud/Storage/Date Lake (Armazenamento de Objetos).

  O processamento adicional é fornecido pelo Processamento em Batch (Data Flow, OCI Data Integration, Data Integrator), pelo Ecossistema de Código Aberto (Big Data Service) e Processamento de Streaming (OCI GoldenGate Stream Analytics, OCI Data Flow). Os metadados passam para o bloco chamado Data Governance (Data Catalog).

• Camada Analisar, Aprender, Prever: Os dados do Lakehouse são usados pelo Oracle Analytics Cloud para análise e visualização, pelo Data Science e AI para inclinação e previsões, pelos serviços de IA e IA generativa, pelo Data Labeling para enriquecimento de dados, pelo OCI Search para fornecer resultados para pessoas e parceiros e para aplicações e consumidores do IoT que usam uma API.

  Os dados do Lakehouse e do streaming podem usar o Writeback ETL Reverso para fornecer dados a aplicativos e consumidores do IoT.

• Camada Medida, Ação: Os destinatários de compartilhamento de dados usam dados compartilhados, as pessoas e os parceiros usam dados analíticos, enquanto os aplicativos e os consumidores do IoT usam dados refinados.