Implemente um fluxo de trabalho de machine learning escalável usando o Oracle AI Data Platform e o OCI Data Science
A solução combina os pontos fortes de ambas as plataformas:
- Plataforma de Dados de IA: Fornece gerenciamento de dados centralizado e controlado, processamento Spark em larga escala, orquestração de fluxo de trabalho e uma arquitetura de dados medalhão.
- Data Science: Fornece um ambiente de runtime flexível e uma infraestrutura para desenvolvimento de machine learning baseado em notebook e job, implantação de modelo e serviço de modelo para cargas de trabalho de produção.
Essa arquitetura foi projetada para oferecer suporte a plataformas de dados empresariais centralizadas, processamento de dados em larga escala, cargas de trabalho de machine learning de média a grande escala e colaboração entre engenheiros e cientistas de dados.
Os casos de uso típicos incluem:
- Previsão de varejo: geração de previsões de demanda diárias com base em dados históricos e recém-inseridos.
- Otimização da renovação de seguros: Otimização dos preços de renovação de seguros para maximizar as margens e, ao mesmo tempo, satisfazer as restrições de negócios. Um novo lote de ofertas de renovação é gerado a cada semana.
- Monitoramento de eventos de log de telecomunicações e detecção de desvios: análise de fluxos de eventos operacionais em larga escala para detectar desvios de dados, identificar anomalias e gerar relatórios e insights diários.
Arquitetura
Este diagrama ilustra esta arquitetura de referência.
Descrição da ilustração aidp-ml-workloads-architecture.png
aidp-ml-workloads-architecture-oracle.zip#GUID-73867B97-5BE4-434A-85C4-097DB840B323
A arquitetura é dividida em quatro domínios principais.
Plataforma de Dados de IA (AIDP)
A AI Data Platform é responsável pela ingestão, transformação, governança e preparação de dados.
- Integração de Dados: Ingestão de dados de diversas fontes corporativas usando várias ferramentas, como OCI Data Integration e OCI Streaming com Apache Kafka
- AI Lakehouse: Armazenamento escalável e dinâmico
- Fluxos de trabalho do Spark: Processamento e transformação de dados escaláveis usando a arquitetura medalhão com camadas Bronze, Silver e Gold
- Fluxo do Agente: Interações de dados de linguagem natural
Esses recursos são criados e gerenciados principalmente por engenheiros de dados.
Plataforma do Serviço Data Science
O serviço Data Science gerencia o ciclo de vida do machine learning, com diferentes recursos usados durante as fases de P&D e produção.
A fase de P&D inclui:
- Sessões de Notebook: Experimentação de ML e treinamento de modelo
- Catálogo de Modelos: Controle de versão e gerenciamento de modelos
- Implantação de Modelo: Implantação para serviço de modelo sclalable
A fase de produção inclui Automação de Jobs Programada para pipelines de inferência de lote repetíveis e automação de produção
Monitoramento da OCI
O OCI Monitoring fornece visibilidade operacional centralizada em ambas as plataformas para monitoramento, visualização e alerta relacionados à divergência de dados e à divergência de modelos. O OCI Monitoring ajuda a garantir a confiabilidade operacional e a prontidão da produção.
Interação da Plataforma
A interação entre a plataforma Data Science e a Plataforma de Dados de IA serve principalmente para as seguintes finalidades:
- A plataforma do serviço Data Science recupera dados gerenciados pela AI Data Platform para treinamento de modelo (dados históricos) e automação de produção (novos casos que exigem pontuação).
- A plataforma do serviço Data Science enriquece os dados adicionando pontuações de previsão para casos recém-processados.
A camada de dados usada para treinamento e automação de produção pode variar entre os aplicativos, dependendo do esquema e da arquitetura definidos pelo engenheiro de dados. Em muitos casos, os dados são provenientes da camada Silver curada, mas também podem vir das camadas Bronze ou Ouro, ou de uma combinação de várias camadas.
Da mesma forma, os dados enriquecidos que contêm pontuações de previsão são frequentemente gravados na camada Gold, mas também podem ser armazenados em outras camadas de dados, dependendo dos requisitos e da arquitetura de dados do aplicativo.
Os dados usados para detecção de desvio de dados podem se originar das camadas Bronze, Silver ou Gold, dependendo do caso de uso específico e da arquitetura de dados.
Componentes da Arquitetura
- Oracle AI Data Platform
A Oracle AI Data Platform é uma plataforma unificada que simplifica a catalogação, preparação e análise de dados em toda a sua propriedade de dados. Ele reúne dados, IA, análises e governança em uma experiência de usuário coesa, permitindo que você crie aplicativos seguros e escaláveis com tecnologia de IA. O Oracle AI Data Platform unifica o Autonomous AI Lakehouse, o Oracle Analytics Cloud, o OCI Object Storage, a OCI Generative AI e o Fusion Data Intelligence.
Nessa plataforma, o Oracle AI Data Platform Workbench fornece um ambiente de desenvolvimento dedicado para você projetar, orquestrar e implantar pipelines e modelos de dados, definir políticas de RBAC e usar tecnologias de código-fonte aberto, como o Spark, para preparar, analisar e enriquecer seus dados.
- Integração de dados da OCI
O Oracle Cloud Infrastructure Data Integration é um serviço totalmente gerenciado e sem servidor para projetar e executar pipelines de dados. Ele permite a extração, transformação e carregamento contínuos de dados em destinos da OCI, como Autonomous AI Lakehouse e OCI Object Storage. Os usuários podem criar fluxos de integração por meio de uma interface intuitiva e sem código que dimensiona automaticamente os ambientes de execução. Ele suporta ETL com processamento baseado em Spark e ELT usando o SQL Pushdown para desempenho e eficiência. O serviço também oferece ferramentas para preparação de dados e protege contra a divergência de esquema com tratamento baseado em regras.
- Data Science
O Oracle Cloud Infrastructure Data Science é uma plataforma totalmente gerenciada e serverless que as equipes de ciência de dados podem usar para criar, treinar e gerenciar modelos de machine learning (ML) na OCI. Ele pode ser facilmente integrado a outros serviços da OCI, como Oracle Autonomous AI Lakehouse, Oracle Cloud Infrastructure Object Storage e muito mais. Você pode criar e avaliar modelos de machine learning de alta qualidade que aumentam a flexibilidade dos negócios, colocando os dados confiáveis da empresa para funcionar rapidamente e pode oferecer suporte a objetivos de negócios orientados por dados com implementação mais fácil de modelos de ML.
- OCI Identity and Access Management
O Oracle Cloud Infrastructure Identity and Access Management (IAM) fornece controle de acesso do usuário para OCI e Oracle Cloud Applications. A API do IAM e a interface do usuário permitem gerenciar domínios de identidades e os recursos dentro deles. Cada domínio de identidades do OCI IAM representa uma solução independente de gerenciamento de identidades e acessos ou outra população de usuários.
- Monitoramento do OCI
O Oracle Cloud Infrastructure Monitoring monitora ativa e passivamente seus recursos de nuvem e usa alarmes para notificá-lo quando as métricas atendem aos acionadores especificados.
- OCI Object Storage
O OCI Object Storage oferece acesso a grandes quantidades de dados estruturados e não estruturados de qualquer tipo de conteúdo, incluindo backups de banco de dados, dados analíticos e conteúdo avançado como imagens e vídeos. Você pode armazenar dados com segurança diretamente de aplicativos ou de dentro da plataforma de nuvem. Você pode dimensionar o armazenamento sem sofrer qualquer degradação no desempenho ou na confiabilidade de serviço.
Use armazenamento padrão para armazenamento "quente" que você precisa acessar com rapidez, rapidez e frequência. Use armazenamento de arquivo compactado para armazenamento "frio" que você retém por longos períodos de tempo e acesso raro.
- Região da OCI
Uma região do OCI é uma área geográfica localizado que contém um ou mais data centers, hospedando domínios de disponibilidade. Regiões são independentes de outras regiões, e grandes distâncias podem separá-las (em países ou mesmo continentes).
- Gateway de serviço
Um gateway de serviço fornece acesso de uma VCN a outros serviços, como o Oracle Cloud Infrastructure Object Storage. O tráfego da VCN para o serviço Oracle atravessa a malha de rede Oracle e não atravessa a internet.
- OCI Streaming
O Oracle Cloud Infrastructure Streaming fornece uma solução para armazenamento totalmente gerenciada, escalável e durável para a ingestão de streams contínuos de alto volume de dados que você pode acessar e processar em tempo real. Você pode usar o OCI Streaming para ingerir dados de alto volume, como logs de aplicativos, telemetria operacional, dados de sequência de cliques da web; ou para outros casos em que os dados sejam produzidos e processados de forma contínuo e sequencial em um modelo de mensagens publicar-assinar.
- Rede e sub-rede virtual na nuvem da OCI
VCN (rede virtual na nuvem) é uma rede personalizável definida por software que você configura em uma região do OCI. Assim como as redes tradicionais do data center, as VCNs dão a você controle sobre seu ambiente de rede. Uma VCN pode ter vários blocos de CIDR (Classless Inter-domain Routing) não sobrepostos que você pode alterar após criar a VCN. Você pode segmentar uma VCN em sub-redes, com escopo definido para uma região ou para um domínio de disponibilidade. Cada sub-rede consiste em um intervalo contíguo de endereços que não se sobrepõem a outras sub-redes da VCN. Você pode alterar o tamanho de uma sub-rede após a criação. Uma sub-rede pode ser pública ou privada.
Recomendações
Seus requisitos podem ser diferentes.
- Automatize pipelines de inferência repetíveis usando Jobs e programações do serviço Data Science.
- Use as ferramentas de Implantação e Serviço do Serviço Data Science para dar suporte ao dimensionamento, ao monitoramento operacional e à reprodutibilidade.
- Monitore cargas de trabalho de machine learning de produção para integridade operacional, desvio de dados e desvio de modelos.
- Estabeleça uma propriedade operacional clara entre as equipes de Engenharia de Dados e Ciência de Dados.
Considerações
- Implemente as políticas do OCI Identity and Access Management e do controle de acesso baseado em atribuição (RBAC) em ambas as plataformas.
- Monitore as cargas de trabalho de produção para integridade operacional, desvio de dados e desvio de modelos.
- Use armazenamento controlado escalável para retenção e análise de dados de longo prazo.