Crie um data lakehouse para análise de inventário de varejo
Os clientes do setor de alimentos relatam a mercadoria fora do estoque como um motivo importante para uma experiência de compra ruim. Além da disponibilidade do produto, os consumidores também esperam que o tempo da loja seja curto e eficiente. Agora, mais do que nunca, os varejistas devem fornecer uma experiência de compra perfeita e o elemento-chave para fazer isso acontecer é dados.
Os varejistas querem capturar uma riqueza de dados e transformar em soluções de big data baseadas em nuvem para agregar e gerenciar dados para visibilidade de estoque em tempo real. Um data lake projetado no Oracle Cloud Infrastructure (OCI) pode capturar, gerenciar e obter informações a partir de dados produzidos de pontos de venda, inventário, clientes e sistemas operacionais para entender o gerenciamento de inventário em tempo real.
Esta arquitetura de referência apresenta uma topologia de plataforma, visão geral do componente e melhores práticas recomendadas para implementar um data lakehouse bem-sucedido em OCI.
- Os clientes, que interagem com o comerciante on-line (Web ou móvel), com coleta ou entrega, ou fisicamente nas lojas, seja por interação com um funcionário da loja ou por meio de máquinas de autoatendimento.
- Os gerentes de loja, que desejam ter visibilidade sobre como os produtos e as categorias de produtos estão vendendo, obtêm insights preditivos como o consumo de inventário e geram ações automáticas, por exemplo, aquisições automatizadas.
- Gerenciamento superior, interessado em análises avançadas em tempo real com recursos de visualização, geração de relatórios e IA.
- Cientistas de dados, trabalhando em big data, com quantidade de dados crescente e número de fontes, exigindo rápido processamento e flexibilidade para implementar modelos facilmente.
- Desenvolvedores com pouca codificação, trabalhando em aplicativos existentes e novos orientados por dados, com foco na simplicidade e com o menor tempo possível gasto no gerenciamento de segurança e operações.
Arquitetura
Uma das principais complexidades do negócio de varejo é a multiplicidade de sistemas e modelos de dados e tipos, bem como uma quantidade cada vez maior de dados. Esse desafio exige simplificação e consolidação, que é algo que uma arquitetura de data lakehouse do OCI pode ajudar a realizar.
O diagrama a seguir apresenta a arquitetura de referência conceitual do business lakehouse.
Descrição da ilustração varejo-lakehouse-arch.png
O Autonomous Data Warehouse (ADW) é uma das partes centrais da arquitetura do data lakehouse do OCI. Ele automatiza o provisionamento, a configuração, a proteção, o ajuste, o dimensionamento e o backup do data warehouse. Inclui ferramentas para carregamento de dados de autoatendimento, transformações de dados, modelos de negócios, insights automáticos e recursos incorporados de banco de dados convergidos que permitem consultas mais simples em vários tipos de dados e análise de aprendizado de máquina. O aprendizado de máquina no ADW oferece a vantagem de ter algoritmos adequados onde os dados são, para obter um desempenho máximo. O ADW é totalmente integrado ao OCI Object Storage, que serve como um data lake, como um armazenamento ilimitado e de baixo custo para dados não estruturados.
As iniciativas de ciência de dados e aprendizagem de máquina podem resultar em resultados como previsões de vendas inteligentes com base na temporada, ocorrência de campanhas de marketing, características da população de clientes (por exemplo, grupos etários) e localização, com o Oracle Spatial & Graph fornecendo o suporte necessário ao local. Tais iniciativas podem ser suportadas pelos notebooks OML do ADW (com base no Apache Zeppelin) e acessíveis por meio do OAC, usando a Ciência de Dados (centrada no JupyterLab/Python), e o Oracle APEX apresenta uma imagem como o padrão ouro para aplicativos personalizados de baixo código.
Os diferentes canais pelos quais os clientes interagem com o comerciante, como visível no diagrama e mencionado acima, geralmente dependem de aplicativos personalizados. O Oracle Container Engine for Kubernetes é uma plataforma robusta que oferece escalabilidade e controle adicional sobre microsserviços e aplicativos.
Um exemplo de uso moderno de IA para empresas é o assistente digital. Nesse caso de uso, os assistentes digitais orientados por IA são usados, com base nos dados de lakehouse, para uma interface de conversação para aplicativos e quiosques com recomendações acionáveis.
- Marketing: Analise as mídias sociais, as revisões e as notícias para ver o que os clientes e especialistas do setor estão dizendo sobre seu produto. Veja o que eles fazem e não gostam, quais recursos novos desejam e como você se compara aos seus concorrentes.
- Suporte ao cliente: Classifique os tíquetes de suporte por produto e departamento, para que os ingressos cheguem à equipe apropriada com mais rapidez. Use a análise de sentimento para identificar pontos problemáticos urgentes e priorizar tíquetes.
- Recursos humanos: automatize a triagem de currículos usando o reconhecimento de entidades para identificar as principais habilidades e escolaridade. Classifique o feedback dos funcionários usando a análise de sentimentos e o reconhecimento de entidades para identificar os pontos problemáticos mais comuns entre os funcionários e os próximos passos a serem seguidos.
Com o data lakehouse, você pode aproveitar dados de qualquer lugar e normalizados em tempo real, executar IA/AM incorporadas em escala de Exadata, expandir/reduzir automaticamente a qualquer momento (ADW) e depender de controles de segurança avançados para reduzir significativamente os riscos.
- O Oracle ERP, CRM, POS e plataformas externas enviam dados e eventos para o data lakehouse, em tempo real ou por meio de processamento em lote, com a ajuda do Oracle GoldenGate e do Oracle Data Integration.
- O Oracle Integration Cloud, neste exemplo, desempenha a função adicional de enviar dados do data lakehouse para o Oracle Procurement, por meio do qual os fornecedores podem ser notificados sobre as ordens de compra colocadas automaticamente.
- O ADW usa um acelerador de consultas para consulta rápida e fácil do data lake do serviço Object Storage.
- O API Gateway escalável expõe dados em escala para aplicativos
- O Oracle Analytics Cloud e o Oracle Data Science integram-se perfeitamente aos serviços do data lakehouse.
- Autonomous Data Warehouse
Um banco de dados autônomo totalmente gerenciado da Oracle e de dimensionamento automático que inclui o Oracle Machine Learning. Os cientistas de dados podem criar, avaliar, classificar e implantar modelos de machine learning usando recursos do Oracle Machine Learning no banco de dados e a interface de Notebooks relacionada.
- Armazenamento de Objetos
O OCI Object Storage é uma plataforma de armazenamento de alto desempenho em escala de internet que oferece durabilidade de dados confiável e econômica. O Object Storage pode armazenar uma quantidade ilimitada de dados não estruturados de qualquer tipo de conteúdo, incluindo dados analíticos. Você pode armazenar ou recuperar dados de forma segura e protegida diretamente da internet ou de dentro da plataforma de nuvem. Várias interfaces de gerenciamento permitem que você comece com facilidade e dimensione sem problemas, sem prejudicar o desempenho ou a confiabilidade do serviço.
O Object Storage também pode ser usado como camada de armazenamento a frio para o data warehouse armazenando dados que são usados raramente e, em seguida, juntando-os perfeitamente aos dados mais recentes usando tabelas híbridas no Oracle Autonomous Data Warehouse.
- Catálogo de Dados
O OCI Data Catalog é uma solução de governança e descoberta de dados de autoatendimento totalmente gerenciada para os dados da empresa. O serviço Data Catalog oferece um único ambiente colaborativo para gerenciar metadados técnicos, de negócios e operacionais.
- Oracle Analytics Cloud
O Oracle Analytics Cloud é um serviço de nuvem pública escalável e seguro que permite aos analistas de negócios recursos modernos de análise avançada de autoatendimento com tecnologia de IA para preparação de dados, visualização, relatórios empresariais, análise aumentada e geração e processamento de linguagem natural. Com o Oracle Analytics Cloud, você também obtém recursos flexíveis de gerenciamento de serviços, incluindo configuração rápida, dimensionamento e aplicação de patches fáceis e gerenciamento automatizado do ciclo de vida.
O Oracle Analytics Cloud está integrado ao Oracle Machine Learning. Essa integração permite que os analistas listem modelos disponíveis no banco de dados e usem esses modelos em análises e painéis do Oracle Analytics Cloud. A Visualização de Dados do OAC permite que os usuários apliquem modelos de aprendizagem de máquina predefinidos ou próprios modelos treinados enquanto visualizam dados.
- Serviço Data Science
O OCI Data Science é uma plataforma totalmente gerenciada sem servidor para que as equipes de ciência de dados construam, treinem e gerenciem modelos de aprendizagem de máquina (AM) usando o OCI. Ele pode facilmente se integrar a outros serviços OCI, como Autonomous Data Warehouse, Object Storage e muito mais. Você pode criar e avaliar modelos de machine learning de alta qualidade, aumentar a flexibilidade dos negócios colocando dados confiáveis da empresa para trabalhar rapidamente e oferecer suporte aos objetivos de negócios orientados a dados com uma implantação mais fácil de modelos de AM.
O Data Science integra-se ao restante da pilha do OCI, incluindo os serviços Functions, Data Flow, Autonomous Data Warehouse e Object Storage. O Oracle Accelerated Data Science (ADS) software developer kit (SDK) é uma biblioteca Python incluída como parte do serviço OCI Data Science, que tem muitas funções e objetos que automatizam ou simplificam as etapas do workflow Data Science, incluindo conexão com dados, exploração e visualização de dados, treinamento de um modelo com AutoML, avaliação de modelos e explicação de modelos. O ADS também fornece uma interface simples para acessar o catálogo de modelos de serviço Data Science e outros serviços OCI, incluindo Armazenamento de Objetos.
- Oracle Data Integration
Use a Integração de Dados do OCI para um fluxo de dados ideal entre sistemas. Ele suporta desenvolvimento de fluxo de dados e ETL declarativo, sem código ou com pouco código.
- GoldenGate
O Oracle Cloud Infrastructure GoldenGate é um serviço gerenciado que fornece uma plataforma de malha de dados em tempo real, que usa replicação para manter os dados altamente disponíveis e ativar a análise em tempo real. Os clientes podem projetar, executar e monitorar sua replicação de dados e simplificar soluções de processamento de dados sem a necessidade de alocar ou gerenciar ambientes de computação.
- API Gateway
O serviço API Gateway permite que você publique APIs com pontos finais privados acessíveis na sua rede e que você pode expor à internet pública, se necessário. Os pontos finais suportam validação de API, transformação de solicitação e resposta, CORS, autenticação e autorização e limitação de solicitação.
- Rede virtual na nuvem
Uma de suas primeiras etapas no OCI é configurar uma VCN (rede virtual na nuvem) para seus recursos de nuvem. Uma VCN é uma rede definida por software que você configura em uma região do OCI. As VCNs podem ser segmentadas em sub-redes, que podem ser específicas de uma região ou de um domínio de disponibilidade. As sub-redes específicas da região e específicas do domínio de disponibilidade podem coexistir na mesma VCN. Uma sub-rede pode ser pública ou privada.
- Container Engine for Kubernetes
O OCI Container Engine for Kubernetes é um serviço totalmente gerenciado, escalável e altamente disponível que você pode usar para implantar seus aplicativos de contêineres na nuvem. Você especifica os recursos de computação necessários para os seus aplicativos, e o Container Engine for Kubernetes os provisiona no Oracle Cloud Infrastructure em uma tenancy existente. O Serviço Container Engine for Kubernetes usa o Kubernetes para automatizar a implantação, o dimensionamento e o gerenciamento de aplicativos de contêineres entre clusters de hosts.
- Registro
O OCI Registry é um registro gerenciado pela Oracle que permite simplificar seu workflow de desenvolvimento para produção. O registro facilita o armazenamento, o compartilhamento e o gerenciamento de artefatos de desenvolvimento, como imagens do Docker. A arquitetura altamente disponível e escalável do Oracle Cloud Infrastructure garante que você possa implantar e gerenciar seus aplicativos de forma confiável.
Recomendações
- VCN
Quando você cria uma VCN, determine o número de blocos CIDR necessários e o tamanho de cada bloco com base no número de recursos que você planeja anexar a sub-redes na VCN. Use blocos CIDR que estejam dentro do espaço de endereço IP privado padrão.
Selecione blocos CIDR que não se sobreponham a nenhuma outra rede (no Oracle Cloud Infrastructure, seu data center local ou outro provedor de nuvem) para a qual você pretende configurar conexões privadas.
Depois de criar uma VCN, você poderá alterar, adicionar e remover seus blocos CIDR.
Ao projetar as sub-redes, considere seu fluxo de tráfego e os requisitos de segurança. Anexe todos os recursos dentro de uma camada ou função específica à mesma sub-rede, que pode servir como limite de segurança.
- Segurança
Use políticas para restringir quem pode acessar os recursos do OCI que sua empresa tem e como eles podem acessá-los.
Use o Oracle Cloud Guard para monitorar e manter a segurança dos seus recursos no OCI de forma proativa. O Cloud Guard usa receitas de detector que você pode definir para examinar seus recursos quanto a pontos fracos na segurança e para monitorar operadores e usuários em busca de atividades arriscadas. Quando qualquer atividade de configuração incorreta ou insegura é detectada, o Cloud Guard recomenda ações corretivas e ajuda com essas ações, com base nas receitas do respondedor que você pode definir. Para recursos que exigem segurança máxima, a Oracle recomenda que você use zonas de segurança. Uma zona de segurança é um compartimento associado a uma receita definida pela Oracle de políticas de segurança que se baseiam nas melhores práticas. Por exemplo, os recursos em uma zona de segurança não podem ser acessados pela internet pública e devem ser criptografados usando chaves gerenciadas pelo cliente. Quando você cria e atualiza recursos em uma zona de segurança, o OCI valida as operações em relação às políticas na receita de zona de segurança e nega operações que violam qualquer uma das políticas.
- Autonomous Data Warehouse
O Object Storage oferece durabilidade de dados confiável e econômica, oferecendo acesso rápido a grandes quantidades de dados estruturados e não estruturados de qualquer tipo de conteúdo, incluindo dados de banco de dados, dados analíticos, imagens, vídeos e muito mais. Recomendamos o uso do armazenamento padrão para ingerir dados de fontes externas e usá-los para processamento posterior, uma vez que ele pode acessar com rapidez e frequência. Você pode criar uma política de ciclo de vida para mover os dados para o armazenamento a frio do padrão quando ele não for mais necessário com frequência.
- Serviço Data Catalog
Catálogo de Dados Para ter uma visão completa e holística completa dos dados armazenados e que fluem na plataforma, considere a coleta não apenas dos armazenamentos de dados que suportam a camada de persistência de dados, mas também dos armazenamentos de dados de origem. O mapeamento desses metadados técnicos coletados para o glossário de negócios e aprimorá-los com propriedades personalizadas permite mapear conceitos de negócios e documentar e controlar definições de segurança e acesso.
Para facilitar a criação de tabelas externas do Oracle Autonomous Data Warehouse que virtualizam dados armazenados no Oracle Cloud Infrastructure Object Storage, aproveite os metadados anteriormente coletados pelo Oracle Cloud Infrastructure Data Catalog. Isso simplifica a criação de tabelas externas, impõe a consistência dos metadados entre armazenamentos de dados e é menos suscetível a erros humanos.