Transforme Dados em um Autonomous Database em Tempo Real
Arquitetura
Esta arquitetura mostra como você pode implementar dados de streaming em tempo real com serviços gerenciados do Oracle Cloud Infrastructure Service Connector Hub.
A seguir estão alguns casos de uso do streaming de dados em tempo real:
- Análise: Para organizações que usam várias ferramentas, como Data Dog e Splunk, para processamento extra de dados e execução de análises agora a integração é possível com o suporte a ferramentas de terceiros.
- Arquivando Dados: Muitas organizações precisam armazenar logs, métricas e transmitir mensagens para conformidade e uso futuro. O Oracle Cloud Infrastructure Service Connector Hub ajuda a armazenar esses dados de forma barata a longo prazo.
- Notificações de Log: Para confiabilidade de site e banco de dados, você pode configurar alarmes e notificações para determinados erros, como 500 erros. Esses alarmes podem ser integrados ao serviço de monitoramento.
- Dados do Processo: Defina acionadores para o Oracle Functions para que os dados sejam pré-processados na integração com o Hub Conector do Serviço. Isso facilita o trabalho dos engenheiros de dados diretamente nos dados processados para análise de dados.
- Notificações de alteração de recursos da nuvem: o Service Connector Hub pode ser integrado para enviar notificações por e-mail, PagerDuty, Slack, Webhooks Personalizados.
- Visibilidade total sobre movimentação de dados: O Service Connector Hub oferece um destino de onde os administradores podem gerenciar e monitorar dados.
O diagrama a seguir ilustra essa arquitetura de referência.
Descrição da ilustração stream-data-adb-real-time.png
A arquitetura tem os seguintes componentes:
- Região
Uma região do Oracle Cloud Infrastructure é uma área geográfica localizada que contém um ou mais data centers, denominados domínios de disponibilidade. As regiões são independentes de outras regiões, e grandes distâncias podem separá-las (entre países ou mesmo continentes).
- Domínios de disponibilidade
Os domínios de disponibilidade são data centers independentes e independentes dentro de uma região. Os recursos físicos de cada domínio de disponibilidade são isolados dos recursos de outros domínios de disponibilidade, o que fornece tolerância a falhas. Os domínios de disponibilidade não compartilham infraestrutura como energia ou resfriamento ou a rede interna de domínios de disponibilidade. Portanto, uma falha em um domínio de disponibilidade provavelmente não afetará os outros domínios de disponibilidade na região.
- DRG (Dynamic Routing Gateway)
O DRG é um roteador virtual que fornece um caminho para o tráfego de rede privada entre uma VCN e uma rede fora da região, como uma VCN em outra região do Oracle Cloud Infrastructure, uma rede local ou uma rede em outro provedor de nuvem.
- Gateway de serviço
O gateway de serviço fornece acesso de uma VCN a outros serviços, como o Oracle Cloud Infrastructure Object Storage. O tráfego da VCN para o serviço Oracle viagens pela malha da rede Oracle e nunca atravessa a internet.
- Rede virtual na nuvem (VCN) e sub-redes
Uma VCN é uma rede personalizável definida por software que você configura em uma região do Oracle Cloud Infrastructure. Como as redes de data center tradicionais, as VCNs permitem controle total sobre seu ambiente de rede. Uma VCN pode ter vários blocos CIDR não sobrepostos que você poderá alterar após criar a VCN. Você pode segmentar uma VCN em sub-redes, que podem ter como escopo uma região ou um domínio de disponibilidade. Cada sub-rede consiste em um intervalo contíguo de endereços que não são sobrepostos com as outras sub-redes da VCN. Você pode alterar o tamanho de uma sub-rede após a criação. Uma sub-rede pode ser pública ou privada.
- Conectores de serviço
O Oracle Cloud Infrastructure Service Connector Hub é uma plataforma de barramento de mensagens na nuvem que orquestra a movimentação de dados entre serviços no OCI. Você pode usá-lo para mover dados entre serviços no Oracle Cloud Infrastructure. Os dados são movidos usando conectores de serviço. Um conector de serviço especifica o serviço de origem que contém os dados a serem movidos, as tarefas a serem executadas nos dados e o serviço de destino para o qual os dados devem ser entregues quando as tarefas especificadas são concluídas.
Você pode usar o Oracle Cloud Infrastructure Service Connector Hub para criar rapidamente um framework de agregação de logs para sistemas SIEM. Uma tarefa opcional pode ser uma tarefa de função para processar dados da origem ou de uma tarefa de filtro de log para filtrar dados de log da origem.
- Streaming
O Oracle Cloud Infrastructure Streaming oferece uma solução de armazenamento totalmente gerenciada, escalável e durável para a ingestão de fluxos de dados contínuos em alto volume, os quais você pode consumir e processar em tempo real. Você pode usar o Streaming para ingerir dados de alto volume, como logs de aplicativo, telemetria operacional, sequência de cliques na web ou para outros casos de uso nos quais os dados sejam produzidos e processados de modo contínuo e sequencial em um modelo de mensagem de publicação-assinatura.
- Funções
O Oracle Functions é uma plataforma Functions-as-a-Service (FaaS) totalmente gerenciada, multitenant, altamente escalável, sob demanda. Ele é ativado pelo mecanismo de código aberto do Fn Project. As funções permitem que você implante seu código e o chame diretamente ou acione-o em resposta a eventos. O Oracle Functions usa contêineres Docker hospedados no Oracle Cloud Infrastructure Registry.
- Banco de dados autônomo
Os bancos de dados autônomos do Oracle Cloud Infrastructure são ambientes de banco de dados totalmente gerenciados e pré-configurados que você pode usar para cargas de trabalho de processamento de transações e data warehousing. Não é necessário configurar ou gerenciar nenhum hardware ou instalar qualquer software. O Oracle Cloud Infrastructure controla a criação do banco de dados, bem como o backup, a aplicação de patches, a atualização e o ajuste do banco de dados.
- Gerenciamento de identidade e acesso (IAM)
O Oracle Cloud Infrastructure Identity and Access Management (IAM) permite controlar quem pode acessar seus recursos no Oracle Cloud Infrastructure e as operações que eles podem executar nesses recursos.
- Serviço de Auditoria
- Logs de auditoria: Logs relacionados a eventos emitidos pelo serviço Audit.
- Logs de serviço: Logs emitidos por serviços individuais, como Gateway de API, Eventos, Funções, Balanceamento de Carga, Armazenamento de Objetos e logs de fluxo da VCN.
- Logs personalizados: Logs que contêm informações de diagnóstico de aplicativos personalizados, outros provedores de nuvem ou um ambiente local.
Recomendações
- VCN
Quando você cria uma VCN, determine o número de blocos CIDR necessários e o tamanho de cada bloco com base no número de recursos que você planeja anexar a sub-redes na VCN. Use blocos CIDR que estejam dentro do espaço de endereço IP privado padrão.
Selecione blocos CIDR que não se sobreponham a nenhuma outra rede (no Oracle Cloud Infrastructure, seu data center local ou outro provedor de nuvem) para a qual você pretende configurar conexões privadas.
Depois de criar uma VCN, você poderá alterar, adicionar e remover seus blocos CIDR.
Ao projetar as sub-redes, considere seu fluxo de tráfego e os requisitos de segurança. Anexe todos os recursos dentro de uma camada ou função específica à mesma sub-rede, que pode servir como limite de segurança.
- Cloud Guard
Clone e personalize as receitas padrão fornecidas pela Oracle para criar detector personalizado e receitas de respondedor. Essas receitas permitem especificar que tipo de violações de segurança geram um aviso e quais ações podem ser executadas nelas. Por exemplo, talvez você queira detectar buckets do Object Storage que tenham visibilidade definida como pública.
Aplique o Cloud Guard no nível da tenancy para abranger o escopo mais amplo e reduzir o custo administrativo de manutenção de várias configurações.
Você também pode usar o recurso Lista Gerenciada para aplicar determinadas configurações aos detectores.
- Zonas de Segurança
Para recursos que exigem segurança máxima, a Oracle recomenda que você use zonas de segurança. Uma zona de segurança é um compartimento associado a uma receita definida pela Oracle de políticas de segurança que se baseiam nas melhores práticas. Por exemplo, os recursos em uma zona de segurança não podem ser acessados pela internet pública e devem ser criptografados usando chaves gerenciadas pelo cliente. Ao criar e atualizar recursos em uma zona de segurança, o Oracle Cloud Infrastructure valida as operações de acordo com as políticas na receita de zona de segurança e nega operações que violam qualquer uma das políticas.
- Modelo de início rápido da Zona de Destino do OCI CIS
Este modelo implanta um ambiente padronizado em uma tenancy do Oracle Cloud Infrastructure (OCI) que ajuda as organizações a cumprir o Benchmark do CIS OCI Foundations v1.1.