Saiba Mais Sobre a Conexão de Fluxos de Dados em Tempo Real com o Oracle Autonomous Database

O streaming de dados em tempo real para sua plataforma de data warehouse para processar e gerar relatórios informativos pode ser uma tarefa desafiadora.

Quando o JSON é usado para streaming de formatos de dados, a conversão de dados pode ser um desafio. Nesta solução, você aprenderá a usar recursos do Oracle Cloud Infrastructure como o Oracle GoldenGate Stream Analytics para transmitir dados Kafka para o Oracle Autonomous Database.

Antes de Começar

Antes de começar, conclua a seguinte instalação do Oracle Live Labs:

• Instale uma instância do Autonomous Database otimizada para cargas de trabalho de data warehousing

Arquitetura

Essa arquitetura mostra Kafka Streams locais, Oracle Stream Analytics e Oracle Autonomous Database em uma região do OCI.

Use essa arquitetura para ingerir dados de um fluxo Kafka local no Oracle GoldenGate Stream Analytics (GGSA).

Descrição da ilustração kafka-stream-adb-goldengate-arch.png

kafka-stream-adb-goldengate-arch.zip

1. A região do OCI que contém GGSA ingere dados dos fluxos Kafka locais.
2. O GGSA transmite e converte os dados JSON em dados relacionais.
3. O GGSA armazena os dados em uma tabela relacional no Autonomous Database.

Essa arquitetura oferece suporte aos seguintes componentes:

• Streams do Kafka

  O Kafka Streams é uma biblioteca de clientes para criar aplicativos e microsserviços, na qual os dados de entrada e saída são armazenados em clusters Kafka. Ele combina a simplicidade de escrever e implantar aplicativos Java e Scala padrão no lado do cliente com os benefícios da tecnologia de cluster do lado do servidor do Kafka.

  O Kafka Streams simplifica muito o processamento de fluxos de tópicos. Criado com base nas bibliotecas de clientes Kafka, ele fornece paralelismo de dados, coordenação distribuída, tolerância a falhas e escalabilidade. O Kafka Streams usa os conceitos de partições e tarefas como unidades lógicas fortemente vinculadas às partições de tópicos. Além disso, ele usa threads para processo paralelo em uma instância do aplicativo. Outro recurso importante suportado são as lojas de estado, usadas pelo Kafka Streams para armazenar e consultar dados provenientes dos tópicos.

  Os fluxos do Oracle GoldenGate for Kafka Handler mudam os dados de captura de uma trilha do Oracle GoldenGate para um tópico do Kafka.

• Oracle GoldenGate

  O Oracle Cloud Infrastructure GoldenGate é um serviço totalmente gerenciado que permite a ingestão de dados de origens que residem on-premises ou em qualquer nuvem, aproveitando a tecnologia CDC GoldenGate para uma captura de dados e entrega não intrusiva e eficiente no Oracle Autonomous Data Warehouse em tempo real e em escala, a fim de disponibilizar informações relevantes aos clientes o mais rápido possível.

• Autonomous Database

  O Oracle Cloud Infrastructure Autonomous Database é um ambiente de banco de dados totalmente gerenciado e pré-configurado que você pode usar para cargas de trabalho de processamento de transações e data warehousing. Não é necessária a configuração ou o gerenciamento de qualquer hardware ou a instalação de qualquer software. O Oracle Cloud Infrastructure trata da criação do banco de dados, bem como do backup, da aplicação de patches, do upgrade e do ajuste do banco de dados.

Sobre Funções e Serviços Obrigatórios

Esta solução requer os seguintes serviços e atribuições:

• Oracle Autonomous Data Warehouse

• Análise de Fluxo do Oracle GoldenGate (GGSA)

• Oracle Cloud Infrastructure

Essas são as atribuições necessárias para cada serviço.

Nome do Serviço: Atribuição	Obrigatório para...
Oracle Autonomous Data Warehouse: administrador	Crie as credenciais.
Análise de Fluxo do Oracle GoldenGate: admin	Acessar o console GGSA.
Oracle Cloud Infrastructure: admin	Instale o GGSA do Marketplace. Configurar o produtor Kafka para ingerir dados. Conecte o GGSA para Kafka ao Autonomous Database.

Consulte Saiba como obter os serviços do Oracle Cloud para Soluções Oracle para obter os serviços de nuvem necessários.