Saiba mais sobre os tópicos do Streaming Kafka para o Oracle Autonomous Database usando o Oracle Integration 3
Os tópicos do Kafka têm vários casos de uso e os dados precisam ser constantemente recebidos e processados. Há várias maneiras de consumir um Kafka de streaming no Oracle Cloud Infrastructure (OCI).
Neste manual de soluções, usamos o Oracle Integration 3 para capturar mensagens de streaming do Kafka do Oracle GoldenGate Stream Analytics e armazenar os dados no Oracle Autonomous Database. O Oracle GoldenGate Stream Analytics permite que os usuários criem pipelines escaláveis de transformação e análise de dados para insights de negócios ágeis em tempo real. Você também pode consumir um fluxo Kafka de uma instância local.
Antes de Começar
Você deve fazer download e instalar o Kafka em seu ambiente e os seguintes tópicos do Kafka, os produtores devem estar ativos e em execução para produzir mensagens.
Arquitetura
Essa arquitetura mostra Kafka Streams locais, Oracle Integration 3, Oracle GoldenGate Stream Analytics e Oracle Autonomous Database em uma região da OCI.
Use essa arquitetura para capturar mensagens de streaming do Kafka de um stream do Kafka local ou do Oracle GoldenGate Stream Analytics para o Oracle Autonomous Database usando o Oracle Integration 3.
A região do OCI que contém o Oracle Integration 3 ingere dados dos fluxos do Kafka locais ou do Oracle GoldenGate Stream Analytics.
O Oracle Integration 3 armazena os dados em uma tabela relacional no Oracle Autonomous Database.
Essa arquitetura suporta os seguintes componentes:
- Streams do Kafka
O Kafka Streams é uma biblioteca cliente para criar aplicativos e microsserviços, onde os dados de entrada e saída são armazenados em clusters Kafka. Ele combina a simplicidade de escrever e implementar aplicativos Java e Scala padrão no lado do cliente com os benefícios da tecnologia de cluster do lado do servidor do Kafka.
- Autonomous Database
O Oracle Autonomous Database é um ambiente de banco de dados totalmente gerenciado e pré-configurado que você pode usar para cargas de trabalho de processamento de transações e data warehousing. Você não precisa configurar nem gerenciar nenhum hardware, nem instalar nenhum software. O Oracle Cloud Infrastructure trata da criação, backup, aplicação de patches, upgrade e ajuste do banco de dados.
- Oracle Integration 3
O Oracle Integration 3 é um ambiente totalmente gerenciado e pré-configurado que permite integrar seus aplicativos da nuvem e on-premises, automatizar processos de negócios, desenvolver aplicativos visuais, usar um servidor de arquivos compatível com SFTP para armazenar e recuperar arquivos e trocar documentos de negócios com um parceiro comercial do B2B.
- Análise de Stream do Oracle GoldenGate
O GoldenGate Stream Analytics permite a criação de painéis operacionais personalizados que fornecem monitoramento e análises em tempo real de fluxos de eventos em um sistema baseado no Apache Spark. Ele permite que os clientes identifiquem eventos de interesse em seu sistema baseado no Apache Spark, executem consultas com esses fluxos de eventos em tempo real e conduzam painéis operacionais ou gerem alertas com base nessa análise.
- Oracle SQL Developer
O Oracle SQL Developer é um ambiente de desenvolvimento gratuito e integrado que simplifica o desenvolvimento e o gerenciamento do Oracle Database em implantações tradicionais na Nuvem. O SQL Developer oferece desenvolvimento completo de ponta a ponta de suas aplicações PL/SQL, uma planilha para executar consultas e scripts, uma console de DBA para gerenciar o banco de dados, uma interface de relatórios, uma solução completa de modelagem de dados e uma plataforma de migração para mover seus bancos de dados de 3 partes para a Oracle.
Sobre Produtos e Funções Necessários
Esta solução requer os seguintes produtos e funções:
- Oracle Autonomous Database
- Oracle Integration 3
- Oracle Cloud Infrastructure
- Análise de Stream do Oracle GoldenGate
Essas são as atribuições necessárias para cada serviço.
| Nome do Produto: Função | Obrigatório para... |
|---|---|
| Oracle Autonomous Database: administrador | Crie as credenciais. |
| Oracle Integration 3: administrador | Crie as credenciais. |
| Oracle Cloud Infrastructure : administrador | Crie e gerencie recursos do OCI. |
| Oracle GoldenGate Stream Analytics: administrador | Configure o produtor Kafka para ingerir dados. |
Consulte Produtos, Soluções e Serviços Oracle para obter o que você precisa.