1. Transmita tópicos do Kafka para o Oracle Autonomous Database usando o Oracle Integration 3
  2. Conectar Dados do Kafka Streams ao Oracle Autonomous Database

Conecte os Dados do Kafka Streams ao Oracle Autonomous Database

Você pode criar uma instância de computação e instalar o Kafka para enviar mensagens como Produtor ou usar as etapas a seguir na Console do OCI.

  1. Faça log-in no console da OCI e vá para Marketplace.
  2. Em Todos os Aplicativos, procure GoldenGate Stream Analytics.
  3. Clique em Ativar Pilha.
  4. Forneça detalhes da VCN e adicione uma chave Pública SSH para fazer log-in na instância do Stream Analytics GoldenGate usando a chave Privada posteriormente.

    Observação:

    Esta instância do Stream Analytics GoldenGate tem um exemplo incorporado de Kafka Streams (Produtores) instalado, se você tiver seus próprios Kafka Streams, poderá usá-los também.

Criar um Autonomous Database

  1. Clique em Oracle Database no menu superior esquerdo e, em seguida, clique em Autonomous Database.
  2. Na home page Autonomous Databases, clique em Criar Autonomous Database.
  3. Selecione um Compartimento no qual você deseja criar o Banco de Dados.
  4. Nome para exibição: Digite uma descrição simplificada ou outras informações que ajudem a identificar facilmente o Autonomous Database.
  5. Nome do banco de dados: Forneça um nome para o novo Autonomous Database.
  6. Escolha o Tipo de carga de trabalho como Data Warehouse.
  7. Escolha o Tipo de implantação como Sem Servidor.
  8. Escolha Versão do banco de dados como 19c, contagem de ECPUs como 2 e Armazenamento (TB) como 1.
  9. Crie credenciais de administrador e informe a senha. A senha deve atender aos critérios de complexidade de senha forte com base nos padrões de segurança do Oracle Cloud. Para obter mais informações sobre as regras de complexidade de senhas, consulte Criar Usuários de Banco de Dados.
  10. Escolha o acesso à rede como Acesso seguro de qualquer lugar.
  11. Mantenha os parâmetros restantes como padrão e clique em Criar Autonomous Database.
Sua exibição mostra Provisionando até que o novo Autonomous Database esteja disponível.

Criar uma tabela para armazenar mensagens do Kafka

  1. Abra SQLDeveloper e clique no ícone + para Criar uma conexão de banco de dados Oracle.
  2. Informe um Nome de conexão, forneça o nome de usuário e a senha do banco de dados.
  3. Selecione o Tipo de conexão como Wallet da Nuvem e procure o arquivo wallet.zip e clique em Conectar. A conexão deve ser criada com sucesso.
  4. Crie uma tabela de amostra usando o seguinte script: 
    CREATE TABLE "TEST"."SAMPLE"
        (    "FRUIT" VARCHAR2(50 BYTE)",
             "TOTAL" VARCHAR2(50 BYTE)",
             "COLOR" VARCHAR2(50 BYTE)"
        )

Criando uma Instância do Oracle Integration 3

  1. Na console do OCI, clique em Developer Services e, em Application Integration, clique em Integration.
  2. Na home page Instâncias de Integração, clique em Criar Instância.
  3. Informe um Nome, selecione Versão como Oracle Integration 3, Edição como Enterprise, Forma como Produção e Tipo de licença como Inscrever-se em uma nova Instância do Oracle Integration.
  4. Clique em Criar.
Depois que a instância for criada, clique na Console de Serviço e isso levará você a uma nova janela.

Criar uma Conexão do Oracle Autonomous Data Warehouse no Oracle Integration 3

  1. Na instância do Oracle Integration, clique no menu de hambúrguer e, em Design, selecione Conexões.
  2. Clique em Criar, procure o Oracle ADW e selecione.
  3. Informe um Nome, Identificador, Atribuição como Acionar e Chamar, Palavra-chave e Descrição sobre essa conexão.
  4. Em Propriedades, expanda Propriedades opcionais e informe o Nome do Serviço.
  5. Em Segurança, selecione JDBC Sobre SSL e faça upload do arquivo Wallet.zip.
  6. Informe a Senha da Wallet que foi fornecida quando o banco de dados foi criado.
  7. Informe o Nome do Usuário do Serviço Database como administrador.
  8. Informe a Senha do Serviço de Banco de Dados para o usuário administrador.
  9. Selecione o Tipo de Acesso como Gateway público.
  10. Clique em Testar no canto superior direito.
  11. Quando uma mensagem bem-sucedida for exibida, clique em Salvar.

Associar grupo de Agentes na Instância do Kafka

Você precisa de um agente que precise estar em execução na instância em que o Kafka Streams está instalado.

  1. Na instância do Oracle Integration 3, clique no menu de hambúrguer e, em Design, selecione Agentes.
  2. Na página Agentes, clique em Criar.
  3. Digite um Nome, um Identificador, uma Descrição e clique em Criar.
  4. Depois que o Agente for criado, clique em Fazer Download e, em seguida, clique em Agente de Conectividade.
  5. Após o download bem-sucedido, copie o oic_conn_agent_installer.zip para a instância do Kafka na qual seus tópicos do Kafka estão sendo executados e produzindo mensagens. Neste exemplo de manual da solução, é a instância do Oracle GoldenGate Stream Analytics.
  6. Descompacte oic_conn_agent_installer.zip.
  7. Na coluna Status, clique no ícone ... e, em seguida, clique em Fazer Download da Configuração.
  8. Copie o arquivo InstallerProfile.cfg e copie-o para a Instância do Kafka.
  9. Substitua o arquivo InstallerProfile.cfg na Instância do Kafka.
  10. Após substituir InstallerProfile.cfg, execute a seguinte instrução para iniciar o Agente na instância do Oracle GoldenGate Stream Analytics ou na sua instância local do Kafka usando este comando: 
    $ java -jar connectivityagent.jar
O agente deve ser iniciado com sucesso, deixe-o em execução e não pare. Para obter mais informações, consulte Usando Integrações no Oracle Integration Generation 2

Criar uma Conexão Kafka no Oracle Integration 3

  1. Na instância do Oracle Integration 3, clique no menu de hambúrguer e, em Design, selecione Conexões.
  2. Clique em Criar, pesquise o Apache Kafka e selecione.
  3. Informe um Nome, um Identificador, uma Atribuição como Acionar e Chamar, uma Palavra-chave e uma Descrição sobre essa conexão.
  4. Em Propriedades, informe os Servidores de Inicialização: instancename:9092.

    Observação:

    Na VCN que está sendo usada pela instância do Kafka, em Lista de Segurança, você precisa adicionar a porta 9092 para permitir tráfego.
  5. Selecione Nenhuma Política de Segurança para Segurança.
  6. Selecione Tipo de acesso como Agente de Conectividade e clique em Associar grupo de agentes.
  7. Selecione o Agente e clique em Usar.
  8. Clique em Testar. Você deve receber uma mensagem de sucesso.
  9. Clique em Salvar.

Criar uma Integração entre o Kafka e o Oracle Autonomous Data Warehouse no Oracle Integration 3

  1. Na instância do Oracle Integration 3, clique no menu de hambúrguer e, em Design, selecione Integrações.
  2. Clique em Criar e, na caixa de diálogo Criar Integração, selecione Aplicativo.
  3. Informe o nome da integração como KafkaToADW e clique em Criar.

    Observação:

    Você observará duas conexões que criou para o Kafka e o Oracle Autonomous Data Warehouse como Triggers.
  4. Selecione o Kafka e você será solicitado a informar um nome para o trigger, selecione Tipo de Mensagem como Consumidor e clique em Continuar.
  5. Selecione o tópico do Kafka na lista drop-down e forneça um nome de consumidor, deixe os campos como padrão e clique em Continuar.
  6. Selecione a Estrutura da Mensagem como Documento JSON de Amostra e arraste e solte o mesmo arquivo JSON.
  7. Na janela Resumo, verifique todos os detalhes e clique em Concluir.
  8. Você notará uma seta para baixo sob o Trigger que foi criado.
  9. Clique no ícone + e, em Chamar, selecione ADW e você verá uma caixa adicional por nome Mapa.
  10. Mova o mouse sobre Chamar, clique em ... e selecione Editar.
  11. Forneça um nome e selecione Executar uma Operação em uma Tabela para o campo Quais operações você deseja executar?, selecione Inserir e clique em Continuar.
  12. Selecione a tabela, clique em Continuar e, na página Resumo, clique em Finalizar.
  13. Em seguida, mova o mouse sobre a caixa Mapear, clique em ... e selecione Editar.
  14. Na página Mapeamento, conecte os campos Origem e Destino.
  15. Clique em Validar e ele deverá ser validado com sucesso.
  16. Na página Integração, clique em Salvar e isso deverá configurar a integração com sucesso.
  17. Na home page Integração, mova o mouse sobre o campo Status e clique no ícone Energia para ativar.
  18. Você verá uma janela por nome Ativar Integração, selecione Produção e clique em Ativar. Isso ativará com sucesso a integração para consumir mensagens do Kafka.
  19. Inicie o tópico do Kafka e você verá mensagens sendo armazenadas no banco de dados. Abra SQLDeveloper, abra a tabela e clique na guia Dados para ver as mensagens.
  20. Se você tiver seus próprios fluxos do Kafka, poderá começar a produzir mensagens no mesmo formato.
  21. Se você estiver usando o Oracle GoldenGate Stream Analytics, conecte-se via SSH à sua instância do Oracle GoldenGate Stream Analytics e vá para a pasta /u01/app/osa/utilities/kafka-utils.
  22. Você pode usar sample.json como os dados de entrada. Use este formato json: 
    {"fruit": "Apple","total": "Large","color": "Red"}
  23. Execute o seguinte comando para fazer loop no feed de dados como um tópico do Kafka: 
    opc@ggsanew kafka-utils]$ ./loop-file.sh ./sample.json | ./sampler.sh 1 1 | ./kafka.sh feed complex

Verifique os Dados

  1. Abra a console do Oracle Integration, clique em Observabilidade e selecione Integrações.
  2. Você verá os detalhes dos dados Recebidos, Processados e Bem-sucedidos.
  3. Abra o Oracle SQL Developer e verifique a tabela para confirmar se os dados estão disponíveis lá.
    1. Clique em Oracle Connections e selecione seu banco de dados do Oracle Autonomous Data Warehouse.
    2. Expanda Tabelas, selecione a tabela Amostra e você observará os dados.