1. Conectar dados de fluxo do Kafka ao Autonomous Database
  2. Conecte Dados do Kafka Streams ao Oracle Autonomous Database

Conecte Dados do Kafka Streams ao Oracle Autonomous Database

O Oracle GoldenGate Stream Analytics permite que os usuários criem pipelines escaláveis de transformação e análise de dados para obter insights de negócios em tempo real ágeis.

Esta seção pressupõe que você já tenha instalado o Oracle Autonomous Database na seção Antes de Começar. Agora você aprenderá a fazer o seguinte:

  • Obtenha acesso à Console GGSA.
  • Configurar o produtor Kafka para ingerir dados.
  • Conecte o GGSA para Kafka ao Autonomous Database.

Obter Acesso à Console GGSA

  1. Na console do OCI, em Compute, selecione Instâncias. A instância do mercado GGSA deve estar ativa e em execução.
  2. Copie o Endereço IP Público.
  3. Faça log-in na instância usando sua chave privada e verifique README.txt em /home/opc.
  4. Copie a senha da IU do OSA.
  5. Abra um browser e digite https://<Public IP Address>/osa.
  6. Informe o Nome do Usuário como osaadmin e use a senha copiada de README.txt.

Configurar o Produtor Kafka para Ingerir Dados

Siga estas etapas para criar um fluxo do Kafka.

  1. Na página Catálogo, clique em Criar Novo Item.
  2. Passe o mouse sobre Conexão e selecione Kafka no submenu.
  3. Na tela Propriedades do Tipo, informe um Nome e selecione Tipo de Conexão como Kafka. Para este exemplo, usaremos o Kafka instalado na instância GGSA.
  4. Na tela Detalhes da Conexão, digite localhost:2181 no campo Zookeepers.
  5. Clique em Testar Conexão. Você deverá ver uma mensagem Com Êxito.
  6. Clique em Salvar.

    Observação:

    Certifique-se de que a porta 2181 esteja aberta na sua entrada.

Siga estas etapas para iniciar o tópico do Kafka na ingestão de dados.

  1. SSH para sua instância GGSA e vá para a pasta /u01/app/osa/utilities/kafka-utils.
  2. Você usará complex.json como dados de entrada.
  3. Execute o seguinte comando para fazer loop do feed de dados como um tópico do Kafka:
    opc@ggsanew kafka-utils]$ ./loop-file.sh ./complex.json | ./sampler.sh 1 1 | ./kafka.sh feed complex
    O tópico Kafka complexo começa a produzir dados e fica pronto para ingestão.
  4. Na página Catálogo, clique em Criar Novo Item para criar um fluxo usando a conexão Kafka.
  5. Passe o mouse sobre o Stream e selecione Kafka no submenu.
  6. Na tela Propriedades do Tipo, informe um nome e selecione o Tipo de Stream como Kafka.
  7. Clique em Próximo.
  8. Na tela Detalhes da Origem, selecione a conexão Kafka criada em Conexões.
    1. Selecione o Nome do Tópico como complexo.
    2. Selecione o Formato de Dados como JSON.
  9. Clique em Próximo.
  10. Na tela Formato de Dados, deixe os valores padrão.
  11. Clique em Próximo.
  12. Na tela Forma, a forma JSON recebida é inferida do Stream.
  13. Clique em Salvar. O fluxo do Kafka foi criado com sucesso.

Conecte o GGSA para Kafka ao Autonomous Database

Siga estas etapas para criar uma conexão com o Oracle Autonomous Database do GGSA.

  1. Na página Catálogo, clique em Criar Novo Item.
  2. Passe o mouse sobre Conexão e selecione Oracle Database no submenu.
  3. Na tela Propriedades do Tipo, informe um Nome e selecione o Tipo de Conexão como Oracle Database.
  4. Clique em Próximo.
  5. Na tela Detalhes da Conexão, Tipo: Oracle Database, informe os detalhes da conexão do Autonomous Database.
    • Selecione Wallet em Conectar Usando e faça upload do arquivo da wallet.
    • Selecione o Nome/SID do Serviço na lista drop-down.
    • Informe o Nome do Usuário como admin.
    • Digite a senha de administrador do banco de dados.
  6. Clique em Salvar. A conexão do Autonomous Database foi criada com sucesso.
  7. Faça log-in em um esquema no Autonomous Database e crie uma tabela para receber os dados.
    CREATE TABLE COMPLEX
        (  BOOLEANFIELD VARCHAR2(20) , NUMBERFIELD NUMBER
        , STRINGFIELD VARCHAR2(20)
        , OBJECTFIELD_A_KEY NUMBER
        , OBJECTFIELD_A_VALUE NUMBER
        , OBJECTFIELD_C VARCHAR2(20)
        , OBJECTFIELD_E VARCHAR2(20)
        , ARRAYFIELD_0 NUMBER
        , ARRAYFIELD_1 NUMBER
        
    );

Siga estas etapas para criar um pipeline no GGSA e configurar a origem e o destino:

  1. Na página Catálogo, clique em Criar Novo Item e selecione Pipeline na lista drop-down.
  2. Passe o mouse sobre o Destino e selecione Tabela de Banco de Dados no submenu.
  3. Na tela Propriedades do Tipo, informe um Nome para o Destino, selecione Tipo de Destino como Tabela de Banco de Dados.
  4. Clique em Próximo.
  5. Na tela Detalhes do Destino, selecione a tabela do Autonomous Database criada anteriormente na lista drop-down.
  6. Clique em Próximo.
  7. Na tela Forma, selecione o Nome da Tabela como complexo na lista drop-down.
  8. Clique em Próximo.
  9. Inferir Forma e clicar em Salvar.

Siga estas etapas para definir o destino:

  1. Na página Catálogo, clique em Criar Novo Item e selecione Pipeline na lista drop-down.
  2. Passe o mouse sobre o Destino e selecione Fluxo Kafka no submenu.
  3. Clique em Salvar.
  4. No Pipeline, clique com o botão direito do mouse no fluxo, selecione Adicionar Estágio e, em seguida, selecione Destino.
  5. Na janela Criar Estágio de Destino, informe um nome e clique em Salvar.
  6. Selecione a tabela Destino criada anteriormente.
  7. Clique em Publicar para publicar o pipeline e disponibilizar os dados na tabela de destino.

  8. Faça log-in no banco de dados para ver os dados que estão sendo carregados na tabela complex no Autonomous Database.