Estabelecer Conexão com o Confluent Kafka

Aprenda a criar uma conexão com o Confluent Kafka, que você usa com a conexão Confluent Schema Registry, para servir como origem ou destino em uma implantação do OCI GoldenGate Big Data.

Antes de começar

Antes de criar a conexão, certifique-se de:

Criar uma conexão de origem

Para criar uma conexão do Confluent Kafka de origem:
  1. Na página Visão Geral do OCI GoldenGate, clique em Conexões.
    Você também pode clicar em Criar Conexão na seção Conceitos Básicos e ir direto para a etapa 3.
  2. Na página Conexões, clique em Criar Conexão.
  3. Na página Criar Conexão, preencha os campos da seguinte forma:
    1. Para Nome, digite um nome para a conexão.
    2. (Opcional) Para Descrição, informe uma descrição que ajude a distinguir essa conexão de outras.
    3. Para Compartimento, selecione o compartimento no qual a conexão será criada.
    4. No menu suspenso Tipo, selecione Confluent Kafka.
    5. Em Bootstrap servers:
      1. Informe o Host e o número da Porta para o servidor de Inicialização. Digite o IP Privado somente se o nome do host não puder ser resolvido em sua sub-rede ou se usar SSL/TLS.
        Observação

        Se você informar um IP privado, o OCI GoldenGate reescreverá o IP privado no formato ip-10-0-0-0.ociggsvc.oracle.vcn.com.

        Dica:

        Todos os nós do cluster devem ter FQDNs para permitir a travessia por pontos finais privados.
      2. (Opcional) Clique em + Servidor de inicialização para adicionar outro servidor de inicialização.
    6. Para Protocolo de segurança, selecione em:
      • Texto Simples
      • SASL sobre texto sem formatação e, em seguida, forneça o Nome de Usuário e a Senha.
      • SASL sobre SSL e, em seguida, forneça os valores de Nome de Usuário, Senha e Armazenamento Confiável e Armazenamento de Chaves, conforme necessário.
      • SSL e, em seguida, forneça os valores de Armazenamento Confiável e Armazenamento de Chaves conforme necessário.
    7. Expanda Mostrar opções avançadas. Você pode configurar as seguintes opções;
      • Segurança
        • Desmarque Usar segredos do vault para que você prefira não usar segredos de senha para essa conexão. Caso não esteja selecionado:
          • Selecione Usar chave de criptografia gerenciada pela Oracle para deixar para a Oracle todo o gerenciamento de chaves de criptografia.
          • Selecione Usar chave de criptografia gerenciada pelo cliente para selecionar uma chave de criptografia específica armazenada no OCI Vault para criptografar suas credenciais de conexão.
      • Conectividade de rede
        • Ponto final compartilhado, para compartilhar um ponto final com a implantação atribuída. Você deve permitir conectividade do IP de entrada da implantação.
        • Ponto final dedicado, para tráfego de rede por meio de um ponto final dedicado na sub-rede designada na sua VCN. Você deve permitir conectividade dos IPs de entrada dessa conexão.
          Observação

          • Se uma conexão dedicada permanecer não designada por sete dias, o serviço a converterá em uma conexão compartilhada.
          • Saiba mais sobre a conectividade do Oracle GoldenGate.
      • DefiniçõesPara capturar do Kafka, crie um arquivo de propriedades do Consumidor do Kafka com um dos seguintes desserializadores ou conversores:
        • Propriedades do Consumidor do Kafka para desserializador JSON:
          key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
          value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
        • Propriedades do Consumidor do Kafka para conversor JSON:
          key.converter=org.apache.kafka.connect.json.JsonConverter
          value.converter=org.apache.kafka.connect.json.JsonConverter
        • Propriedades do consumidor de Kafka para o conversor de Avro:
          key.converter=io.confluent.connect.avro.AvroConverter
          value.converter=io.confluent.connect.avro.AvroConverter
      • Tags: Adicione tags para organizar seus recursos.
  4. Clique em Criar.
A conexão aparece na lista Conexões, na qual você pode selecioná-la para exibir seus detalhes. Certifique-se de criar também uma conexão com o Confluent Schema Registry e designe ambas as conexões a uma implantação do Big Data.

Criar uma conexão de destino

Para criar uma conexão do Confluent Kafka de destino:
  1. Na página Visão Geral do OCI GoldenGate, clique em Conexões.
    Você também pode clicar em Criar Conexão na seção Conceitos Básicos e ir direto para a etapa 3.
  2. Na página Conexões, clique em Criar Conexão.
  3. Na página Criar Conexão, preencha os campos da seguinte forma:
    1. Para Nome, digite um nome para a conexão.
    2. (Opcional) Para Descrição, informe uma descrição que ajude a distinguir essa conexão de outras.
    3. Para Compartimento, selecione o compartimento no qual a conexão será criada.
    4. No menu suspenso Tipo, selecione Confluent Kafka.
    5. Em Bootstrap servers:
      1. Selecione um Método de roteamento de tráfego:
      2. Informe o Host e o número da Porta para o servidor de Inicialização. Digite o IP Privado somente se o nome do host não puder ser resolvido em sua sub-rede ou se usar SSL/TLS.
        Observação

        Se você informar um IP privado, o OCI GoldenGate reescreverá o IP privado no formato ip-10-0-0-0.ociggsvc.oracle.vcn.com.

        Dica:

        Todos os nós do cluster devem ter FQDNs para permitir a travessia por pontos finais privados.
      3. (Opcional) Clique em + Servidor de inicialização para adicionar outro servidor de inicialização.
    6. Para Protocolo de segurança, selecione em:
      • Texto Simples
      • SASL sobre texto sem formatação e, em seguida, forneça o Nome de Usuário e a Senha.
      • SASL sobre SSL e, em seguida, forneça os valores de Nome de Usuário, Senha e Armazenamento Confiável e Armazenamento de Chaves, conforme necessário.
      • SSL e, em seguida, forneça os valores de Armazenamento Confiável e Armazenamento de Chaves conforme necessário.
    7. Expanda Mostrar opções avançadas. Você pode configurar as seguintes opções;
      • Segurança
        • Desmarque Usar segredos do vault para que você prefira não usar segredos de senha para essa conexão. Caso não esteja selecionado:
          • Selecione Usar chave de criptografia gerenciada pela Oracle para deixar para a Oracle todo o gerenciamento de chaves de criptografia.
          • Selecione Usar chave de criptografia gerenciada pelo cliente para selecionar uma chave de criptografia específica armazenada no OCI Vault para criptografar suas credenciais de conexão.
      • Conectividade de rede
        • Ponto final compartilhado, para compartilhar um ponto final com a implantação atribuída. Você deve permitir conectividade do IP de entrada da implantação.
        • Ponto final dedicado, para tráfego de rede por meio de um ponto final dedicado na sub-rede designada na sua VCN. Você deve permitir conectividade dos IPs de entrada dessa conexão.
          Observação

          • Se uma conexão dedicada permanecer não designada por sete dias, o serviço a converterá em uma conexão compartilhada.
          • Saiba mais sobre a conectividade do Oracle GoldenGate.
      • DefiniçõesPara usar a compactação Snappy na replicação do Kafka, arraste e solte ou selecione Propriedades do produtor e altere as definições de replicação, conforme discutido em Usando a Replicação Kafka do OCI GoldenGate (Confluente) da Compactação.
      • Tags: Adicione tags para organizar seus recursos.
  4. Clique em Criar.
A conexão aparece na lista Conexões, na qual você pode selecioná-la para exibir seus detalhes. Certifique-se de criar também uma conexão com o Confluent Schema Registry e designe ambas as conexões a uma implantação do Big Data.

Crie uma conexão com o Confluent Cloud com Links Privados

O Link Privado permite que você acesse seu cluster do Confluent Cloud em execução em uma nuvem de terceiros por meio de um ponto final privado que existe em sua rede virtual.

Antes de criar a conexão, certifique-se de que você tem o seguinte:

  • Crie conectividade de rede privada entre o OCI (Oracle Cloud Infrastructure) e a nuvem de terceiros de destino.
  • Ao adicionar configuração de rede para link privado no Confluent Cloud, certifique-se de selecionar Resolução de DNS Privado.
  • Configure zonas de DNS e configure registros de DNS na nuvem de terceiros onde você configurou o Confluent Cloud e no OCI. No OCI, você pode criar zonas dentro das views privadas da sua VCN. Em zonas, você pode adicionar os registros de DNS necessários.

Você pode usar as instruções acima para criar a conexão, mas no lugar das Etapas 5 e 6, faça o seguinte:

  • Para a Etapa 3e:
    • Forneça os detalhes da porta e do host dos servidores de Inicialização.
    • Você pode adicionar vários servidores Bootstrap.
  • Para 3f:
    • Para o protocolo de Segurança, selecione SASL sobre Texto Sem Formatação.
    • Informe o nome do usuário e a senha.

Solucionar problemas de erros de conexão do Kafka

A maioria dos problemas de conexão resulta em erros TimeoutException. Por exemplo:

A failure occurred sending a message to Kafka to topic [ggstest] org.apache.kafka.common.errors.TimeoutException: Topic ggstest not  present in metadata after 60000/120000 ms.

Se você encontrar essa mensagem no arquivo de relatório Replicat, poderá:

  • Certifique-se de que o tópico de destino esteja presente ou verifique se a criação automática de tópico está ativada nas definições do Kafka de destino.
  • Certifique-se de que não haja regras de firewall bloqueando o tráfego.
  • Se você estiver executando o Kafka no OCI com um ponto final privado, certifique-se de usar o FQDN Interno como o servidor de bootstrap em server.properties e na conexão do Kafka.
  • Se você estiver se conectando a uma Nuvem Confluente com pontos finais privados:
    • Certifique-se de que as zonas de DNS e os registros de DNS estejam configurados corretamente no OCI e na nuvem de terceiros de destino.
    • Certifique-se de que a conexão de rede entre o OCI e a nuvem de destino funcione bem.
    • Teste se você pode estabelecer conexão com o Confluent Cloud de destino com OpenSSL (openssl s_client -connect <bootstrap>) de uma VM do OCI em execução na mesma sub-rede conectada à nuvem de terceiros.
    • Teste se você pode publicar ou consumir mensagens de um cliente Kafka em execução no OCI dentro da mesma sub-rede conectada à nuvem de terceiros. Se ele falhar, verifique suas definições de rede no OCI e na nuvem de terceiros.