Estabelecer Conexão com o Apache Kafka

Aprenda a criar uma conexão com o Apache Kafka para uso como origem ou destino do OCI GoldenGate.

Antes de começar

Antes de criar a conexão, certifique-se de:

Verifique como o OCI GoldenGate se conecta à sua origem e aos seus destinos.
Configure as políticas necessárias para permitir o acesso seguro ao Vault e aos Segredos, como usar segredos, usar vaults e ler pacotes de segredos. Para obter mais informações, consulte Políticas mínimas recomendadas.

Criar uma conexão de origem

Para criar uma conexão do Apache Kafka de origem:

Na página Visão Geral do OCI GoldenGate, clique em Conexões.
Você também pode clicar em Criar Conexão na seção Conceitos Básicos e ir direto para a etapa 3.
Na página Conexões, clique em Criar Conexão.
Na página Criar Conexão, preencha os campos da seguinte forma:
1. Para Nome, digite um nome para a conexão.
2. (Opcional) Para Descrição, informe uma descrição que ajude a distinguir essa conexão de outras.
3. Para Compartimento, selecione o compartimento no qual a conexão será criada.
4. Na lista drop-down Tipo, selecione Apache Kafka.
5. Em Bootstrap servers:
  1. Informe o Host e o número da Porta para o servidor de Inicialização. Digite o IP Privado somente se o nome do host não puder ser resolvido em sua sub-rede ou se usar SSL/TLS.
    Observação
    
    Se você informar um IP privado, o OCI GoldenGate reescreverá o IP privado no formato ip-10-0-0-0.ociggsvc.oracle.vcn.com.
    
    Dica:
    Todos os nós do cluster devem ter FQDNs para permitir a travessia por pontos finais privados.
  2. (Opcional) Clique em + Servidor de inicialização para adicionar outro servidor de inicialização.
6. Para Protocolo de segurança, selecione uma das opções a seguir e preencha os campos correspondentes:
  - Texto Simples
  - SASL sobre texto não criptografado
  - SASL sobre SSL
  - SSL
7. Expanda Mostrar opções avançadas. Você pode configurar as seguintes opções;
  - Segurança
    - Desmarque Usar segredos do vault para que você prefira não usar segredos de senha para essa conexão. Caso não esteja selecionado:
      
      Selecione Usar chave de criptografia gerenciada pela Oracle para deixar para a Oracle todo o gerenciamento de chaves de criptografia.
      
      Selecione Usar chave de criptografia gerenciada pelo cliente para selecionar uma chave de criptografia específica armazenada no OCI Vault para criptografar suas credenciais de conexão.
  - Conectividade de rede
    - Ponto final compartilhado, para compartilhar um ponto final com a implantação atribuída. Você deve permitir conectividade do IP de entrada da implantação.
    - Ponto final dedicado, para tráfego de rede por meio de um ponto final dedicado na sub-rede designada na sua VCN. Você deve permitir conectividade dos IPs de entrada dessa conexão.
      Observação
      
      Se uma conexão dedicada permanecer não designada por sete dias, o serviço a converterá em uma conexão compartilhada.
      
      Saiba mais sobre a conectividade do Oracle GoldenGate.
  - Definições
    - Propriedades do Consumidor do Kafka para desserializador JSON:
      key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
    - Propriedades do Consumidor do Kafka para conversor JSON:
      key.converter=org.apache.kafka.connect.json.JsonConverter value.converter=org.apache.kafka.connect.json.JsonConverter
    - Propriedades do consumidor de Kafka para o conversor de Avro:
      key.converter=io.confluent.connect.avro.AvroConverter value.converter=io.confluent.connect.avro.AvroConverter
  - Tags: Adicione tags para organizar seus recursos.
Clique em Criar.

Depois que a conexão é criada, ela aparece na lista Conexões. Certifique-se de designar a conexão a uma implantação para usá-la como origem ou destino em uma replicação.

Criar a conexão de destino

Para criar uma conexão do Apache Kafka de destino:

Na página Visão Geral do OCI GoldenGate, clique em Conexões.
Você também pode clicar em Criar Conexão na seção Conceitos Básicos e ir direto para a etapa 3.
Na página Conexões, clique em Criar Conexão.
Na página Criar Conexão, preencha os campos da seguinte forma:
1. Para Nome, digite um nome para a conexão.
2. (Opcional) Para Descrição, informe uma descrição que ajude a distinguir essa conexão de outras.
3. Para Compartimento, selecione o compartimento no qual a conexão será criada.
4. Na lista drop-down Tipo, selecione Apache Kafka.
5. Em Bootstrap servers:
  1. Informe o Host e o número da Porta para o servidor de Inicialização. Digite o IP Privado somente se o nome do host não puder ser resolvido em sua sub-rede ou se usar SSL/TLS.
    Observação
    
    Se você informar um IP privado, o OCI GoldenGate reescreverá o IP privado no formato ip-10-0-0-0.ociggsvc.oracle.vcn.com.
    
    Dica:
    Todos os nós do cluster devem ter FQDNs para permitir a travessia por pontos finais privados.
  2. (Opcional) Clique em + Servidor de inicialização para adicionar outro servidor de inicialização.
6. Para Protocolo de segurança, selecione uma das opções a seguir e preencha os campos correspondentes:
  - Texto Simples
  - SASL sobre texto não criptografado
  - SASL sobre SSL
  - SSL
7. Expanda Mostrar opções avançadas. Você pode configurar as seguintes opções;
  - Segurança
    - Desmarque Usar segredos do vault para que você prefira não usar segredos de senha para essa conexão. Caso não esteja selecionado:
      
      Selecione Usar chave de criptografia gerenciada pela Oracle para deixar para a Oracle todo o gerenciamento de chaves de criptografia.
      
      Selecione Usar chave de criptografia gerenciada pelo cliente para selecionar uma chave de criptografia específica armazenada no OCI Vault para criptografar suas credenciais de conexão.
  - Conectividade de rede
    - Ponto final compartilhado, para compartilhar um ponto final com a implantação atribuída. Você deve permitir conectividade do IP de entrada da implantação.
    - Ponto final dedicado, para tráfego de rede por meio de um ponto final dedicado na sub-rede designada na sua VCN. Você deve permitir conectividade dos IPs de entrada dessa conexão.
      Observação
      
      Se uma conexão dedicada permanecer não designada por sete dias, o serviço a converterá em uma conexão compartilhada.
      
      Saiba mais sobre a conectividade do Oracle GoldenGate.
  - DefiniçõesPara usar a compactação Snappy na replicação do Kafka, arraste e solte ou selecione Propriedades do produtor e altere as definições de replicação, conforme discutido em Usando a Replicação Kafka do OCI GoldenGate (Confluente) da Compactação.
  - Tags: Adicione tags para organizar seus recursos.
Clique em Criar.

Depois que a conexão é criada, ela aparece na lista Conexões. Certifique-se de designar a conexão a uma implantação para usá-la como origem ou destino em uma replicação.

Solucionar problemas de erros de conexão do Kafka

A maioria dos problemas de conexão resulta em erros TimeoutException. Por exemplo:

A failure occurred sending a message to Kafka to topic [ggstest] org.apache.kafka.common.errors.TimeoutException: Topic ggstest not  present in metadata after 60000/120000 ms.

Se você encontrar essa mensagem no arquivo de relatório Replicat, poderá:

Certifique-se de que o tópico de destino esteja presente ou verifique se a criação automática de tópico está ativada nas definições do Kafka de destino.
Certifique-se de que não haja regras de firewall bloqueando o tráfego.
Se você estiver executando o Kafka no OCI com um ponto final privado, certifique-se de usar o FQDN Interno como o servidor de bootstrap em server.properties e na conexão do Kafka.
Se você estiver se conectando a uma Nuvem Confluente com pontos finais privados:
- Certifique-se de que as zonas de DNS e os registros de DNS estejam configurados corretamente no OCI e na nuvem de terceiros de destino.
- Certifique-se de que a conexão de rede entre o OCI e a nuvem de destino funcione bem.
- Teste se você pode estabelecer conexão com o Confluent Cloud de destino com OpenSSL (openssl s_client -connect <bootstrap>) de uma VM do OCI em execução na mesma sub-rede conectada à nuvem de terceiros.
- Teste se você pode publicar ou consumir mensagens de um cliente Kafka em execução no OCI dentro da mesma sub-rede conectada à nuvem de terceiros. Se ele falhar, verifique suas definições de rede no OCI e na nuvem de terceiros.

Documentação do Oracle Cloud Infrastructure