Estabelecer Conexão com o Confluent Kafka

Aprenda a criar uma conexão com o Confluent Kafka, que você usa com a conexão do Registro de Esquema Confluent, para servir como origem ou destino em uma implantação do OCI GoldenGate Big Data.

Antes de começar

Verifique se:

Criar uma conexão de origem

Para criar uma conexão Confluent Kafka de origem:

  1. Na página Visão Geral do OCI GoldenGate, selecione Conexões.

    Você também pode selecionar Criar Conexão na seção Conceitos básicos e pular para a etapa 3.

  2. Na página Conexões, selecione Criar Conexão.

  3. Na página Criar Conexão, preencha os campos da seguinte forma:

    1. Para Nome, informe um nome para a conexão.

    2. (Opcional) Para Descrição, informe uma descrição que ajude a distinguir essa conexão de outras.

    3. (Somente para o GoldenGate no Multinuvem) Selecione sua Assinatura e preencha os campos a seguir.

      1. Na lista drop-down Compartimento, selecione o compartimento no qual reside a Âncora de Recursos.

      2. Selecione a Região de parceiros multicloud.

      3. Selecione sua Zona de disponibilidade do parceiro. As opções disponíveis são preenchidas com base na região de parceiro Multinuvem selecionada.

    4. Para Compartimento, selecione o compartimento no qual a conexão será criada.

    5. Na lista drop-down Tipo, selecione Confluente Kafka.

    6. Em servidores Bootstrap:

      1. Informe o número do Host e da Porta do servidor de Bootstrap. Informe o IP Privado somente se o nome do host não for resolvível pela sua sub-rede ou se ele usar SSL/TLS.

        Observação: Se você informar um IP privado, o OCI GoldenGate reescreverá o IP privado no formato ip-10-0-0-0.ociggsvc.oracle.vcn.com.

        Dica: Todos os nós do cluster devem ter FQDNs para permitir a travessia em pontos finais privados.

      2. (Opcional) Selecione + Servidor de bootstrap para adicionar outro servidor de bootstrap.

    7. Para Protocolo de segurança, selecione entre:

      • Plaintext

      • SASL em texto sem formatação e forneça o Nome do Usuário e a Senha.

      • SASL sobre SSL e, em seguida, forneça os valores de Nome de Usuário, Senha, Armazenamento Confiável e Área de Armazenamento de Chaves conforme necessário.

      • SSL e, em seguida, forneça os valores de Armazenamento Confiável e Área de Armazenamento de Chaves conforme necessário.

    8. Expanda Mostrar opções avançadas. Você pode configurar as seguintes opções;

      • Segurança

        • Desmarque Usar segredos do vault para que você prefira não usar segredos de senha para esta conexão. Caso não esteja selecionado:

          • Selecione Usar chave de criptografia gerenciada pela Oracle para deixar todo o gerenciamento de chaves de criptografia para a Oracle.

          • Selecione Usar chave de criptografia gerenciada pelo cliente para selecionar uma chave de criptografia específica armazenada no OCI Vault para criptografar suas credenciais de conexão.

      • Conectividade de rede

        • Ponto final compartilhado, para compartilhar um ponto final com a implantação atribuída. Você deve permitir a conectividade do IP de entrada da implantação.

        • Ponto final dedicado, para tráfego de rede por meio de um ponto final dedicado na sub-rede designada na sua VCN. Você deve permitir a conectividade dos IPs de entrada dessa conexão.

          Observação:

          • Se uma conexão dedicada permanecer não designada por sete dias, o serviço a converterá em uma conexão compartilhada.
          • Saiba mais sobre a conectividade do Oracle GoldenGate.

      • Definições: para capturar do Kafka, crie um arquivo de propriedades do Consumidor do Kafka com um dos seguintes desserializadores ou conversores:

        • Propriedades do Consumidor Kafka para o desserializador JSON:

          key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer

        • Propriedades do consumidor Kafka para conversor JSON:

          key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter

        • Propriedades do consumidor Kafka para conversor Avro:

          key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter

      • Atributos de segurança: Adicione atributos de segurança para controlar o acesso a essa conexão usando o ZPR (Zero Trust Packet Routing).

      • Tags: Adicione tags para organizar seus recursos.

  4. Selecione Criar.

A conexão aparece na lista Conexões, na qual você pode selecioná-la para exibir seus detalhes. Certifique-se de criar também uma conexão com o Registro de Esquema Confluent e, em seguida, designar ambas as conexões a uma implantação de Big Data.

Criar uma conexão de destino

Para criar uma conexão Confluent Kafka de destino:

  1. Na página Visão Geral do OCI GoldenGate, selecione Conexões.

    Você também pode selecionar Criar Conexão na seção Conceitos básicos e pular para a etapa 3.

  2. Na página Conexões, selecione Criar Conexão.

  3. Na página Criar Conexão, preencha os campos da seguinte forma:

    1. Para Nome, informe um nome para a conexão.

    2. (Opcional) Para Descrição, informe uma descrição que ajude a distinguir essa conexão de outras.

    3. (Somente para o GoldenGate no Multinuvem) Selecione sua Assinatura e preencha os campos a seguir.

      1. Na lista drop-down Compartimento, selecione o compartimento no qual reside a Âncora de Recursos.

      2. Selecione a Região de parceiros multicloud.

      3. Selecione sua Zona de disponibilidade do parceiro. As opções disponíveis são preenchidas com base na região de parceiro Multinuvem selecionada.

    4. Para Compartimento, selecione o compartimento no qual a conexão será criada.

    5. Na lista drop-down Tipo, selecione Confluente Kafka.

    6. Em servidores Bootstrap:

      1. Selecione um método de roteamento de tráfego:

      2. Informe o número do Host e da Porta do servidor de Bootstrap. Informe o IP Privado somente se o nome do host não for resolvível pela sua sub-rede ou se ele usar SSL/TLS.

        Observação: Se você informar um IP privado, o OCI GoldenGate reescreverá o IP privado no formato ip-10-0-0-0.ociggsvc.oracle.vcn.com.

        Dica: Todos os nós do cluster devem ter FQDNs para permitir a travessia em pontos finais privados.

      3. (Opcional) Selecione + Servidor de bootstrap para adicionar outro servidor de bootstrap.

    7. Para Protocolo de segurança, selecione entre:

      • Plaintext

      • SASL em texto sem formatação e forneça o Nome do Usuário e a Senha.

      • SASL sobre SSL e, em seguida, forneça os valores de Nome de Usuário, Senha, Armazenamento Confiável e Área de Armazenamento de Chaves conforme necessário.

      • SSL e, em seguida, forneça os valores de Armazenamento Confiável e Área de Armazenamento de Chaves conforme necessário.

    8. Expanda Mostrar opções avançadas. Você pode configurar as seguintes opções;

      • Segurança

        • Desmarque Usar segredos do vault para que você prefira não usar segredos de senha para esta conexão. Caso não esteja selecionado:

          • Selecione Usar chave de criptografia gerenciada pela Oracle para deixar todo o gerenciamento de chaves de criptografia para a Oracle.

          • Selecione Usar chave de criptografia gerenciada pelo cliente para selecionar uma chave de criptografia específica armazenada no OCI Vault para criptografar suas credenciais de conexão.

      • Conectividade de rede

        • Ponto final compartilhado, para compartilhar um ponto final com a implantação atribuída. Você deve permitir a conectividade do IP de entrada da implantação.

        • Ponto final dedicado, para tráfego de rede por meio de um ponto final dedicado na sub-rede designada na sua VCN. Você deve permitir a conectividade dos IPs de entrada dessa conexão.

          Observação:

          • Se uma conexão dedicada permanecer não designada por sete dias, o serviço a converterá em uma conexão compartilhada.
          • Saiba mais sobre a conectividade do Oracle GoldenGate.

      • Definições: Para usar a compactação Snappy na replicação do Kafka, arraste e solte ou selecione Propriedades do produtor e altere as definições de replicação, conforme discutido em Usando a Replicação Kafka do OCI GoldenGate (Confluente) de Compactação.

      • Atributos de segurança: Adicione atributos de segurança para controlar o acesso a essa conexão usando o ZPR (Zero Trust Packet Routing).

      • Tags: Adicione tags para organizar seus recursos.

  4. Selecione Criar.

A conexão aparece na lista Conexões, na qual você pode selecioná-la para exibir seus detalhes. Certifique-se de criar também uma conexão com o Registro de Esquema Confluent e, em seguida, designar ambas as conexões a uma implantação de Big Data.

Crie uma conexão com o Confluent Cloud com links privados

O Private Link permite que você acesse seu cluster Confluent Cloud em execução em uma nuvem de terceiros por meio de um ponto final privado que existe em sua rede virtual.

Antes de criar a conexão, certifique-se de ter o seguinte:

Você pode usar as instruções acima para criar a conexão, mas no lugar das etapas 5 e 6, faça o seguinte:

Próximas etapas

Solucionar problemas de erros de conexão do Kafka

A maioria dos problemas de conexão resulta em erros de TimeoutException. Por exemplo:

A failure occurred sending a message to Kafka to topic [ggstest] org.apache.kafka.common.errors.TimeoutException: Topic ggstest not  present in metadata after 60000/120000 ms.

Se você encontrar essa mensagem no arquivo de relatório do Replicat, poderá: