Conexión a Confluent Kafka

Descubra cómo crear una conexión a Confluent Kafka, que se utiliza con la conexión de Confluent Schema Registry, para que sirva como origen o destino en un despliegue de Big Data GoldenGate de OCI.

Antes de empezar

Antes de crear la conexión, asegúrese de revisar cómo se conecta OCI GoldenGate al origen y los destinos.

Crear una conexión de origen

Para crear una conexión a Confluent Kafka de origen:
  1. En la página Visión general de OCI GoldenGate, haga clic en Conexiones.
    También puede hacer clic en Crear conexión en la sección Introducción y saltar al paso 3.
  2. En la página Conexiones, haga clic en Crear conexión.
  3. En la página Create Connection, complete los campos de la siguiente forma:
    1. En Nombre, introduzca un nombre para la conexión.
    2. (Opcional) En Descripción, introduzca una descripción que le ayude a distinguir esta conexión de otras.
    3. En Compartimento, seleccione el compartimento en el que desea crear la conexión.
    4. En la lista desplegable Tipo, seleccione Confluent Kafka.
    5. En los servidores de inicialización de datos:
      1. Introduzca el Host y el número de Puerto del servidor de inicialización de datos. Introduzca la IP privada solo si el nombre de host no se puede resolver desde su subred o si utiliza SSL/TLS.
        Nota

        Si introduce una IP privada, OCI GoldenGate vuelve a escribir la IP privada con el formato ip-10-0-0-0.ociggsvc.oracle.vcn.com.

        Consejo:

        Todos los nodos del cluster deben tener FQDN para permitir el recorrido por puntos finales privados.
      2. (Opcional) Haga clic en + Servidor de inicialización de datos para agregar otro servidor de inicialización.
    6. En Protocolo de seguridad, seleccione entre:
      • Texto sin formato
      • SASL en texto sin formato y, a continuación, proporcione el nombre de usuario y la contraseña.
      • SASL a través de SSL y, a continuación, proporcione los valores de nombre de usuario, contraseña y almacén de confianza y almacén de claves según sea necesario.
      • SSL y, a continuación, proporcione los valores del almacén de claves y del almacén de confianza según sea necesario.
    7. Consulte Mostrar Opciones Avanzadas. Puede configurar las siguientes opciones:
      • Seguridad
        • Seleccione Usar clave de cifrado gestionada por Oracle para dejar toda la gestión de claves de cifrado a Oracle.
        • Seleccione Usar clave de cifrado gestionada por el cliente para seleccionar una clave de cifrado específica almacenada en OCI Vault para cifrar las credenciales de conexión.
      • Conectividad de Red
        • Punto final compartido, para compartir un punto final con el despliegue asignado. Debe permitir la conectividad desde la IP de entrada del despliegue.
        • Punto final dedicado, para el tráfico de red a través de un punto final dedicado en la subred asignada en la VCN. Debe permitir la conectividad desde las IP de entrada de esta conexión.
          Nota

          • Si una conexión dedicada permanece sin asignar durante siete días, el servicio la convierte en una conexión compartida.
          • Obtenga más información sobre la conectividad de Oracle GoldenGate.
      • Configuración
        • Anule la selección de Usar secretos de almacén si prefiere no utilizar secretos de contraseña para esta conexión.
        Para capturar desde Kafka, cree un archivo de propiedades de consumidor de Kafka con uno de los siguientes deserializadores o convertidores:
        • Propiedades de consumidor de Kafka para deserializador JSON:
          key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
          value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
        • Propiedades de consumidor de Kafka para el convertidor JSON:
          key.converter=org.apache.kafka.connect.json.JsonConverter
          value.converter=org.apache.kafka.connect.json.JsonConverter
        • Kafka Propiedades para el consumidor para Avro convertidor:
          key.converter=io.confluent.connect.avro.AvroConverter
          value.converter=io.confluent.connect.avro.AvroConverter
      • Etiquetas: agregue etiquetas para organizar los recursos.
  4. Haga clic en Crear.
La conexión aparecerá en la lista Conexiones, donde puede seleccionarla para ver los detalles. Asegúrese de crear también una conexión a Confluent Schema Registry y, a continuación, asigne ambas conexiones a un despliegue de Big Data.

Crear una conexión de destino

Para crear una conexión a Confluent Kafka de destino:
  1. En la página Visión general de OCI GoldenGate, haga clic en Conexiones.
    También puede hacer clic en Crear conexión en la sección Introducción y saltar al paso 3.
  2. En la página Conexiones, haga clic en Crear conexión.
  3. En la página Create Connection, complete los campos de la siguiente forma:
    1. En Nombre, introduzca un nombre para la conexión.
    2. (Opcional) En Descripción, introduzca una descripción que le ayude a distinguir esta conexión de otras.
    3. En Compartimento, seleccione el compartimento en el que desea crear la conexión.
    4. En la lista desplegable Tipo, seleccione Confluent Kafka.
    5. En los servidores de inicialización de datos:
      1. Seleccione un método de enrutamiento de tráfico:
      2. Introduzca el Host y el número de Puerto del servidor de inicialización de datos. Introduzca la IP privada solo si el nombre de host no se puede resolver desde su subred o si utiliza SSL/TLS.
        Nota

        Si introduce una IP privada, OCI GoldenGate vuelve a escribir la IP privada con el formato ip-10-0-0-0.ociggsvc.oracle.vcn.com.

        Consejo:

        Todos los nodos del cluster deben tener FQDN para permitir el recorrido por puntos finales privados.
      3. (Opcional) Haga clic en + Servidor de inicialización de datos para agregar otro servidor de inicialización.
    6. En Protocolo de seguridad, seleccione entre:
      • Texto sin formato
      • SASL en texto sin formato y, a continuación, proporcione el nombre de usuario y la contraseña.
      • SASL a través de SSL y, a continuación, proporcione los valores de nombre de usuario, contraseña y almacén de confianza y almacén de claves según sea necesario.
      • SSL y, a continuación, proporcione los valores del almacén de claves y del almacén de confianza según sea necesario.
    7. Consulte Mostrar Opciones Avanzadas. Puede configurar las siguientes opciones:
      • Seguridad
        • Seleccione Usar clave de cifrado gestionada por Oracle para dejar toda la gestión de claves de cifrado a Oracle.
        • Seleccione Usar clave de cifrado gestionada por el cliente para seleccionar una clave de cifrado específica almacenada en OCI Vault para cifrar las credenciales de conexión.
      • Conectividad de Red
        • Punto final compartido, para compartir un punto final con el despliegue asignado. Debe permitir la conectividad desde la IP de entrada del despliegue.
        • Punto final dedicado, para el tráfico de red a través de un punto final dedicado en la subred asignada en la VCN. Debe permitir la conectividad desde las IP de entrada de esta conexión.
          Nota

          • Si una conexión dedicada permanece sin asignar durante siete días, el servicio la convierte en una conexión compartida.
          • Obtenga más información sobre la conectividad de Oracle GoldenGate.
      • Configuración
        • Anule la selección de Usar secretos de almacén si prefiere no utilizar secretos de contraseña para esta conexión.
        Para utilizar la compresión Snappy en la replicación de Kafka, arrastre y suelte o seleccione Propiedades del productor y cambie la configuración de replicación como se describe en Uso de la replicación de Kafka de OCI GoldenGate (Confluent) de Compression.
      • Etiquetas: agregue etiquetas para organizar los recursos.
  4. Haga clic en Crear.
La conexión aparecerá en la lista Conexiones, donde puede seleccionarla para ver los detalles. Asegúrese de crear también una conexión a Confluent Schema Registry y, a continuación, asigne ambas conexiones a un despliegue de Big Data.

Creación de una conexión a Confluent Cloud con enlaces privados

Private Link le permite acceder al cluster de Confluent Cloud que se ejecuta en una nube de terceros a través de un punto final privado que existe en su red virtual.

Antes de crear la conexión, asegúrese de tener lo siguiente:

  • Cree conectividad de red privada entre Oracle Cloud Infrastructure (OCI) y la nube de terceros de destino.
  • Al agregar la configuración de red para el enlace privado en Confluent Cloud, asegúrese de seleccionar Resolución de DNS privada.
  • Configure zonas de DNS y configure registros de DNS en la nube de terceros donde configuró Confluent Cloud y en OCI. En OCI, puede crear zonas en las vistas privadas de la VCN. En las zonas, puede agregar los registros DNS necesarios.

Puede utilizar las instrucciones anteriores para crear la conexión, pero en lugar de los pasos 5 y 6, realice lo siguiente:

  • Para el paso 3e:
    • Proporcione los detalles de puerto y host de los servidores de inicialización de datos.
    • Puede agregar varios servidores de inicialización de datos.
  • Para 3f:
    • Para el protocolo de seguridad, seleccione SASL sobre texto sin formato.
    • Introduzca el nombre de usuario y contraseña.

Solucionar errores de conexión de Kafka

La mayoría de los problemas de conexión provocan errores TimeoutException. Por ejemplo:

A failure occurred sending a message to Kafka to topic [ggstest] org.apache.kafka.common.errors.TimeoutException: Topic ggstest not  present in metadata after 60000/120000 ms.

Si encuentra este mensaje en el archivo de informe de Replicat, puede:

  • Asegúrese de que el tema de destino está presente o compruebe que la creación automática de temas está activada en la configuración de Kafka de destino.
  • Asegúrese de que no haya reglas de firewall que bloqueen el tráfico.
  • Si ejecuta Kafka en OCI con un punto final privado, asegúrese de utilizar el FQDN interno como servidor de inicialización de datos en server.properties y en la conexión de Kafka.
  • Si se conecta a una nube confluente con puntos finales privados:
    • Asegúrese de que las zonas de DNS y los registros de DNS estén configurados correctamente tanto en OCI como en la nube de terceros de destino.
    • Asegúrese de que la conexión de red entre OCI y la nube de destino funciona correctamente.
    • Pruebe que puede conectarse a la nube de destino Confluent con OpenSSL (openssl s_client -connect <bootstrap>) desde una máquina virtual de OCI que se ejecute en la misma subred conectada a la nube de terceros.
    • Pruebe que puede publicar o consumir mensajes de un cliente de Kafka que se ejecute en OCI en la misma subred conectada a la nube de terceros. Si falla, compruebe la configuración de red tanto en OCI como en la nube de terceros.