Conexión a Apache Kafka

Descubra cómo crear una conexión a Apache Kafka para utilizarla como origen o destino de OCI GoldenGate.

Antes de empezar

Antes de crear la conexión, asegúrese de lo siguiente:

Crear una conexión de origen

Para crear una conexión a Apache Kafka de origen:
  1. En la página Visión general de OCI GoldenGate, haga clic en Conexiones..
    También puede hacer clic en Crear conexión en la sección Introducción y saltar al paso 3.
  2. En la página Conexiones, haga clic en Crear conexión.
  3. En la página Create Connection, complete los campos de la siguiente manera:
    1. En Nombre, introduzca un nombre para la conexión.
    2. (Opcional) En Descripción, introduzca una descripción que le ayude a distinguir esta conexión de otras.
    3. En Compartimento, seleccione el compartimento en el que desea crear la conexión.
    4. En la lista desplegable Tipo, seleccione Apache Kafka.
    5. En los servidores de inicialización de datos:
      1. Introduzca el Host y el número de Puerto del servidor de inicialización de datos. Introduzca la IP privada solo si el nombre de host no se puede resolver desde su subred o si utiliza SSL/TLS.

        Note:

        Si introduce una IP privada, OCI GoldenGate reescribe la IP privada con el formato ip-10-0-0-0.ociggsvc.oracle.vcn.com.

        Sugerencia:

        Todos los nodos del cluster deben tener FQDN para permitir el recorrido por puntos finales privados.
      2. (Opcional) Haga clic en + Servidor de inicialización de inicio para agregar otro servidor.
    6. En Protocolo de seguridad, seleccione una de las siguientes opciones y, a continuación, complete los campos correspondientes:
      • texto sin formato
      • SASL en texto sin formato
      • SASL en SSL
      • SSL
    7. Amplíelas opciones avanzadas. Puede configurar las siguientes opciones:
      • Seguridad
        • Anule la selección de Usar secretos de almacén que prefiera no utilizar secretos de contraseña para esta conexión. Si no está seleccionado:
          • Seleccione Usar Clave de Cifrado Gestionada por Oracle para dejar toda la gestión de claves de cifrado a Oracle.
          • Seleccione Usar clave de cifrado gestionada por el cliente para seleccionar una clave de cifrado específica almacenada en OCI Vault para cifrar sus credenciales de conexión.
      • Conectividad de Red
        • Punto final compartido, para compartir un punto final con el despliegue asignado. Debe permitir la conectividad desde la IP de entrada del despliegue.
        • Punto final dedicado, para el tráfico de red a través de un punto final dedicado en la subred asignada en la VCN. Debe permitir la conectividad desde las IP de entrada de esta conexión.

          Note:

          • Si una conexión dedicada permanece sin asignar durante siete días, el servicio la convierte en una conexión compartida.
          • Obtenga más información sobre la conectividad de Oracle GoldenGate.
      • Configuración
        • Propiedades de consumidor de Kafka para deserializador de JSON:
          key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
          value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
        • Propiedades de consumidor de Kafka para el conversor de JSON:
          key.converter=org.apache.kafka.connect.json.JsonConverter
          value.converter=org.apache.kafka.connect.json.JsonConverter
        • Kafka Propiedades del consumidor para Avro convertidor:
          key.converter=io.confluent.connect.avro.AvroConverter
          value.converter=io.confluent.connect.avro.AvroConverter
      • Etiquetas: agregue etiquetas para organizar los recursos.
  4. Haga clic en Create.
Una vez creada la conexión, esta aparecerá en la lista Conexiones. Asegúrese de asignar la conexión a un despliegue para utilizarla como origen o destino en una replicación.

Crear la conexión de destino

Para crear una conexión a Apache Kafka de destino:
  1. En la página Visión general de OCI GoldenGate, haga clic en Conexiones..
    También puede hacer clic en Crear conexión en la sección Introducción y saltar al paso 3.
  2. En la página Conexiones, haga clic en Crear conexión.
  3. En la página Create Connection, complete los campos de la siguiente manera:
    1. En Nombre, introduzca un nombre para la conexión.
    2. (Opcional) En Descripción, introduzca una descripción que le ayude a distinguir esta conexión de otras.
    3. En Compartimento, seleccione el compartimento en el que desea crear la conexión.
    4. En la lista desplegable Tipo, seleccione Apache Kafka.
    5. En los servidores de inicialización de datos:
      1. Introduzca el Host y el número de Puerto del servidor de inicialización de datos. Introduzca la IP privada solo si el nombre de host no se puede resolver desde su subred o si utiliza SSL/TLS.

        Note:

        Si introduce una IP privada, OCI GoldenGate reescribe la IP privada con el formato ip-10-0-0-0.ociggsvc.oracle.vcn.com.

        Sugerencia:

        Todos los nodos del cluster deben tener FQDN para permitir el recorrido por puntos finales privados.
      2. (Opcional) Haga clic en + Servidor de inicialización de inicio para agregar otro servidor.
    6. En Protocolo de seguridad, seleccione una de las siguientes opciones y, a continuación, complete los campos correspondientes:
      • texto sin formato
      • SASL en texto sin formato
      • SASL en SSL
      • SSL
    7. Amplíelas opciones avanzadas. Puede configurar las siguientes opciones:
      • Seguridad
        • Anule la selección de Usar secretos de almacén que prefiera no utilizar secretos de contraseña para esta conexión. Si no está seleccionado:
          • Seleccione Usar Clave de Cifrado Gestionada por Oracle para dejar toda la gestión de claves de cifrado a Oracle.
          • Seleccione Usar clave de cifrado gestionada por el cliente para seleccionar una clave de cifrado específica almacenada en OCI Vault para cifrar sus credenciales de conexión.
      • Conectividad de Red
        • Punto final compartido, para compartir un punto final con el despliegue asignado. Debe permitir la conectividad desde la IP de entrada del despliegue.
        • Punto final dedicado, para el tráfico de red a través de un punto final dedicado en la subred asignada en la VCN. Debe permitir la conectividad desde las IP de entrada de esta conexión.

          Note:

          • Si una conexión dedicada permanece sin asignar durante siete días, el servicio la convierte en una conexión compartida.
          • Obtenga más información sobre la conectividad de Oracle GoldenGate.
      • ConfiguraciónPara utilizar la compresión Snappy en la replicación de Kafka, arrastre y suelte o seleccione Propiedades del productor y cambie la configuración de replicación como se describe en Uso de la replicación de Kafka de Compression OCI GoldenGate (Confluent).
      • Etiquetas: agregue etiquetas para organizar los recursos.
  4. Haga clic en Create.
Una vez creada la conexión, esta aparecerá en la lista Conexiones. Asegúrese de asignar la conexión a un despliegue para utilizarla como origen o destino en una replicación.

Solucionar problemas de errores de conexión de Kafka

La mayoría de los problemas de conexión generan errores TimeoutException. Por ejemplo:

A failure occurred sending a message to Kafka to topic [ggstest] org.apache.kafka.common.errors.TimeoutException: Topic ggstest not  present in metadata after 60000/120000 ms.

Si encuentra este mensaje en el archivo de informe de Replicat, puede:

  • Asegúrese de que el tema de destino está presente o compruebe que la creación automática de temas está activada en la configuración de Kafka de destino.
  • Asegúrese de que no haya reglas de firewall que bloqueen el tráfico.
  • Si ejecuta Kafka en OCI con un punto final privado, asegúrese de utilizar el FQDN interno como servidor de inicialización en server.properties y en la conexión de Kafka.
  • Si se conecta a una nube confluente con puntos finales privados:
    • Asegúrese de que las zonas de DNS y los registros de DNS estén configurados correctamente en OCI y en la nube de terceros de destino.
    • Asegúrese de que la conexión de red entre OCI y la nube de destino funcione correctamente.
    • Pruebe que puede conectarse a la nube confluente de destino con OpenSSL (openssl s_client -connect <bootstrap>) desde una máquina virtual de OCI que se ejecute en la misma subred conectada a la nube de terceros.
    • Compruebe que puede publicar o consumir mensajes de un cliente de Kafka que se ejecute en OCI en la misma subred conectada a la nube de terceros. Si falla, compruebe la configuración de red tanto en OCI como en la nube de terceros.