Adición de una extracción para Kafka

La adición de un Extract para un origen de Kafka difiere entre las versiones de despliegue de Big Data. Siga las instrucciones según la versión de despliegue de Big Data.

Para comprobar la versión GoldenGate de OCI, consulte la información de la versión en la página de detalles del despliegue.

Puede capturar mensajes de los siguientes orígenes de transmisión:

  • Apache Kafka
  • OCI Streaming
  • Confluent Kafka, con o sin registro de esquema
  • Azure Event Hubs
  • MSK de Amazon

OCI GoldenGate lee mensajes de un tema o de varios temas del programa Kafka y, a continuación, convierte los datos en registros lógicos de cambios escritos a archivos de pista GoldenGate. GoldenGate Los procesos de Replicat pueden utilizar los archivos de pista generados para propagar datos para soportar implantaciones del sistema de gestión de bases de datos relacionales (RDBMS).

Un despliegue de OCI GoldenGate Big Data soporta varias tecnologías de origen en el mismo despliegue, por lo que puede configurar varias extracciones de diferentes tecnologías de origen soportadas en el mismo despliegue. OCI GoldenGate utiliza entradas del almacén de credenciales para identificar la tecnología de origen. Por ejemplo, OCI GoldenGate utiliza el ID de usuario de la credencial para determinar si se debe iniciar una extracción de Kafka (kafka:// ) o Mongo (Mongo://).

Adición de un Extract (23ai)

Antes de añadir y ejecutar una extracción, asegúrese de que:
  • Revise los detalles específicos de este tipo de conexión de origen.
  • Cree una credencial en la consola de despliegue de Big Data:
    1. Inicie la consola de despliegue de Big Data desde la página de detalles del despliegue y, a continuación, conéctese.
    2. En el menú de navegación de la izquierda del servicio de administración, haga clic en Conexiones de base de datos.
    3. En la página Conexiones de Base de Datos, haga clic en Agregar Credencial (icono más).
    4. Introduzca los siguientes detalles en los campos proporcionados y, a continuación, haga clic en Enviar:
      • En Dominio de credencial, introduzca OracleGoldenGate.
      • En Alias de credencial, introduzca kafka.
      • En User ID: introduzca kafka://
      • En Contraseña, introduzca una contraseña.
      • En Verify Password (Verificar contraseña), vuelva a introducir la contraseña.
Para agregar un Extract en Oracle GoldenGate 23ai:
  1. En la consola de despliegue GoldenGate de OCI, en la página de inicio del servicio de administración, haga clic en Agregar extracción.
  2. En el panel Agregar extracción, en la página Información de extracción, complete los siguientes campos según sea necesario y, a continuación, haga clic en Siguiente:
    • Introduzca un nombre de proceso que no tenga más de 8 caracteres.
    • Introduzca una descripción (opcional) que le ayude a distinguir este proceso de otros.
    • Seleccione un Origen en la lista desplegable.
  3. En la página Opciones de extracción, rellene los siguientes campos según sea necesario y, a continuación, haga clic en Siguiente:
    1. En Pista de extracción:
      1. Introduzca un nombre para el proceso de Extract.
      2. Introduzca un nombre de subdirectorio para definir una ubicación personalizada para el archivo de pista generado.
      3. Introduzca Secuencia de pista para definir el número de inicio para los archivos de pista.
      4. Introduzca un Tamaño de Pista para definir el tamaño máximo para el archivo del pista generado.
      5. Seleccione un Perfil de cifrado. El perfil Cartera local está seleccionado por defecto si no se ha creado un perfil de cifrado.
      6. Seleccione un algoritmo de cifrado:
        • NONE
        • AES256
        • AES192
        • AES128
    2. En Credenciales de origen, seleccione lo siguiente:
      1. Dominio
      2. Alias
      3. Cuándo y dónde comenzar
  4. En la página Opciones gestionadas, rellene los siguientes campos opcionales según sea necesario y, a continuación, haga clic en Siguiente:
    • Nombre del perfil
    • Crucial para estado de despliegue
    • Iniciar automáticamente
    • Reinicio automático

    Note:

    La adición de un perfil y la configuración de las opciones Inicio automático y Reinicio automático permiten que el despliegue se reinicie automáticamente después de una interrupción de la red. Consulte Configurar procesos gestionados para obtener más información.

  5. En la página Archivo de parámetros, actualice lo siguiente:
    1. Actualice SOURCEDB USERIDALIAS a SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate
    2. Deje la asignación de tabla tal cual (TABLE source.*;) para escuchar todos los temas en el servidor de inicialización de datos determinado. Para realizar la captura desde un tema designado, cambie la asignación a TABLE source.<topic-name>;, donde <topic-name> es el nombre del tema del que se va a realizar la captura.

      Note:

      El formato de asignación de Extract es Table SourceSchema.Table. En Kafka, no hay esquemas/tablas de origen. OCI GoldenGate escribe la primera parte ("origen" en el paso anterior) como el nombre del esquema y la segunda parte como nombre de tabla para el archivo de pista. De esta forma, puede replicar el mensaje de kafka capturado en otros destinos soportados GoldenGate.
  6. Haga clic en Crear y ejecutar para crear e iniciar el Extract. Si hace clic en Crear, puede iniciar manualmente la extracción más adelante desde la página Extracts.

Adición de un Extract (21c)

Antes de crear un Extract, cree una credencial en la consola de despliegue de Big Data:

  1. En la página Despliegues, seleccione el despliegue de Big Data para ver los detalles.
  2. Conéctese a la consola de despliegue de Big Data con las credenciales especificadas al crear el despliegue. Accederá a la página Administration Server Overview.
  3. Agregue una credencial:
    1. Abra el menú de navegación y, a continuación, haga clic en la configuración.
    2. En la página Credenciales, haga clic en Agregar Credencial (icono más).
    3. Introduzca los siguientes detalles en los campos proporcionados y, a continuación, haga clic en Enviar:
      • En Dominio de credencial, introduzca OracleGoldenGate.
      • En Alias de credencial, introduzca kafka.
      • En User ID: introduzca kafka://
      • En Contraseña, introduzca una contraseña.
      • En Verify Password (Verificar contraseña), vuelva a introducir la contraseña.
Para agregar un Extract para Kafka en OCI GoldenGate para despliegues de Big Data versión 21.9 o posterior:
  1. En el menú de navegación, haga clic en Visión general para volver a la página Visión general del servicio de administración.
  2. Haga clic en Agregar extracción (icono más).
  3. En la página Agregar extracción, seleccione lo siguiente y, a continuación, haga clic en Siguiente:
    • Fuente: Kafka
    • Tipo de extracción: Extracto de captura de cambios en los datos
  4. En la página Opciones de Extract, complete los campos como se indica a continuación y, a continuación, haga clic en Siguiente:
    • En Nombre de proceso, introduzca un nombre de hasta 8 caracteres.
    • (Opcional) Introduzca una descripción.
    • Para Alias de conexión, seleccione el alias de conexión asignado anteriormente.
    • Para Begin, seleccione Now (Ahora).
    • En Nombre de pista, introduzca un nombre de 2 caracteres.
    • (Opcional) Activar Kafka Connect, si el origen es un marco de Kafka Connect.
    • (Opcional) Si se selecciona Kafka Connect, seleccione uno de los convertidores disponibles:
      • JSON
      • AVRO
    • (Opcional) Si se selecciona AVRO, seleccione Registro de esquema.
    • (Opcional) En Opciones gestionadas, puede configurar lo siguiente:
      • Nombre del perfil
      • Iniciar automáticamente
      • Reinicio automático

      Note:

      La adición de un perfil y la configuración de las opciones Inicio automático y Reinicio automático permiten que el despliegue se reinicie automáticamente después de una interrupción de la red. Consulte Configuración de Procesos Gestionados para obtener más información.
  5. En la página Archivo de parámetros, actualice lo siguiente:
    1. Actualice SOURCEDB USERIDALIAS a SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate
    2. Deje la asignación de tabla tal cual (TABLE source.*;) para escuchar todos los temas en el servidor de inicialización de datos determinado. Para realizar la captura desde un tema designado, cambie la asignación a TABLE source.<topic-name>;, donde <topic-name> es el nombre del tema del que se va a realizar la captura.

      Note:

      El formato de asignación de Extract es Table SourceSchema.Table. En Kafka, no hay esquemas/tablas de origen. OCI GoldenGate escribe la primera parte ("origen" en el paso anterior) como el nombre del esquema y la segunda parte como nombre de tabla para el archivo de pista. De esta forma, puede replicar el mensaje de kafka capturado en otros destinos soportados GoldenGate.
  6. Haga clic en Crear y ejecutar.
Volverá a la página Visión general del servicio de administración, donde podrá observar el estado del Extract. A continuación, puede seleccionar Extract para ver sus detalles, estadísticas e informes.