Captura de datos de plataformas de Kafka

Utilice OCI GoldenGate para extraer mensajes de orígenes de flujo de plataforma de Kafka.

Descripción general

Puede utilizar OCI GoldenGate para capturar mensajes de los siguientes orígenes de flujo:

  • Apache Kafka
  • OCI Streaming
  • Confluent Kafka, con o sin registro de esquemas
  • Azure Event Hubs
  • Amazon MSK

OCI GoldenGate lee mensajes de uno o varios temas de Kafka y, a continuación, convierte los datos en registros de cambios lógicos escritos en archivos de pista GoldenGate. GoldenGate Los procesos de Replicat pueden utilizar los archivos de pista de generación para propagar datos para soportar implantaciones de RDBMS.

Tarea 1: Configuración de propiedades del consumidor

  1. Cree un archivo de propiedades de consumidor de Kafka con uno de los siguientes deserializadores o convertidores. Si el origen es un tema en Confluent Kafka con Schema Registry, puede utilizar el convertidor de Avro. Para otros orígenes, utilice el convertidor de JSON o el deserializador según sea necesario:
    • Propiedades de consumidor de Kafka para deserializador de JSON: 
      key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
    • Propiedades de consumidor de Kafka para el conversor de JSON:
      key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
    • Kafka Propiedades del consumidor para Avro convertidor:
      key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter
  2. Guarde el archivo de propiedades y tome nota de su ubicación.

Tarea 2: Creación de recursos de OCI GoldenGate

Esta tarea le guiará a través de la creación de nuevos recursos si aún no existen. Asegúrese de que el despliegue de Big Data que está utilizando se actualiza a la última versión disponible.

  1. Cree un despliegue de OCI GoldenGate para Big Data.
  2. Cree una conexión.

    Note:

    Al crear cualquiera de las siguientes conexiones, asegúrese de que hace clic en Mostrar opciones avanzadas y, a continuación, cargue el archivo de propiedades de consumidor.
  3. Asigne la conexión al despliegue de Big Data.

Tarea 3: Creación de una credencial

Antes de crear Extract, debe crear una credencial.
Para crear una credencial:
  1. Seleccione el despliegue de Big Data en la página Despliegues.
  2. En la página de detalles del despliegue, haga clic en Iniciar consola.
  3. Conéctese al despliegue de Big Data con el nombre de usuario y la contraseña especificados al crear el despliegue en el paso 1 de la tarea 2.
  4. En el menú de navegación, seleccione Conexiones de base de datos.
  5. En la página Configuración, en el separador Base de datos, haga clic en Agregar conexión de base de datos (icono más) y, a continuación, complete el formulario de la siguiente manera:
    1. En Dominio de credencialintroduzca OracleGoldenGate.
    2. En Alias de credencial, introduzca kafka.
    3. En ID de usuario, introduzca kafka://
    4. En Contraseña y Verify Password, introduzca una contraseña.
    5. Haga clic en Enviar.

Tarea 4: Creación del Extract

  1. En la página Visión general del servicio de administración, haga clic en Agregar Extract (icono de más).
  2. Agregue un Extract con los siguientes valores:
    1. En la página Información de Extract, complete el campo de la siguiente forma y, a continuación, haga clic en Siguiente:
      • Para Tipo Extract, seleccione Integrated Extract.
      • En Nombre de proceso, introduzca un nombre para el Extract.
    2. En la página Opciones de Extract, complete los campos de la siguiente forma y, a continuación, haga clic en Siguiente:
      • En Dominio, seleccione el dominio.
      • En Alias, seleccione la conexión asignada al despliegue.
      • En Nombre, introduzca un nombre de 2 caracteres.
    3. En la página Opciones gestionadas, deje los campos como están y haga clic en Siguiente.
    4. En la página Parameter File:
      • Deje la asignación de tabla como TABLE TESTSCHEMA.*; para recibir todos los temas en el servidor de inicialización especificado. También puede definir la asignación de tabla como TABLE TESTSCHEMA.<topic-name>; para capturarla de un tema designado.
      • Actualice SOURCEDB USERIDALIAS a SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate.
    5. Haga clic en Crear y ejecutar.
Vuelva a la página Visión general de Administration Service, donde puede observar los mensajes de evento de inicio y revisión del proceso Extract.