Captura de datos de plataformas de Kafka

Utilice OCI GoldenGate para extraer mensajes de orígenes de transmisión de la plataforma de Kafka.

Visión general

Puede utilizar OCI GoldenGate para capturar mensajes de los siguientes orígenes de flujo:

Apache Kafka
OCI Streaming
Confluent Kafka, con o sin registro de esquema Confluent
Azure Event Hubs
MSK de Amazon
Flujo de eventos de Microsoft Fabric

OCI GoldenGate lee mensajes de un tema o de varios temas del Kafka y, a continuación, convierte los datos en registros lógicos de cambios escritos a archivos de pista del GoldenGate. Los procesos de GoldenGate Replicat pueden utilizar los archivos de pista de generación para propagar datos para soportar implantaciones de RDBMS.

Tarea 1: Configuración de propiedades del consumidor

Cree un archivo de propiedades de Kafka Consumer con uno de los siguientes deserializadores o convertidores. Si el origen es un tema en Confluent Kafka con Confluent Schema Registry, puede utilizar el convertidor Avro. Para otros orígenes, utilice el conversor de JSON o el deserializador según sea necesario:
- Propiedades de consumidor de Kafka para el deserializador JSON:
```
key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer
```
- Propiedades de consumidor de Kafka para el conversor de JSON:
```
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
```
- Kafka Propiedades de consumo para convertidor Avro:
```
key.converter=io.confluent.connect.avro.AvroConverter
value.converter=io.confluent.connect.avro.AvroConverter
```
Guarde el archivo de propiedades y tome nota de su ubicación.

Tarea 2: Creación de recursos de OCI GoldenGate

Esta tarea le guiará a través de la creación de nuevos recursos si aún no existen. Asegúrese de que el despliegue de Big Data que está utilizando se ha actualizado a la última versión disponible.

Cree un despliegue en OCI GoldenGate para Big Data.
Cree una conexión.

Nota: Al crear cualquiera de las siguientes conexiones, asegúrese de seleccionar Mostrar opciones avanzadas y, a continuación, cargue el archivo de propiedades de consumidor.
- Para Apache Kafka o Amazon MSK, cree una conexión de Kafka.
- Para Confluent Kafka, cree una conexión de Confluent Kafka.
- Para el registro de esquemas de Confluent, cree una conexión de Confluent Schema Registry.
- Para los hub de eventos de Azure, cree una conexión a los hub de eventos de Azure.
- Para OCI Streaming, cree una conexión de OCI Streaming.
- Para Microsoft Fabric Eventstream, cree una conexión de Microsoft Fabric Eventstream
Asigne la conexión al despliegue de Big Data.

Tarea 3: Crear una credencial

Antes de crear Extract, primero debe crear una credencial.

Para crear una credencial:

Seleccione el despliegue de Big Data en la página Despliegues.
En la página de detalles del despliegue, seleccione Iniciar consola.
Conéctese al despliegue de Big Data con el nombre de usuario y la contraseña especificados al crear el despliegue en la tarea 2, paso 1.
En el menú de navegación, seleccione Conexiones de Base de Datos.
En la página Configuration, en el separador Database, seleccione Add DB Connection (icono más) y, a continuación, complete el formulario de la siguiente manera:
1. En Dominio de credencial, introduzca OracleGoldenGate.
2. En Alias de credencial, introduzca kafka.
3. En ID de usuario, introduzca kafka://
4. En Password (Contraseña) y Verify Password (Verificar contraseña), introduzca una contraseña.
5. Seleccione Enviar.

Tarea 4: Creación del Extract

En la página de inicio, seleccione Agregar extracción (icono más).
Agregue un Extract con los siguientes valores:
1. En la página Extraer información, complete el campo de la siguiente manera y, a continuación, seleccione Siguiente:
  - En Tipo de extracción, seleccione Extracción integrada.
  - En Nombre de proceso, introduzca un nombre para el Extract.
2. En la página Opciones de Extract, complete los campos como se indica a continuación y, a continuación, seleccione Siguiente:
  - En Dominio, seleccione el dominio.
  - En Alias, seleccione la conexión asignada al despliegue.
  - En Nombre, introduzca un nombre de 2 caracteres.
3. En la página Managed Options, deje los campos como están y seleccione Next.
4. En la página Archivo de Parámetros:
  - Deje la asignación de tabla como TABLE TESTSCHEMA.*; para escuchar todos los temas en el servidor de inicialización de datos proporcionado. También puede definir la asignación de tabla como TABLE TESTSCHEMA.<topic-name>; para capturarla desde un tema designado.
  - Actualice SOURCEDB USERIDALIAS a SOURCEDB USERIDALIAS kafka DOMAIN OracleGoldenGate.
5. Seleccione Crear y ejecutar.

Vuelva a la página inicial de Oracle GoldenGate, donde puede observar los mensajes de evento de inicio y revisión del proceso de extracción.