1. Transmisión de temas de Kafka a Oracle Autonomous Database mediante Oracle Integration 3
  2. Conexión de datos de flujos de Kafka a Oracle Autonomous Database

Conexión de datos de flujos de Kafka a Oracle Autonomous Database

Puede crear una instancia informática e instalar Kafka para enviar mensajes como productor o utilizar los siguientes pasos en la consola de OCI.

  1. Conéctese a la consola de OCI y vaya a Marketplace.
  2. En Todas las aplicaciones, busque GoldenGate Stream Analytics.
  3. Haga clic en Iniciar pila.
  4. Proporcione los detalles de la VCN y agregue una clave pública SSH para conectarse a la instancia de Stream Analytics GoldenGate mediante una clave privada más tarde.

    Note:

    Esta instancia de GoldenGate Stream Analytics tiene un ejemplo incorporado de flujos de Kafka (productores) instalados. Si tiene sus propios flujos de Kafka, también puede utilizarlos.

Creación de una base de datos autónoma

  1. Haga clic en Oracle Database en el menú superior izquierdo y, a continuación, en Autonomous Database.
  2. En la página inicial de Autonomous Databases, haga clic en Crear Autonomous Database.
  3. Seleccione el compartimento en el que desee crear la base de datos.
  4. Nombre mostrado: introduzca una descripción sencilla u otra información que le ayude a identificar fácilmente Autonomous Database.
  5. Nombre de base de datos: proporcione un nombre para la nueva instancia de Autonomous Database.
  6. Seleccione el tipo de carga de trabajo como almacén de datos.
  7. Seleccione el tipo de despliegue sin servidor.
  8. Seleccione Versión de base de datos como 19c, recuento de ECPU como 2 y almacenamiento (TB) como 1.
  9. Cree credenciales de administrador e introduzca la contraseña. La contraseña debe cumplir los criterios de complejidad de contraseña segura basados en los estándares de seguridad de Oracle Cloud. Para obtener más información sobre las reglas de complejidad de las contraseñas, consulte Creación de usuarios de base de datos.
  10. Elija el acceso de red como Acceso seguro desde cualquier lugar.
  11. Mantenga los parámetros restantes como por defecto y haga clic en Crear Autonomous Database.
En la pantalla se muestra Provisioning hasta que la nueva instancia de Autonomous Database esté disponible.

Crear una tabla para almacenar mensajes de Kafka

  1. Abra SQLDeveloper y haga clic en el icono + para Crear una conexión de base de datos Oracle.
  2. Introduzca un nombre de conexión, proporcione el nombre de usuario y la contraseña de la base de datos.
  3. Seleccione el tipo de conexión como cartera en la nube, busque el archivo wallet.zip y haga clic en Conectar. La conexión se debe crear correctamente.
  4. Cree una tabla de ejemplo mediante el siguiente script: 
    CREATE TABLE "TEST"."SAMPLE"
        (    "FRUIT" VARCHAR2(50 BYTE)",
             "TOTAL" VARCHAR2(50 BYTE)",
             "COLOR" VARCHAR2(50 BYTE)"
        )

Creación de una instancia de Oracle Integration 3

  1. En la consola de OCI, haga clic en Developer Services y, en Application Integration, haga clic en Integration.
  2. En la página inicial de instancias de integración, haga clic en Crear instancia.
  3. Introduzca un nombre, seleccione Versión como Oracle Integration 3, Edición como Empresa, Unidad como Producción y Tipo de licencia como Suscribirse a una nueva instancia de Oracle Integration.
  4. Haga clic en Create.
Una vez creada la instancia, haga clic en la consola de servicio y esto le llevará a una nueva ventana.

Creación de una conexión de Oracle Autonomous Data Warehouse en Oracle Integration 3

  1. En la instancia de Oracle Integration, haga clic en el menú de hamburguesa y, en Diseño, seleccione Conexiones.
  2. Haga clic en Crear, busque Oracle ADW y seleccione.
  3. Introduzca un nombre, un identificador, un rol como disparador y llamada, una palabra clave y una descripción sobre esta conexión.
  4. En Propiedades, amplíe Propiedades opcionales e introduzca el Nombre de servicio.
  5. En Seguridad, seleccione JDBC en SSL y cargue el archivo Wallet.zip.
  6. Introduzca la contraseña de cartera que se proporcionó cuando se creó la base de datos.
  7. Introduzca el nombre de usuario del servicio de base de datos como administrador.
  8. Introduzca la contraseña del servicio de base de datos para el usuario administrador.
  9. Seleccione el Tipo de acceso como Gateway público.
  10. Haga clic en Probar en la parte superior derecha.
  11. Cuando aparezca un mensaje correcto, haga clic en Guardar.

Grupo de agentes asociados en la instancia de Kafka

Necesita un agente que se deba ejecutar en la instancia en la que están instalados los flujos de Kafka.

  1. En la instancia de Oracle Integration 3, haga clic en el menú de hamburguesa y, en Diseño, seleccione Agentes.
  2. En la página Agentes, haga clic en Crear.
  3. Introduzca un nombre, un identificador, una descripción y haga clic en Crear.
  4. Una vez creado el agente, haga clic en Descargar y, a continuación, en Agente de conectividad.
  5. Una vez que la descarga se haya realizado correctamente, copie oic_conn_agent_installer.zip en la instancia de Kafka en la que se ejecutan los temas de Kafka y se generan mensajes. En este ejemplo de guía de soluciones, se trata de la instancia de Stream Analytics de Oracle GoldenGate.
  6. Descomprima oic_conn_agent_installer.zip.
  7. En la columna Estado, haga clic en el icono ... y, a continuación, haga clic en Descargar configuración.
  8. Copie el archivo InstallerProfile.cfg y copie este archivo en la instancia de Kafka.
  9. Sustituya el archivo InstallerProfile.cfg en la instancia de Kafka.
  10. Después de sustituir InstallerProfile.cfg, ejecute la siguiente sentencia para iniciar el agente en la instancia de Stream Analytics de Oracle GoldenGate o en la instancia local de Kafka mediante este comando: 
    $ java -jar connectivityagent.jar
El agente se debe iniciar correctamente, dejarlo en ejecución y no parar. Para obtener más información, consulte Uso de integraciones en Oracle Integration Generation 2.

Creación de una conexión de Kafka en Oracle Integration 3

  1. En la instancia de Oracle Integration 3, haga clic en el menú de hamburguesa y, en Diseño, seleccione Conexiones.
  2. Haga clic en Crear, busque Apache Kafka y seleccione.
  3. Introduzca un nombre, un identificador, un rol como disparador y llamada, una palabra clave y una descripción sobre esta conexión.
  4. En Propiedades, introduzca los servidores de inicialización de datos: instancename:9092.

    Note:

    En la VCN que utiliza la instancia de Kafka, en Lista de seguridad, debe agregar el puerto 9092 para permitir el tráfico.
  5. Seleccione Sin política de seguridad para Seguridad.
  6. Seleccione Tipo de acceso como Agente de conectividad y haga clic en Asociar grupo de agentes.
  7. Seleccione el agente y haga clic en Usar.
  8. Haga clic en Probar. Debe obtener un mensaje correcto.
  9. Haga clic en Guardar.

Creación de una integración entre Kafka y Oracle Autonomous Data Warehouse en Oracle Integration 3

  1. En la instancia de Oracle Integration 3, haga clic en el menú de hamburguesa y, en Diseño, seleccione Integraciones.
  2. Haga clic en Crear y, en el cuadro de diálogo Crear integración, seleccione Aplicación.
  3. Introduzca el nombre de integración como KafkaToADW y haga clic en Crear.

    Note:

    Observará dos conexiones que ha creado para Kafka y Oracle Autonomous Data Warehouse como disparadores.
  4. Seleccione Kafka y se le pedirá que introduzca un nombre para el disparador, seleccione Tipo de mensaje como Consumidor y haga clic en Continuar.
  5. Seleccione el tema de Kafka en la lista desplegable y proporcione un nombre de consumidor, deje los campos como predeterminados y haga clic en Continuar.
  6. Seleccione la Estructura de mensajes como Documento JSON de ejemplo y, a continuación, arrastre y suelte el mismo archivo JSON.
  7. En la ventana Resumen, compruebe todos los detalles y haga clic en Terminar.
  8. Observará una flecha hacia abajo en el disparador que se ha creado.
  9. Haga clic en el icono + y, en Llamar, seleccione ADW y verá un cuadro adicional con el nombre Asignación.
  10. Mueva el mouse sobre Llamar, haga clic en ... y seleccione Editar.
  11. Proporcione un nombre y seleccione Realizar una operación en una tabla para el campo ¿Qué operaciones desea realizar? Seleccione Insertar y haga clic en Continuar.
  12. Seleccione la tabla, haga clic en Continuar y, en la página Resumen, haga clic en Terminar.
  13. A continuación, mueva el mouse sobre el cuadro Mapa, haga clic en ... y seleccione Editar.
  14. En la página Asignación, conecte los campos Origen y Destino.
  15. Haga clic en Validar y se debe validar correctamente.
  16. En la página Integración, haga clic en Guardar y deberá configurar correctamente la integración.
  17. En la página de inicio Integración, mueva el puntero del mouse sobre el campo Estado y haga clic en el ícono de encendido para activarlo.
  18. Verá una ventana con el nombre Activar integración, seleccione Producción y haga clic en Activar. Esto activará correctamente la integración para consumir mensajes de Kafka.
  19. Inicie el tema Kafka y verá mensajes que se almacenan en la base de datos. Abra SQLDeveloper, abra la tabla y haga clic en el separador Datos para ver los mensajes.
  20. Si tiene sus propios flujos de Kafka, puede empezar a producir mensajes en el mismo formato.
  21. Si utiliza Oracle GoldenGate Stream Analytics, utilice SSH en la instancia de Oracle GoldenGate Stream Analytics y vaya a la carpeta /u01/app/osa/utilities/kafka-utils.
  22. Puede utilizar sample.json como datos entrantes. Utilice este formato json: 
    {"fruit": "Apple","total": "Large","color": "Red"}
  23. Ejecute el siguiente comando para realizar un bucle en la fuente de datos como tema de Kafka: 
    opc@ggsanew kafka-utils]$ ./loop-file.sh ./sample.json | ./sampler.sh 1 1 | ./kafka.sh feed complex

Compruebe los datos

  1. Abra la consola de Oracle Integration, haga clic en Observación y seleccione Integraciones.
  2. Los detalles de los datos recibidos, procesados y correctos.
  3. Abra Oracle SQL Developer y compruebe la tabla para confirmar si los datos están disponibles allí.
    1. Haga clic en Conexiones de Oracle y seleccione la base de datos de Oracle Autonomous Data Warehouse.
    2. Amplíe Tablas, seleccione la tabla de ejemplo y observará los datos.