Conecte los datos de Kafka a Oracle Autonomous Database

Oracle GoldenGate Stream Analytics permite a los usuarios crear pipelines de análisis y transformación de datos escalables para obtener información empresarial ágil en tiempo real.

En esta sección se asume que ya ha instalado Oracle Autonomous Database desde la sección Antes de empezar. Ahora aprenderá a hacer lo siguiente:

• Obtenga acceso a la consola de GGSA.
• Configure el productor de Kafka para que ingiera datos.
• Conecte GGSA para Kafka a Autonomous Database.

Obtener acceso a la consola de GGSA

1. En la consola de OCI, en Recursos informáticos, seleccione Instancias. La instancia de GGSA Marketplace debe estar activa y en ejecución.
2. Copie la dirección IP pública.
3. Conéctese a la instancia con su clave privada y compruebe README.txt en /home/opc.
4. Copie la contraseña de la interfaz de usuario de OSA.
5. Abra un explorador e introduzca https://<Public IP Address>/osa.
6. Introduzca el nombre de usuario como osaadmin y utilice la contraseña copiada de README.txt.

Configuración del productor de Kafka para introducir datos

Siga estos pasos para crear un flujo de Kafka.

1. En la página Catálogo, haga clic en Crear nuevo elemento.
2. Pase el puntero del mouse sobre Conexión y seleccione Kafka en el submenú.
3. En la pantalla Type Properties (Propiedades de tipo), introduzca un Name (Nombre) y seleccione Connection Type (Tipo de conexión) como Kafka. Para este ejemplo, utilizaremos Kafka que está instalado en la instancia de GGSA.
4. En la pantalla Connection Details (Detalles de conexión), introduzca localhost:2181 en el campo Zookeepers.
5. Haga clic en Probar Conexión. Debe ver un mensaje Successful.
6. Haga clic en Guardar.

   Nota:

   Asegúrese de que el puerto 2181 esté abierto en la entrada.

Siga estos pasos para iniciar el tema de Kafka para la ingestión de datos.

1. Establezca una conexión SSH con la instancia de GGSA y vaya a la carpeta /u01/app/osa/utilities/kafka-utils.
2. Utilizará complex.json como datos entrantes.
3. Ejecute el siguiente comando para generar un bucle en la fuente de datos como tema de Kafka:

   opc@ggsanew kafka-utils]$ ./loop-file.sh ./complex.json | ./sampler.sh 1 1 | ./kafka.sh feed complex

   El tema complejo de Kafka comienza a producir datos y se prepara para la ingestión.
4. En la página Catálogo, haga clic en Crear nuevo elemento para crear un flujo mediante la conexión de Kafka.
5. Pase el cursor del mouse sobre Stream y seleccione Kafka en el submenú.
6. En la pantalla Propiedades de tipo, introduzca un nombre y seleccione el tipo de flujo como Kafka.
7. Haga clic en Siguiente.
8. En la pantalla Detalles de origen, seleccione la conexión de Kafka que ha creado en Conexiones.
   1. Seleccione Nombre de tema como complejo.
   2. Seleccione el formato de datos como JSON.
9. Haga clic en Siguiente.
10. En la pantalla Formato de datos, deje los valores por defecto.
11. Haga clic en Siguiente.
12. En la pantalla Unidad, la unidad JSON entrante se infiere del flujo.
13. Haga clic en Guardar. El flujo de Kafka se ha creado correctamente.

Conexión de GGSA para Kafka a Autonomous Database

Siga estos pasos para crear una conexión a Oracle Autonomous Database desde GGSA.

1. En la página Catálogo, haga clic en Crear nuevo elemento.
2. Pase el puntero del mouse sobre Conexión y seleccione Oracle Database en el submenú.
3. En la pantalla Propiedades de tipo, introduzca un nombre y seleccione el tipo de conexión como Oracle Database.
4. Haga clic en Siguiente.
5. En la pantalla Detalles de conexión, Tipo: Oracle Database, introduzca los detalles de conexión de Autonomous Database.
   • Seleccione Cartera en Conectar mediante y cargue el archivo de cartera.
   • Seleccione el Nombre/SID del Servicio de la lista desplegable.
   • Introduzca el nombre de usuario como admin.
   • Introducir la contraseña del administrador de la base de datos.
6. Haga clic en Guardar. La conexión de Autonomous Database se ha creado correctamente.
7. Conéctese a un esquema en Autonomous Database y cree una tabla para recibir los datos.

   CREATE TABLE COMPLEX
           (  BOOLEANFIELD VARCHAR2(20) , NUMBERFIELD NUMBER
           , STRINGFIELD VARCHAR2(20)
           , OBJECTFIELD_A_KEY NUMBER
           , OBJECTFIELD_A_VALUE NUMBER
           , OBJECTFIELD_C VARCHAR2(20)
           , OBJECTFIELD_E VARCHAR2(20)
           , ARRAYFIELD_0 NUMBER
           , ARRAYFIELD_1 NUMBER
           
       ); 

Siga estos pasos para crear un pipeline en GGSA y configurar el origen y el destino:

1. En la página Catálogo, haga clic en Crear nuevo elemento y seleccione Pipeline en la lista desplegable.
2. Pase el puntero del mouse sobre el destino y seleccione Tabla de base de datos en el submenú.
3. En la pantalla Propiedades de tipo, introduzca un Nombre para el Destino y seleccione Tipo de objetivo como Tabla de base de datos.
4. Haga clic en Siguiente.
5. En la pantalla Detalles de destino, seleccione la tabla de Autonomous Database que ha creado anteriormente en la lista desplegable.
6. Haga clic en Siguiente.
7. En la pantalla Unidad, seleccione el nombre de tabla como complejo en la lista desplegable.
8. Haga clic en Siguiente.
9. Inferir unidad y hacer clic en Guardar.

Siga estos pasos para definir el destino:

1. En la página Catálogo, haga clic en Crear nuevo elemento y seleccione Pipeline en la lista desplegable.
2. Pase el cursor del mouse sobre el destino y seleccione Flujo de Kafka en el submenú.
3. Haga clic en Guardar.
4. En Pipeline, haga clic con el botón derecho en el flujo, seleccione Agregar etapa y, a continuación, seleccione Destino.
5. En la ventana Crear etapa de destino, introduzca un nombre y haga clic en Guardar.
6. Seleccione la tabla Destino que ha creado anteriormente.
7. Haga clic en Publicar para publicar el pipeline y hacer que los datos estén disponibles en la tabla de destino.

8. Conéctese a la base de datos para ver los datos que se cargan en la tabla compleja de Autonomous Database.