Replicación de datos en Stream Analytics

Descubra cómo replicar datos de OCI GoldenGate en Stream Analytics.

GoldenGate Stream Analytics comenzó como un motor de procesamiento de eventos complejos que evolucionó para ejecutarse sobre marcos de tiempo de ejecución con Apache Spark y Apache Kafka. Stream Analytics puede ingerir un flujo de datos desde cualquier origen, como una base de datos, GoldenGate, Kafka, JMS, REST o incluso un archivo del sistema de archivos. Una vez que los datos se ingieren, puede ejecutar análisis en datos activos.

Antes de empezar

Para completar correctamente este inicio rápido necesita:

• Una base de datos de IA autónoma de origen con datos de muestra cargados y registro complementario activado.

  Sugerencia:

  Puede descargar los datos de ejemplo de OCI GoldenGate si necesita datos de ejemplo con los que trabajar.

  • En primer lugar, edite SETUP_USERS_ATP.sql y modifique la contraseña del usuario SRC_OCIGGLL para eliminar los caracteres especiales.

  • Utilice la herramienta SQL de acciones de base de datos de Autonomous AI Database para ejecutar los dos scripts para crear el esquema de usuario y las tablas.

  • Utilice la herramienta SQL para activar el registro complementario.

  Siga los pasos del Laboratorio 1, Tarea 3: Carga del esquema ATP para obtener más información.

• Desbloquear el usuario de GGADMIN en la instancia de base de datos de IA autónoma de origen

  1. En la página Detalles de base de datos de IA autónoma, seleccione Usuarios de base de datos en el menú Acciones de base de datos.

     Consejo: utilice las credenciales de administrador de la base de datos de IA autónoma proporcionadas al crear la instancia para conectarse, si se le solicita.

  2. Localice el usuario GGADMIN y, a continuación, seleccione Editar en el menú de puntos suspensivos (tres puntos).

  3. En el panel Editar usuario, introduzca una contraseña, confirme esa contraseña y, a continuación, anule la selección de La cuenta está bloqueada.

  4. Seleccione Apply Changes (Aplicar cambios).

Tarea 1: Creación de recursos de OCI GoldenGate

1. Cree el despliegue de OCI GoldenGate para la replicación de datos.

2. Cree una conexión para la base datos de origen.

3. Asigne la conexión al despliegue.

4. Cree y ejecute una extracción.

Tarea 2: Creación de los recursos de Stream Analytics

1. Cree el despliegue de Stream Analytics.

2. Cree una conexión de Kafka mediante la IP pública de la instancia de Kafka y seleccione Plaintext para el protocolo de seguridad.

3. Cree una conexión de GoldenGate.

4. Asigne las conexiones al despliegue de Stream Analytics.

Tarea 3: Crear y ejecutar los pipelines

1. Inicie la consola de despliegue de Stream Analytics.

2. Revise las conexiones en la consola de despliegue de Stream Analytics.

   1. En la consola de despliegue de Stream Analytics, seleccione Catálogo.

   2. En la página Catálogo, revise la lista de conexiones. Debe ver la conexión de GoldenGate, la conexión a la base de datos de IA autónoma y la conexión de Kafka.

3. Inicie el cluster de Big Data de GoldenGate:

   1. En la consola de despliegue de OCI GoldenGate Stream Analytics, seleccione Configuración del sistema en el menú de usuario ossaadmin.

   2. En el cuadro de diálogo Configuración del sistema, seleccione Gestionar clusters y, a continuación, amplíe Cluster de GGDB.

   3. Seleccione Iniciar cluster. Espere hasta que el estado del cluster sea En ejecución y, a continuación, cierre la ventana del cuadro de diálogo.

4. Actualice las credenciales de conexión de GoldenGate:

   Aunque la conexión GoldenGate está disponible en la consola de despliegue de Stream Analytics, las credenciales de GoldenGate no se transfieren. Actualizar la contraseña y probar la conexión.

   1. Seleccione Catálogo y, a continuación, seleccione la conexión GoldenGate.

   2. En el cuadro de diálogo Editar conexión, seleccione Siguiente.

   3. En Nombre de usuario de GG, introduzca oggadmin.

   4. Para Contraseña de GG, seleccione Cambiar contraseña y, a continuación, introduzca la contraseña proporcionada al crear el despliegue de OCI GoldenGate para la replicación de datos en la tarea 1.

   5. Seleccione Probar conexión. Si se realiza correctamente, seleccione Guardar.

5. Utilice el Extract de GoldenGate para crear e iniciar Datos de cambio de GoldenGate.

   Asegúrese de utilizar los detalles de Extract proporcionados en la tarea 1 de la página Detalles de datos de cambio de GG.

6. Actualice el nombre de usuario de la base de datos de IA autónoma.

   Las conexiones de base de datos se crean con el usuario por defecto, ggadmin. Actualice el nombre de usuario a SRC_OCIGGLL (si ha utilizado los datos de ejemplo proporcionados) para acceder a su esquema y tablas.

   1. Seleccione Catálogo y, a continuación, seleccione la conexión de base de datos de IA autónoma.

   2. En el cuadro de diálogo Editar conexión, seleccione Siguiente.

   3. En Nombre de usuario, introduzca SRC_OCIGGLL.

   4. En Contraseña, introduzca la contraseña SRC_OCIGGLL que ha modificado en los pasos Antes de empezar al inicio de este inicio rápido.

   5. Seleccione Probar conexión. Si se realiza correctamente, seleccione Guardar.

7. Utilice las tablas de consulta de la base de datos de IA autónoma para crear referencias para clientes y órdenes.

8. Utilice la conexión de Kafka para crear flujos de Kafka para clientes y pedidos.

9. Utilice la herramienta SQL de base de datos de IA autónoma para realizar inserciones en la base de datos origen.

   Por ejemplo, puede ejecutar las siguientes inserciones:

   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (11,'COM',101,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (12,'COM',102,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (13,'COM',103,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (14,'COM',104,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (15,'COM',105,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (16,'COM',106,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (17,'COM',107,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (18,'COM',201,to_date('16-AUG-2023','DD-MON-YYYY'),null);
   Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (19,'COM',202,to_date('16-AUG-2023','DD-MON-YYYY'),null);

10. Cree un pipeline que utilice el flujo de Kafka creado en el paso 8.

11. Agregue una etapa de consulta y, a continuación, agregue un filtro para devolver solo los pedidos en los que el CUST_ID del flujo de pedidos coincida con el CUSTID del flujo de clientes.

12. Agregar etapa de destino.

13. Publicar el pipeline.