Replicación de datos en Stream Analytics

Descubra cómo replicar datos de OCI GoldenGate en Stream Analytics.

GoldenGate Stream Analytics comenzó como un motor de procesamiento de eventos complejos que evolucionó para ejecutarse sobre marcos de tiempo de ejecución con Apache Spark y Apache Kafka. Stream Analytics puede ingerir un flujo de datos de cualquier origen, como una base de datos, GoldenGate, Kafka, JMS, REST o incluso un archivo del sistema de archivos. Una vez que se ingieren los datos, puede ejecutar análisis en datos activos.

Antes de empezar

Para completar correctamente este inicio rápido necesita:

  • Una instancia de Autonomous Database de origen con datos de ejemplo cargados y registro complementario activado.

    Sugerencia:

    Puede descargar los datos de muestra de OCI GoldenGate si necesita datos de muestra con los que trabajar.
    • En primer lugar, edite SETUP_USERS_ATP.sql y modifique la contraseña del usuario SRC_OCIGGLL para eliminar los caracteres especiales.
    • Utilice la herramienta SQL de acciones de base de datos de Autonomous Database para ejecutar los dos scripts para crear el esquema de usuario y las tablas.
    • Utilice la herramienta SQL para activar el registro complementario.
    Siga los pasos del Laboratorio 1, Tarea 3: Carga del esquema ATP para obtener más información.
  • Desbloquear el usuario de GGADMIN en la instancia de Autonomous Database de origen
    1. En la página Detalles de Autonomous Database, seleccione Usuarios de base de datos en el menú Acciones de base de datos.

      Sugerencia:

      Utilice las credenciales de administrador de Autonomous Database proporcionadas cuando haya creado la instancia para conectarse, si se le solicita.
    2. Localice el usuario GGADMIN y, a continuación, seleccione Editar en el menú de puntos suspensivos (tres puntos).
    3. En el panel Editar usuario, introduzca una contraseña, confirme esa contraseña y, a continuación, anule la selección de La cuenta está bloqueada.
    4. Haga clic en Aplicar Cambios.

Tarea 1: Creación de recursos de OCI GoldenGate

  1. Cree el despliegue GoldenGate de OCI para la replicación de datos.
  2. Cree una conexión para la base datos de origen.
  3. Asigne la conexión al despliegue.
  4. Cree y ejecute un Extract.

Tarea 2: Creación de los recursos de Stream Analytics

  1. Cree el despliegue de Stream Analytics.
  2. Cree una conexión de Kafka mediante la IP pública de la instancia de Kafka y seleccione texto sin formato para el protocolo de seguridad.
  3. Cree una conexión GoldenGate.
  4. Asigne las conexiones al despliegue de Stream Analytics.

Tarea 3: Crear y ejecutar los pipelines

  1. Inicie la consola de despliegue de Stream Analytics.
  2. Revise las conexiones en la consola de despliegue de Stream Analytics.
    1. En la consola de despliegue de Stream Analytics, haga clic en Catálogo.
    2. En la página Catálogo, revise la lista de conexiones. Debe ver la conexión GoldenGate, la conexión de Autonomous Database y la conexión de Kafka.
  3. Inicie el cluster de Big Data GoldenGate:
    1. En la consola de despliegue de Stream Analytics de OCI GoldenGate, seleccione Configuración del sistema en el menú de usuario ossaadmin.
    2. En el cuadro de diálogo Configuración del sistema, haga clic en Gestionar clusters y, a continuación, amplíe Cluster de GGDB.
    3. Haga clic en Iniciar Cluster. Espere hasta que el estado del cluster sea En ejecución y, a continuación, cierre la ventana del cuadro de diálogo.
  4. Actualice las credenciales de conexión GoldenGate:

    Aunque la conexión GoldenGate está disponible en la consola de despliegue de Stream Analytics, las credenciales GoldenGate no se transfieren. Actualizar la contraseña y probar la conexión.

    1. Haga clic en Catálogo y, a continuación, haga clic en la conexión GoldenGate.
    2. En el cuadro de diálogo Editar conexión, haga clic en Siguiente.
    3. En Nombre de usuario de GG, introduzca oggadmin.
    4. En Contraseña de GG, haga clic en Cambiar contraseña y, a continuación, introduzca la contraseña proporcionada al crear el despliegue GoldenGate de OCI para la replicación de datos en la tarea 1.
    5. Haga clic en Test Connection (probar conexión). Si se realiza correctamente, haga clic en Guardar.
  5. Utilice el Extract GoldenGate para crear e iniciar GoldenGate Change Data.

    Asegúrese de utilizar los detalles de Extract proporcionados en la tarea 1 de la página Detalles de datos de cambio de GG.

  6. Actualice el nombre de usuario de Autonomous Database.

    Las conexiones de base de datos se crean con el usuario por defecto, ggadmin. Actualice el nombre de usuario a SRC_OCIGGLL (si ha utilizado los datos de ejemplo proporcionados) para acceder a su esquema y tablas.

    1. Haga clic en Catálogo y, a continuación, en la conexión de Autonomous Database.
    2. En el cuadro de diálogo Editar conexión, haga clic en Siguiente.
    3. En Nombre de usuario, introduzca SRC_OCIGGLL.
    4. En Contraseña, introduzca la contraseña SRC_OCIGGLL que ha modificado en los pasos Antes de empezar al inicio de este inicio rápido.
    5. Haga clic en Test Connection (probar conexión). Si se realiza correctamente, haga clic en Guardar.
  7. Utilice las tablas de consulta de Autonomous Database para crear referencias para clientes y pedidos.
  8. Utilice la conexión de Kafka para crear flujos de Kafka para clientes y pedidos.
  9. Utilice la herramienta SQL de Autonomous Database para realizar inserciones en la base de datos de origen.
    Por ejemplo, puede ejecutar las siguientes inserciones:
    Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (11,'COM',101,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (12,'COM',102,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (13,'COM',103,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (14,'COM',104,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (15,'COM',105,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (16,'COM',106,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (17,'COM',107,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (18,'COM',201,to_date('16-AUG-2023','DD-MON-YYYY'),null);
Insert into SRC_OCIGGLL.SRC_ORDERS (ORDER_ID,STATUS,CUST_ID,ORDER_DATE,CUSTOMER) values (19,'COM',202,to_date('16-AUG-2023','DD-MON-YYYY'),null);
  10. Cree un pipeline que utilice el flujo de Kafka creado en el paso 8.
  11. Agregue una etapa de consulta y, a continuación, agregue un filtro para devolver solo los pedidos en los que el CUST_ID del flujo de pedidos coincida con el CUSTID del flujo de clientes.
  12. Agregar etapa de destino.
  13. Publicar el pipeline.