Envío de datos de HeatWave a Azure Event Hubs

Descubra cómo utilizar OCI GoldenGate para replicar datos de HeatWave en Hub de eventos de Azure.

Antes de empezar

Para completar correctamente este inicio rápido, debe tener lo siguiente:

  • OCI Bastion, para conectarse a la base de datos HeatWave, cargue la base de datos de ejemplo y realice inserciones.
  • Una base de datos HeatWave para que sirva como base de datos de origen.
  • Se ha creado un espacio de nombres de Azure Event Hubs y un hub de eventos

    Note:

    Kafka Surface no está activado en el nivel básico de Azure Event Hubs. Se requiere el nivel estándar o Premium.

Configuración del entorno: HeatWave

Para configurar el entorno para este inicio rápido:
  1. Descargue el script de datos de ejemplo y, a continuación, ejecute el script en la base de datos HeatWave para crear la base de datos y cargar los datos.
  2. Cree un usuario ggadmin con el siguiente script. Recuerde sustituir <ggadmin-password> por una contraseña válida:
    CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';
  3. Abra port 3306, a través del cual se puede conectar OCI GoldenGate.
    1. En la consola de Oracle Cloud, busque la subred que utiliza la base de datos HeatWave.
    2. En la lista de seguridad de la subred, cree una regla de entrada para port TCP/3306.

Tarea 1: Creación de recursos de OCI GoldenGate

  1. Cree un despliegue MySQL para la base de datos HeatWave de origen.
  2. Cree un despliegue de Big Data para los Hub de eventos de Azure de destino.
  3. Cree una conexión a la base de datos de Heatwave MySQL de origen.
  4. Creación de una conexión a Azure Event Hubs.
  5. Cree una conexión a GoldenGate y, a continuación, asigne esta conexión al despliegue MySQL de origen.
  6. Asigne la conexión de origen al despliegue de MySQL de origen.
  7. Assign the target connection to the target Big Data deployment.

Tarea 2: Creación de Extract

  1. En la página Despliegues, seleccione el despliegue de MySQL creado en la tarea 1.
  2. En la página de detalles del despliegue, haga clic en Iniciar consola.
  3. Conéctese a la consola de despliegue de MySQL de origen con las credenciales de administrador especificadas al crear el despliegue en la tarea 1.
  4. Agregue un Change Data Capture Extract con los siguientes valores:
    • Extract Type: Change Data Capture Extract
    • Process Name: ECDC
    • Extract Trail Name: C1
    • Archivo de parámetros: sustituya MAP *.*, TARGET *.*; por TABLE SRC_OCIGGLL.*;

Tarea 3: Creación de Distribution Path para el despliegue de Big Data de destino

  1. Si utiliza el almacén de credenciales de IAM, continúe con el paso 3. Si utiliza el almacén de credenciales GoldenGate, cree un usuario con el que el origen GoldenGate utilice para conectarse al destino GoldenGate.
    1. En la página Despliegues, seleccione el despliegue de Big Data de destino.
    2. En la página de detalles del despliegue, haga clic en Iniciar consola y, a continuación, conéctese como usuario administrador.
    3. En el menú de navegación de la consola de despliegue, haga clic en Administración de usuarios.
    4. Haga clic en Agregar nuevo usuario (icono de más), complete los campos de la siguiente manera y, luego, haga clic en Enviar:
      • En Nombre de usuario, introduzca ggsnet.
      • En Rol, seleccione Operador.
      • Introduzca la contraseña dos veces para su verificación.
  2. En la consola de despliegue de origen MySQL, cree un Path Connection para el usuario creado en el paso anterior.
    1. Abra el menú de navegación y, a continuación, haga clic en Path Connection.
    2. Haga clic en Agregar Path Connection (icono de signo más), complete los campos como sigue y, luego, haga clic en Enviar:
      • En Alias de credencial, introduzca dpuser.
      • En ID de usuario, introduzca ggsnet
      • En Contraseña, introduzca la misma contraseña utilizada en el paso anterior.
  3. En la consola de despliegue de origen MySQL, agregue Distribution Path con los siguientes valores:
    1. En la página Opciones de origen:
      • En Origen Extract, seleccione Extract creado en la tarea 2.
      • En Nombre de pista, introduzca un nombre de dos caracteres, como C1.
    2. En la página Opciones de destino:
      • En Host de destino, introduzca el dominio de host del despliegue de destino.
      • En Número de puerto, introduzca 443.
      • En Nombre de pista, introduzca un nombre de dos caracteres, como C1.
      • En Alias, introduzca el alias de credencial creado en el paso 2.
  4. En la consola de despliegue de Big Data GoldenGate de OCI de destino, revise el Receiver path creado como resultado de Distribution Path:
    1. Haga clic en Receiver Service.
    2. Revise los detalles de Receiver path.

Tarea 4: Adición de Replicat para Azure Event Hubs

  1. En el despliegue de Big Data, haga clic en Administrator Service y, a continuación, haga clic en Agregar Replicat (icono de signo más).
  2. Agregue un Replicat con los siguientes valores:
    1. En la página Información de Replicat, en el tipo Replicat, seleccione Classic Replicat e introduzca un nombre de proceso.
    2. En la página Opciones de Replicat:
      • En Nombre de pista, introduzca el nombre de la pista de la tarea 2.
      • En Destino, seleccione un Hub de eventos de Azure.
      • En Alias, seleccione la conexión Hub de eventos de Azure creada en la tarea 1.
    3. En la página Parámetros de Replicat, deje el valor por defecto.
    4. En la página Archivo de propiedades, proporcione un nombre de tema para topicMappingTemplate.
    5. Haga clic en Crear y ejecutar.

Tarea 5: Verificación de la replicación de datos de HeatWave en Azure Event Hubs

Realice actualizaciones en la base de datos de origen HeatWave para verificar la replicación en Azure Event Hubs.
  1. En OCI Bastion, cree una sesión de reenvío de puerto SSH mediante la IP MySQL y port 3306. Agregue su clave SSH pública.
  2. Conéctese a MySQL en Cloud Shell mediante su clave privada y port 3306.
  3. Después de conectarse correctamente, ejecute el siguiente comando:
    mysqlsh admin@localhost:3306 --sql
  4. Ejecute el siguiente script para realizar inserciones en la base de datos HeatWave:
    use SRC_OCIGGLL;
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
commit;
  5. En la consola de despliegue MySQL de origen, seleccione el nombre Change Data Capture Extract y, a continuación, haga clic en Statistics. Verifique que SRC_OCIGGLL.SRC_CITY tenga 10 inserciones.
  6. En la consola de despliegue de Big Data de destino, seleccione el nombre Replicat y, a continuación, haga clic en Estadísticas. Verifique que SRC_OCIGGLL.SRC_CITY tenga 10 inserciones.
  7. En Hub de eventos de Azure, puede comprobar las estadísticas de mensajes.