Replicación de datos de HeatWave en Google Cloud Storage

Descubre cómo utilizar OCI GoldenGate para replicar datos de HeatWave en Google Cloud Storage.

Antes de empezar

Para completar correctamente este inicio rápido, debe tener lo siguiente:

• OCI Bastion, para conectarse a la base de datos HeatWave, cargar la base de datos de ejemplo y realizar inserciones.

• Una base de datos de HeatWave que sirve como base de datos de origen.

• Cuenta de Google Cloud Storage y clave de cuenta de Google Cloud Service

• Permisos de Google Cloud Storage Bucket y Object

Configuración del entorno: HeatWave

Para configurar el entorno para este inicio rápido:

1. Descargue el script de datos de ejemplo y, a continuación, ejecute el script en la base de datos de HeatWave en OCI para crear la base de datos y cargar los datos.

2. Cree un usuario ggadmin con el siguiente script. Recuerde sustituir <ggadmin-password> por una contraseña válida:

   CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
   GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';

3. Abra port 3306, a través del cual se puede conectar OCI GoldenGate.

   1. En la consola de Oracle Cloud, localice la subred que utiliza HeatWave en la base de datos de OCI.

   2. En la lista de seguridad de la subred, cree una regla para port TCP/3306.

Tarea 1: Creación de recursos de OCI GoldenGate

1. Cree un despliegue de MySQL para la base de datos de HeatWave de origen.

2. Cree un despliegue de Big Data para el almacenamiento en la nube de Google de destino.

3. Cree una conexión a la base de datos MySQL Heatwave de origen.

4. Conéctese a Google Cloud Storage.

5. Cree una conexión a GoldenGate y, a continuación, asigne esta conexión al despliegue de MySQL de origen.

6. Asigne la conexión de origen al despliegue de MySQL de destino.

7. Asigne la Conexión de Destino al Despliegue de Big Data de Destino.

Tarea 2: Creación del Extract

1. En la página Despliegues, seleccione el despliegue de MySQL creado en la tarea 1.

2. En la página de detalles del despliegue, seleccione Iniciar consola.

3. Conéctese a la consola de despliegue de MySQL de origen con las credenciales de administrador especificadas al crear el despliegue en la tarea 1.

4. Agregar una extracción de captura de datos de cambio con los siguientes valores:

   • Tipo de extracción: extracción de captura de datos de cambio

   • Process Name: ECDC

   • Extract Trail Name: C1

   • Archivo de Parámetros: Sustituya MAP *.*, TARGET *.*; por TABLE SRC_OCIGGLL.*;

Tarea 3: Creación de la ruta de distribución para el despliegue de Big Data de destino

1. Si utiliza el almacén de credenciales de IAM, continúe con el paso 3. Si utiliza el almacén de credenciales de GoldenGate, cree un usuario con el que GoldenGate de origen utilice para conectarse al GoldenGate de destino.

   1. En la página Despliegues, seleccione el despliegue de Big Data del destino.

   2. En la página de detalles del despliegue, seleccione Iniciar consola y, a continuación, conéctese como usuario administrador.

   3. En el menú de navegación de la consola de despliegue, seleccione Administración de usuarios.

   4. Seleccione Agregar nuevo usuario (icono con signo más), complete los campos como se indica a continuación y, a continuación, seleccione Enviar:

      • En Nombre de usuario, introduzca ggsnet.

      • En Rol, seleccione Operador.

      • Introduzca la contraseña dos veces para su verificación.

2. En la consola de despliegue de MySQL de origen, cree una conexión de ruta para el usuario creado en el paso anterior.

   1. Abra el menú de navegación, a continuación, seleccione Path Connection (Conexión de ruta).

   2. Seleccione Agregar conexión de ruta de acceso (icono más), complete los campos de la siguiente manera y, a continuación, seleccione Enviar:

      • En Alias de credencial, introduzca dpuser.

      • En ID de usuario, introduzca ggsnet

      • En Contraseña, introduzca la misma contraseña utilizada en el paso anterior.

3. En la consola de despliegue de MySQL de origen, agregue una ruta de distribución con los siguientes valores:

   1. En la página Opciones de origen:

      • En Extract de origen, seleccione el Extract creado en el tarea 2.

      • En Nombre de la pista, introduzca un Nombre de dos caracteres como C1.

   2. En la página Opciones de destino:

      • En Host de destino, introduzca el dominio de host del despliegue del destino.

      • En Número de puerto, introduzca 443.

      • En Nombre de la pista, introduzca un Nombre de dos caracteres como C1.

      • En Alias, introduzca el alias de credencial creado en la etapa 2.

4. En la consola de despliegue de Big Data de OCI GoldenGate de destino, revise la Ruta de receptor creada como resultado de la Ruta de distribución:

   1. Seleccione Servicio de receptor.

   2. Revise los detalles de la ruta de receptor.

Tarea 4: Adición de un Replicat para el almacenamiento en la nube de Google

1. En el despliegue de Big Data, seleccione Replicats y, a continuación, seleccione Agregar Replicat (icono más).

2. Agregar un Replicat con los siguientes valores:

   1. En la página Información de Replicat, en Tipo de Replicat, seleccione Replicat clásico e introduzca un nombre de proceso.

   2. En la página Replicat Options:

      • En Nombre, introduzca el nombre de una pista en la tarea 2.

      • En Destino, seleccione Google Cloud Storage.

      • En Alias, seleccione la conexión de Google Cloud Storage creada en el tarea 1.

   3. En la página Parámetros de Replicat, deje el valor por defecto.

   4. En la página Archivo de propiedades, busque gg.eventhandler.gcs.bucketMappingTemplate=<gcs bucket> y sustituya <gcs bucket> por el nombre del cubo. Si no tiene un cubo, OCI GoldenGate crea uno para usted.

   5. Seleccione Crear y ejecutar.

Tarea 5: Verificación de la replicación de datos de HeatWave en Google Cloud Storage

Realice actualizaciones en la base de datos de HeatWave de origen para verificar la replicación en Google Cloud Storage.

1. En OCI Bastion, cree una sesión de reenvío de puerto SSH mediante MySQL IP y port 3306. Agregue su clave SSH pública.

2. Conéctese a MySQL en Cloud Shell mediante su clave privada y port 3306.

3. Después de conectarse correctamente, ejecute el siguiente comando:

   mysqlsh admin@localhost:3306 --sql

4. Ejecute el siguiente script para realizar inserciones en la base de datos de HeatWave:

   use SRC_OCIGGLL;
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
   commit;

5. En la Consola de Despliegue de MySQL de Origen, seleccione el nombre de Extract de Captura de Cambios en los datos (ECDC) y, a continuación, seleccione Estadísticas. Verifique que SRC_OCIGGLL.SRC_CITY tenga 10 inserciones.

6. En la consola de despliegue de Big Data de destino, seleccione el nombre de replicación y, a continuación, seleccione Estadísticas. Verifique que SRC_OCIGGLL.SRC_CITY tenga 10 inserciones.

7. En Amazon Kinesis, puede comprobar los mensajes en el visor de datos/flujo de datos de destino.