Replicación de datos de HeatWave en Amazon Kinesis

Descubre cómo utilizar OCI GoldenGate para replicar datos de HeatWave en Amazon Kinesis.

Antes de empezar

Para completar correctamente este inicio rápido, debe tener:

OCI Bastion, para conectarse a HeatWave, cargar la base de datos de ejemplo y realizar inserciones.
Una base de datos de HeatWave que sirve como base de datos de origen.
Clave de acceso y secreto de Amazon S3
Políticas de IAM para Amazon Kinesis

Configuración del entorno: HeatWave

Para configurar el entorno para este inicio rápido:

Descargue el script de datos de ejemplo y, a continuación, ejecute el script en la base de datos de HeatWave en OCI para crear la base de datos y cargar los datos.

Cree un usuario ggadmin con el siguiente script. Recuerde sustituir <ggadmin-password> por una contraseña válida:

CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';

Abra port 3306, a través del cual se puede conectar OCI GoldenGate.
1. En la consola de Oracle Cloud, localice la subred que utiliza HeatWave en la base de datos de OCI.
2. En la lista de seguridad de la subred, cree una regla para port TCP/3306.

Tarea 1: Creación de recursos de OCI GoldenGate

Cree un despliegue de MySQL para la base de datos de HeatWave de origen.
Cree un despliegue de Big Data para el destino de Amazon Kinesis.
Cree una conexión a la base de datos Heatwave de origen.
Conéctese a Amazon Kinesis.
Cree una conexión a GoldenGate y, a continuación, asigne esta conexión al despliegue de MySQL de origen.
Asigne la conexión de origen al despliegue de MySQL de destino.
Asigne la Conexión de Destino al Despliegue de Big Data de Destino.

Tarea 2: Creación del Extract

En la página Despliegues, seleccione el despliegue de MySQL creado en la tarea 1.
En la página de detalles del despliegue, seleccione Iniciar consola.
Conéctese a la consola de despliegue de MySQL de origen con las credenciales de administrador especificadas al crear el despliegue en la tarea 1.
Agregar una extracción de captura de datos de cambio con los siguientes valores:
- Tipo de extracción: extracción de captura de datos de cambio
- Process Name: ECDC
- Extract Trail Name: C1
- Archivo de Parámetros: Sustituya MAP *.*, TARGET *.*; por TABLE SRC_OCIGGLL.*;

Tarea 3: Creación de la ruta de distribución para el despliegue de Big Data de destino

Si utiliza el almacén de credenciales de IAM, continúe con el paso 3. Si utiliza el almacén de credenciales de GoldenGate, cree un usuario con el que GoldenGate de origen utilice para conectarse al GoldenGate de destino.
1. En la página Despliegues, seleccione el despliegue de Big Data del destino.
2. En la página de detalles del despliegue, seleccione Iniciar consola y, a continuación, conéctese como usuario administrador.
3. En el menú de navegación de la consola de despliegue, seleccione Administración de usuarios.
4. Seleccione Agregar nuevo usuario (icono con signo más), complete los campos como se indica a continuación y, a continuación, seleccione Enviar:
  - En Nombre de usuario, introduzca ggsnet.
  - En Rol, seleccione Operador.
  - Introduzca la contraseña dos veces para su verificación.
En la consola de despliegue de MySQL de origen, cree una conexión de ruta para el usuario creado en el paso anterior.
1. Abra el menú de navegación. A continuación, seleccione Path Connection (Conexión de ruta).
2. Seleccione Agregar conexión de ruta de acceso (icono más), complete los campos de la siguiente manera y, a continuación, seleccione Enviar:
  - En Alias de credencial, introduzca dpuser.
  - En ID de usuario, introduzca ggsnet
  - En Contraseña, introduzca la misma contraseña utilizada en el paso anterior.
En la consola de despliegue de MySQL de origen, agregue una ruta de distribución con los siguientes valores:
1. En la página Opciones de origen:
  - En Extract de origen, seleccione el Extract creado en el tarea 2.
  - En Nombre de la pista, introduzca un Nombre de dos caracteres como C1.
2. En la página Opciones de destino:
  - En Host de destino, introduzca el dominio de host del despliegue del destino.
  - En Número de puerto, introduzca 443.
  - En Nombre de la pista, introduzca un Nombre de dos caracteres como C1.
  - En Alias, introduzca el alias de credencial creado en la etapa 2.
En la consola de despliegue de Big Data de OCI GoldenGate de destino, revise la Ruta de receptor creada como resultado de la Ruta de distribución:
1. Seleccione Servicio de receptor.
2. Revise los detalles de la ruta de receptor.

Tarea 4: Adición de un Replicat para la Kinesis de Amazon

En el despliegue de Big Data, seleccione Replicats y, a continuación, seleccione Agregar Replicat (icono más).
Agregar un Replicat con los siguientes valores:
- Para el tipo Replicat, seleccione Classic Replicat
- En Nombre de proceso, introduzca un nombre.
- En Nombre de Pista de Destino, introduzca el nombre de los Pistas desde la tarea 2.
- En Destino, seleccione Amazon Kinesis.
- En Alias disponibles para Amazon Kinesis, seleccione el alias en la lista desplegable.
- En la página Properties File, edite los campos marcados como #TODO:
  - gg.handler.kinesis.region: proporciona la región de Amazon Web Services (AWS) para el flujo de Kinesis de destino.
  - gg.handler.kinesis.streamMappingTemplate: por defecto, se define en ${tableName}, que asignará los flujos según el nombre de la tabla de origen. Si desea realizar una asignación a un flujo de datos existente, puede proporcionar nombres de flujos estáticos o puede utilizar palabras clave de plantilla para asignar nombres de flujos de forma dinámica.

Tarea 5: Verificación de la replicación de datos de HeatWave en Amazon Kinesis

Realice actualizaciones en la base de datos de HeatWave de origen para verificar la replicación en Amazon Kinesis.

En OCI Bastion, cree una sesión de reenvío de puerto SSH mediante MySQL IP y port 3306. Agregue su clave SSH pública.
Conéctese a MySQL en Cloud Shell mediante su clave privada y port 3306.
Después de conectarse correctamente, ejecute el siguiente comando:
```
mysqlsh admin@localhost:3306 --sql
```

Ejecute el siguiente script para realizar inserciones en la base de datos de HeatWave:

use SRC_OCIGGLL;
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
commit;

En la Consola de Despliegue de MySQL de Origen, seleccione el nombre de Extract de Captura de Cambios en los datos (ECDC) y, a continuación, seleccione Estadísticas. Verifique que SRC_OCIGGLL.SRC_CITY tenga 10 inserciones.
En la consola de despliegue de Big Data de destino, seleccione el nombre de replicación y, a continuación, seleccione Estadísticas. Verifique que SRC_OCIGGLL.SRC_CITY tenga 10 inserciones.
En Amazon Kinesis, puede comprobar los mensajes en el visor de datos/flujo de datos de destino.