Replicación de datos de HeatWave a Amazon Kinesis

Descubra cómo utilizar OCI GoldenGate para replicar datos de HeatWave en Amazon Kinesis.

Antes de empezar

Para completar correctamente este inicio rápido, debe tener:

Configuración del entorno: HeatWave

Para configurar el entorno para este inicio rápido:
  1. Descargue el script de datos de ejemplo y, a continuación, ejecute el script en la base de datos HeatWave para crear la base de datos y cargar los datos.
  2. Cree un usuario ggadmin con el siguiente script. Recuerde sustituir <ggadmin-password> por una contraseña válida:
    CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';
  3. Abra port 3306, a través del cual se puede conectar OCI GoldenGate.
    1. En la consola de Oracle Cloud, busque la subred que utiliza la base de datos HeatWave.
    2. En la lista de seguridad de la subred, cree una regla de entrada para port TCP/3306.

Tarea 1: Creación de recursos de OCI GoldenGate

  1. Cree un despliegue MySQL para la base de datos HeatWave de origen.
  2. Cree un despliegue de Big Data para el destino de Amazon Kinesis.
  3. Cree una conexión a la base de datos Heatwave de origen.
  4. Conéctese a Amazon Kinesis.
  5. Cree una conexión a GoldenGate y, a continuación, asigne esta conexión al despliegue MySQL de origen.
  6. Asigne la conexión de origen al despliegue de MySQL de origen.
  7. Assign the target connection to the target Big Data deployment.

Tarea 2: Creación de Extract

  1. En la página Despliegues, seleccione el despliegue de MySQL creado en la tarea 1.
  2. En la página de detalles del despliegue, haga clic en Iniciar consola.
  3. Conéctese a la consola de despliegue de MySQL de origen con las credenciales de administrador especificadas al crear el despliegue en la tarea 1.
  4. Agregue un Change Data Capture Extract con los siguientes valores:
    • Extract Type: Change Data Capture Extract
    • Process Name: ECDC
    • Extract Trail Name: C1
    • Archivo de parámetros: sustituya MAP *.*, TARGET *.*; por TABLE SRC_OCIGGLL.*;

Tarea 3: Creación de Distribution Path para el despliegue de Big Data de destino

  1. Si utiliza el almacén de credenciales de IAM, continúe con el paso 3. Si utiliza el almacén de credenciales GoldenGate, cree un usuario con el que el origen GoldenGate utilice para conectarse al destino GoldenGate.
    1. En la página Despliegues, seleccione el despliegue de Big Data de destino.
    2. En la página de detalles del despliegue, haga clic en Iniciar consola y, a continuación, conéctese como usuario administrador.
    3. En el menú de navegación de la consola de despliegue, haga clic en Administración de usuarios.
    4. Haga clic en Agregar nuevo usuario (icono de más), complete los campos de la siguiente manera y, luego, haga clic en Enviar:
      • En Nombre de usuario, introduzca ggsnet.
      • En Rol, seleccione Operador.
      • Introduzca la contraseña dos veces para su verificación.
  2. En la consola de despliegue de origen MySQL, cree un Path Connection para el usuario creado en el paso anterior.
    1. Abra el menú de navegación y, a continuación, haga clic en Path Connection.
    2. Haga clic en Agregar Path Connection (icono de signo más), complete los campos como sigue y, luego, haga clic en Enviar:
      • En Alias de credencial, introduzca dpuser.
      • En ID de usuario, introduzca ggsnet
      • En Contraseña, introduzca la misma contraseña utilizada en el paso anterior.
  3. En la consola de despliegue de origen MySQL, agregue Distribution Path con los siguientes valores:
    1. En la página Opciones de origen:
      • En Origen Extract, seleccione Extract creado en la tarea 2.
      • En Nombre de pista, introduzca un nombre de dos caracteres, como C1.
    2. En la página Opciones de destino:
      • En Host de destino, introduzca el dominio de host del despliegue de destino.
      • En Número de puerto, introduzca 443.
      • En Nombre de pista, introduzca un nombre de dos caracteres, como C1.
      • En Alias, introduzca el alias de credencial creado en el paso 2.
  4. En la consola de despliegue de Big Data GoldenGate de OCI de destino, revise el Receiver path creado como resultado de Distribution Path:
    1. Haga clic en Receiver Service.
    2. Revise los detalles de Receiver path.

Tarea 4: Adición de un Replicat para Amazon Kinesis

  1. En el despliegue de Big Data, haga clic en Administration Service y, a continuación, haga clic en Agregar Replicat (icono de signo más).
  2. Agregue un Replicat con los siguientes valores:
    • Para el tipo Replicat, seleccione Classic Replicat
    • En Nombre de proceso, introduzca un nombre.
    • En Nombre de pista de destino, introduzca el nombre de la pista de la tarea 2.
    • En Destino, seleccione Amazon Kinesis.
    • En Alias disponibles para Amazon Kinesis, seleccione el alias en la lista desplegable.
    • En la página Archivo de propiedades, edite los campos marcados como #TODO:
      • gg.handler.kinesis.region: proporcione la región de Amazon Web Services (AWS) para el flujo de Kinesis de destino.
      • gg.handler.kinesis.streamMappingTemplate: por defecto, se define en ${tableName}, que asignará los flujos según el nombre de la tabla de origen. Si desea realizar una asignación a un flujo de datos existente, puede proporcionar nombres de flujo estático o puede utilizar Palabras clave de plantilla para asignar nombres de flujo de forma dinámica.

Tarea 5: verificación de la replicación de datos de HeatWave en Amazon Kinesis

Realice actualizaciones en la base de datos de origen HeatWave para verificar la replicación en Amazon Kinesis.
  1. En OCI Bastion, cree una sesión de reenvío de puerto SSH mediante la IP MySQL y port 3306. Agregue su clave SSH pública.
  2. Conéctese a MySQL en Cloud Shell mediante su clave privada y port 3306.
  3. Después de conectarse correctamente, ejecute el siguiente comando:
    mysqlsh admin@localhost:3306 --sql
  4. Ejecute el siguiente script para realizar inserciones en la base de datos HeatWave:
    use SRC_OCIGGLL;
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
commit;
  5. En la consola de despliegue MySQL de origen, seleccione el nombre Change Data Capture Extract (CDCEXT) y, a continuación, haga clic en Statistics. Verifique que SRC_OCIGGLL.SRC_CITY tenga 10 inserciones.
  6. En la consola de despliegue de Big Data de destino, seleccione el nombre Replicat y, a continuación, haga clic en Estadísticas. Verifique que SRC_OCIGGLL.SRC_CITY tenga 10 inserciones.
  7. En Amazon Kinesis, puede comprobar los mensajes en el flujo de datos de destino/visor de datos.