Replicación de datos de YugabyteDB al procesamiento de transacciones de IA autónoma

Descubra cómo replicar datos de un origen YugabyteDB en un destino de procesamiento de transacciones de IA autónoma mediante OCI GoldenGate.

Antes de empezar

Para completar correctamente este inicio rápido, asegúrese de que:

Configurar YugabyteDB

Para configurar la instancia de YugabyteDB:
  1. Si utiliza Oracle Cloud Compute para alojar YugabyteDB, abra el puerto 5433:
    sudo firewall-cmd --permanent --add-port=5432/tcp
    sudo firewall-cmd --reload 
    sudo firewall-cmd --list-all 
  2. Abra el puerto 5433 en la lista de seguridad de la VCN.
  3. Conéctese a YugabyteDB.
  4. Descargue los datos de muestra.
  5. Ejecute los siguientes comandos para configurar el usuario. Asegúrese de sustituir el marcador de posición <password> por una contraseña real.
    create user ggadmin with password '<password>'; 
    alter user ggadmin with SUPERUSER; 
    GRANT ALL PRIVILEGES ON DATABASE ociggll TO ggadmin; 

Configuración del entorno: proceso de transacciones de IA autónoma (ATP)

  1. Descargue y descomprima el esquema de base de datos de ejemplo.
  2. Desbloquee el usuario de GGADMIN.
    1. En la consola de Oracle Cloud, seleccione su instancia de ATP en la página Base de datos de IA autónoma para ver los detalles y acceder a Database Actions.
    2. Haga clic en Acciones de base de datos y, a continuación, en Usuarios de base de datos.
    3. Busque GGADMIN, y, a continuación, haga clic en su menú de puntos suspensivos (tres puntos) y seleccione Editar.
    4. En el panel Editar usuario, introduzca la contraseña de GGADMIN, confirme la contraseña y, a continuación, anule la selección de La cuenta está bloqueada.
    5. Haga clic en Aplicar cambios.
  3. Cargue los datos y el esquema de ejemplo de destino.
    1. En el menú Acciones de base de datos, seleccione SQL.
    2. Copie y pegue el script de OCIGGLL_OCIGGS_SETUP_USERS_ADW.sql en la hoja de Trabajo de SQL.
    3. Haga clic en Ejecutar script. El separador Salida de script mostrará los mensajes de confirmación.
    4. Borre la hoja de trabajo SQL y, por último, copie y pegue el SQL de OCIGGLL_OCIGGS_SRC_MIRROR_USER_SEED_DATA.sql.
    5. Para verificar que las tablas se han creado correctamente, cierre la ventana SQL y vuelva a abrirla. En el separador Navegador, busque el esquema SRC_OCIGGLL y, a continuación, seleccione las tablas en sus respectivas listas desplegables.

Tarea 1: Creación de recursos de OCI GoldenGate

En este ejemplo de inicio rápido se necesitan despliegues y conexiones tanto para el origen como para el destino.
  1. Cree un despliegue para la base de datos PostgreSQL de origen.
  2. Cree un despliegue para la instancia de Autonomous AI Transaction Processing de destino.
  3. Cree una conexión a la base de datos PostgreSQL de origen.
    1. En Tipo, asegúrese de seleccionar YugabyteDB.
    2. En Nombre de base de datos, introduzca el nombre de YugabyteDB.
    3. En Host, introduzca la IP pública de la instancia informática en la que se ejecuta YugabyteDB.
    4. En Puerto, introduzca 5433.
    5. En Nombre de usuario, introduzca ggadmin.
    6. En Contraseña, introduzca una contraseña.
    7. En Protocolo de seguridad, seleccione Plain.
  4. Cree una conexión para la instancia de destino de proceso de transacciones de IA autónoma.
  5. Cree una conexión a GoldenGate y, a continuación, asigne esta conexión al despliegue de PostgreSQL de origen.
  6. Asigne la conexión de origen al despliegue de PostgreSQL de destino.
  7. Asigne la conexión de destino al despliegue de Oracle de destino.

Tarea 2: Activar el registro complementario

Para activar el registro complementario:
  1. Inicie la consola de despliegue de PostgreSQL GoldenGate:
    1. En la página Despliegues, seleccione el despliegue de PostgreSQL para ver los detalles.
    2. En la página del despliegue de PostgreSQL, haga clic en Iniciar consola.
    3. En la página en la que se conecta la consola del despliegue, introduzca las credenciales del administrador de GoldenGate proporcionadas al crear el despliegue.

      Note:

      La conexión es necesaria si IAM no se ha seleccionado como almacén de credenciales al crear un despliegue.
  2. En GoldenGate 26ai, haga clic en Conexiones de base de datos en la navegación izquierda, a continuación, en la base de datos YugabyteDB de origen y, por último, en Trandata.
  3. En la página TRANDATA, junto a Información de TRANDATA, haga clic en Agregar TRANDATA (icono de signo más).
  4. En el panel Datos de transacción, en Nombre de esquema, introduzca src_ociggll.* y, a continuación, haga clic en Enviar.

    Note:

    Utilice el campo de búsqueda para buscar src_ociggll y verificar que se han agregado las tablas.

Tarea 3: Creación de los Extracts

  1. Agregue Change Data Capture Extract:
    1. En la navegación izquierda, haga clic en Extracts,
    2. En la página Extractos, haga clic en Agregar extracción (icono más) y, a continuación, complete los campos de la siguiente manera:
      • En la página Información de extracción:
        1. Para el tipo de extracción, seleccione Cambiar extracción de captura de datos.
        2. En Nombre de proceso, introduzca un nombre para el extracto, como ECDC.
        3. Haga clic en Siguiente.
      • En la página Opciones de extracción:
        1. Para las credenciales de origen, seleccione Oracle GoldenGate en la lista desplegable Dominio
        2. Seleccione la base de datos PostgreSQL de origen en la lista desplegable Alias.
        3. En Extraer nombre de pista, introduzca un nombre de pista de dos caracteres, como C1.
        4. Haga clic en Siguiente.
      • En la página Parámetros de extracción, sustituya MAP *.*, TARGET *.*; por lo siguiente:
        TABLE SRC_OCIGGLL.*;
    3. Haga clic en Crear y ejecutar.
  2. Agregue la extracción de carga inicial:
    1. En la página Extracts, haga clic en Agregar extracción y, a continuación, complete el formulario Agregar extracción de la siguiente manera:
      • En la página Información de extracción:
        1. Para el tipo Extracción, seleccione Extracción de carga inicial.
        2. En Nombre de proceso, introduzca un nombre, como EIL.
        3. Haga clic en Siguiente.
      • En la página Opciones de extracción:
        1. Para las credenciales de origen, seleccione Oracle GoldenGate en la lista desplegable Dominio.
        2. Seleccione YugabyteDB en la lista desplegable Alias.
        3. En Nombre de Pista de Extracción, introduzca un nombre de ruta de dos caracteres, como I1.
        4. Haga clic en Siguiente.
      • En la página Parámetros de extracción, sustituya el contenido del área de texto por lo siguiente:
        EXTRACT EIL
        USERIDALIAS YugabyteDB_Compute, DOMAIN OracleGoldenGate
        EXTFILE I1, PURGE
        TABLE src_ociggll.*;

        Note:

        Asegúrese de eliminar el parámetro SOURCEDB delante de USERIDALIAS antes de continuar.
    2. Haga clic en Crear y ejecutar.
Vuelva a la página Extracts, donde puede observar el inicio de Extract.

Tarea 4: Creación del Distribution Path para Initial Load Extracción

  1. En la página Despliegues, seleccione el despliegue de Oracle de destino.
  2. En la página de detalles del despliegue, haga clic en Iniciar consola y, a continuación, conéctese como usuario administrador.
  3. Si utiliza el almacén de credenciales de IAM, continúe con el paso Crear un Distribution Path. Si utiliza el almacén de credenciales de GoldenGate, cree un usuario con el que GoldenGate de origen utilice para conectarse al GoldenGate de destino.
    1. En el menú de navegación, haga clic en Administración de usuarios.
    2. Haga clic en Agregar nuevo usuario (icono de signo mas), complete los campos como se indica a continuación y, después, haga clic en Enviar:
      • En Nombre de usuario, introduzca ggsnet.
      • En Rol, seleccione Operador.
      • Introduzca la contraseña dos veces para su verificación.
  4. En la consola de despliegue de PostgreSQL de origen, cree una conexión de ruta de acceso para el usuario creado en el paso anterior.
    1. En el menú de navegación, haga clic en Conexiones de ruta.
    2. Haga clic en Agregar conexión de ruta (icono de signo mas), complete los campos como se indica a continuación y, después, haga clic en Enviar:
      • En Alias de credencial, introduzca dpuser.
      • En ID de usuario, introduzca ggsnet
      • En Contraseña, introduzca la misma contraseña utilizada en el paso anterior.
  5. Cree una Distribution Path.
    1. En la barra de menús de servicio, haga clic en Distribution Service y, a continuación, en Agregar Distribution Path (icono más).
    2. Complete el formulario Agregar ruta de la siguiente manera:
      • En la página Path Information:
        1. En Nombre de la ruta, introduzca un nombre para esta ruta.
        2. Haga clic en Siguiente.
      • En la página Source Options:
        1. En Origen Extract, deje en blanco.
        2. En Nombre de pista, introduzca el nombre Initial Load Extract de pista (I1).
        3. Haga clic en Siguiente.
      • En la página Opciones de Destino:
        1. En Protocolo de destino, seleccione wss.
        2. En Host de Destino, introduzca la URL de despliegue de origen, sin https:// ni barras inclinadas finales.
        3. En Número de puerto, introduzca 443.
        4. En Nombre de la pista, introduzca I1.
        5. En Método de autenticación de destino, seleccione OAuth.

          Note:

          Seleccione Alias de ID de usuario si GoldenGate se ha seleccionado como almacén de credenciales al crear un despliegue. De lo contrario, seleccione OAuth.
        6. En Dominio, introduzca el nombre de dominio creado en el paso anterior.
        7. En Alias, introduzca el alias creado en el paso anterior (dpuser).
        8. Haga clic en Siguiente.
    3. Haga clic en Crear y ejecutar.
    Vuelva a la página Distribution Service, donde puede revisar la ruta de acceso creada.
  6. En la consola de despliegue de Oracle de destino, revise la ruta del receptor creada como resultado de la ruta del distribuidor:
    1. Haga clic en Receiver Service.
    2. Revise los detalles de Distribution Path.

Tarea 5: adición de un Replicat para Initial Load

  1. En el despliegue de Oracle de destino, agregue una tabla Checkpoint.
    1. En el menú de navegación, haga clic en Conexiones de Base de Datos
    2. Seleccione la instancia de base de datos de IA autónoma de destino y, a continuación, Checkpoints.
    3. En la página Checkpoints, haga clic en Agregar punto de control (icono más).
    4. En el panel Checkpoint, en Tabla de esquemas, introduzca SRCMIRROR_OCIGGLL.CHECKTABLE.
    5. Haga clic en Enviar.
  2. Agregue Replicat.
    1. En el menú de desplazamiento, haga clic en Replicats.
    2. En la página Replicats, haga clic en Agregar Replicat (icono más) y, a continuación, complete los campos Agregar Replicat de la siguiente manera:
      • En la página de información Replicat:
        1. En Tipo Replicat, seleccione Nonintegrated Replicat.
        2. En Nombre de proceso, introduzca un nombre, como RIL.
        3. Haga clic en Siguiente.
      • En la página Opciones Replicat:
        1. En Replicat Nombre de Pista, introduzca el nombre de las pistas de las tareas 2 (I1).
        2. En Credenciales de destino, seleccione el dominio y alias para la conexión de base de datos de IA autónoma.
        3. En Tabla de puntos de Control, seleccione la tabla que ha creado en el paso 1.
        4. Haga clic en Siguiente.
      • En la página Archivo de Parámetros, sustituya MAP *.*, TARGET *.*; por lo siguiente:
        MAP SRC_OCIGGLL.*, TARGET SRCMIRROR_OCIGGLL.*;
    3. Haga clic en Crear y ejecutar.
      Vuelva a la página Replicats, donde puede revisar los detalles de Replicat.
  3. Seleccione el Replicat (RIL) y vea los Detalles.
  4. Haga clic en Estadísticas y revise el número de inserciones. Refresque la página.
    • Si el número de inserciones no cambia, significa que se han cargado todos las entradas de Initial Load y que puede parar Replicat (RIL)
    • Si el número de inserciones continúa aumentando, siga refrescando la página hasta la carga total de los registros Initial Load para poder continuar.
  5. Verifique Initial Load.
    1. En la consola de Oracle Cloud, en la página de detalles de base de datos de IA autónoma, haga clic en Acciones de base de datos y, a continuación, en SQL.
    2. En la herramienta SQL, introduzca cada una de las siguientes sentencias en la hoja del trabajo y haga clic enEjecutar sentencia:
      SELECT * FROM SRCMIRROR_OCIGGLL.SRC_CITY;
      SELECT * FROM SRCMIRROR_OCIGGLL.SRC_CUSTOMER;
    La salida debe devolver los datos que se han cargado en las tablas de la base de Datos de destino como resultado de Initial Load.

Tarea 6: creación de una Distribution Path para Change Data Capture Extract

  1. En la consola de despliegue de PostgreSQL de origen, haga clic en Distribution Service.
  2. Haga clic en Agregar Distribution Path.
  3. Complete el formulario Agregar ruta de la siguiente manera:
    1. En la página Path Information:
      1. En Nombre de ruta, introduzca un nombre.
      2. Haga clic en Siguiente.
    2. En la página Source Options:
      1. En Origen Extract, seleccione Change Data Capture Extract (ECDC)).
      2. En Nombre de la pista, seleccione el archivo Change Data Capture de la pista (C1).
      3. Haga clic en Siguiente.
    3. En la página Opciones de Destino:
      1. En Destino, seleccione wss.
      2. En Host de destino, introduzca la URL de la consola de despliegue de destino (puede encontrarlo en la página de detalles del despliegue, sin https:// ni barras finales.
      3. En Número de puerto, introduzca 443.
      4. En Nombre de la pista, introduzca C1.
      5. En Método de autenticación de destino, seleccione OAuth.

        Note:

        Seleccione Alias de ID de usuario si GoldenGate se ha seleccionado como almacén de credenciales al crear un despliegue. De lo contrario, seleccione OAuth.
      6. En Dominio, introduzca el nombre de dominio.
      7. En Alias, introduzca el alias.
    4. Haga clic en Crear ruta y ejecutar.
  4. En la Consola de Despliegue de Oracle de Destino, haga clic en Servicio de Receptor y, a continuación, revise la ruta de receptor creada.

Tarea 7: adición de un Replicat para Change Data Capture

  1. En la consola de despliegue de Oracle de destino, agregue un Replicat.
    1. En el menú de navegación del servicio de administración, haga clic en Replicats.
    2. En la página Replicats, haga clic en Agregar Replicat (icono más) y, a continuación, complete el formulario Agregar Replicat de la siguiente manera:
      • En la página Replicat Information:
        1. En Tipo Replicat, seleccione Nonintegrated Replicat.
        2. En Nombre de proceso, introduzca un nombre, como RCDC.
        3. Haga clic en Siguiente.
      • En la página Opciones Replicat:
        1. En Replicat Nombre de Pista, introduzca el nombre de una pista de tarea 3 (C1).
        2. En Credenciales de destino, seleccione el dominio y el alias para la conexión de base de datos de IA autónoma.
        3. En Tabla de puntos de control, seleccione la tabla de puntos de control.
      • En la página Parámetros Replicat, sustituya MAP *.*, TARGET *.*; por la siguiente asignación:
        MAP SRC_OCIGGLL.*, TARGET SRCMIRROR_OCIGGLL.*;
    3. Haga clic en Create. No ejecute Replicat.
  2. En la página Replicats, seleccione el Replicat para Initial Load (RIL) y vea los Detalles.
  3. Haga clic en Estadísticas y revise el número de inserciones. Refresque la página.
    • Si el número de inserciones no cambia, significa que se han cargado todos las entradas de la Initial Load y que puede parar el Replicat (RIL)
    • Si el número de inserciones continúa aumentando, siga refrescando la página hasta la carga total de los registros Initial Load para poder continuar.

    Note:

    Si no ve ninguna inserción, haga clic en Servicio de métricas de rendimiento, seleccione Extraer y, a continuación, haga clic en Estadísticas de base de datos.
  4. Vuelva a la página Replicats y, a continuación, inicie el Replicat para Change Data Capture (RCDC).
  5. Tras iniciar el Replicat para Change Data Capture, revise sus Detalles y Estadísticas para ver el número de inserciones.
  6. Verificar replicación:
    1. Ejecute el siguiente script para realizar inserciones en la base de datos PostgreSQL:
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
    2. En la consola de despliegue de PostgreSQL de origen, seleccione Change Data Capture Extract (ECDC) y, a continuación, haga clic en Estadísticas. Verifique que src_ocigll.src_city tenga 10 inserciones.

      Note:

      Si Extract no ha capturado ninguna inserción, reinicie el ECDC Extract.
    3. En la consola de despliegue de Oracle de destino, seleccione el nombre Replicat (RCDC), visualice sus detalles y, a continuación, marque Estadísticas. Verifique que SRCMIRROR_OCIGGLL.SRC_CITY tenga 10 inserciones.

Tarea 8: Supervisión y mantenimiento de procesos

  1. Supervise el rendimiento.
  2. Gestione los archivos de pista.