Replicación de datos de Autonomous Transaction Processing en Azure Synapse Analytics

En este inicio rápido se muestra cómo configurar una replicación de datos de Autonomous Transaction Processing en Azure Synapse Database mediante OCI GoldenGate.

Antes de empezar

Para completar correctamente este inicio rápido, debe tener lo siguiente:

  • Espacio de trabajo Synapse de Azure
  • Contenedor de almacenamiento de Azure asociado a Azure Synapse Workspace
  • Credencial con ámbito de base de datos de Azure Synapse para otorgar permisos al pool SQL para acceder a la cuenta de almacenamiento
  • Existencia de tabla de destino: las tablas de destino deben existir en la base de datos Synapse antes de la replicación. Como GoldenGate utiliza la sentencia SQL de fusión, la tabla de destino debe ser una tabla distribuida hash.
  • Conexión de almacenamiento de Azure Data Lake GoldenGate de OCI asignada al despliegue. Si no existe, cree una conexión de Azure Data Lake Storage y asígnela al despliegue.

Configuración de entorno: Autonomous Transaction Processing

Si aún no tiene una base de datos de origen configurada para la replicación, puede seguir estos pasos para cargar un esquema de ejemplo que utilizar para este inicio rápido. Este inicio rápido utiliza Autonomous Transaction Processing para la base de datos de origen.

Para configurar la instancia de Autonomous Database de origen:

  1. Descargue y descomprima el esquema de base de datos de ejemplo.
  2. En la consola de Oracle Cloud, seleccione la instancia de Autonomous Transaction Processing (ATP) en la página Bases de datos autónomas para ver los detalles y acceder a Database Actions.
  3. Desbloquee el usuario GGADMIN:
    1. Haga clic en Acciones de la base de datos y, a continuación, en Usuarios de la base de datos.
    2. Busque GGADMIN y, a continuación, haga clic en el menú de puntos suspensivos (tres puntos) y seleccione Editar.
    3. En el panel Edit User, introduzca la contraseña de GGADMIN, confirme la contraseña y, a continuación, anule la selección de Account is Locked.
    4. Haga clic en Aplicar cambios.
  4. Cargue el esquema y los datos de ejemplo de origen:
    1. En el menú Acciones de base de datos, en Desarrollo, seleccione SQL.
    2. Copie y pegue el script de OCIGGLL_OCIGGS_SETUP_USERS_ATP.sql en la hoja de trabajo de SQL.
    3. Haga clic en Ejecutar script. El separador Salida de script mostrará los mensajes de confirmación.
    4. Borrar la hoja de trabajo de SQL y, a continuación, copiar y pegar el script SQL de OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql.

      Sugerencia:

      Puede que necesite ejecutar cada sentencia por separado para que la herramienta SQL ejecute los scripts correctamente.
    5. Para verificar que las tablas se han creado correctamente, cierre la ventana SQL y vuelva a abrirla. En el separador Navegador, busque el esquema SRC_OCIGGLL y, a continuación, seleccione las tablas en sus respectivas listas desplegables.
  5. Active el registro complementario:
    1. Borre la hoja de trabajo de SQL.
    2. Introduzca la siguiente sentencia y, a continuación, haga clic en Ejecutar sentencia:
      ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;

Configuración del entorno: Azure Synapse

  1. Abra Azure Synapse Workspace.
  2. Haga clic en Nuevo y, a continuación, en Script SQL.
  3. Conéctese al pool SQL y seleccione la base de datos.
  4. Introduzca el siguiente comando para crear un cifrado de clave maestra:
    CREATE MASTER KEY ENCRYPTION BY PASSWORD='<password>';
  5. Utilice el siguiente comando para crear una credencial de ámbito de base de datos:
    Asegúrese de sustituir los marcadores de posición <storage-account-name> y <storage-account-access-key> por sus valores reales.
    CREATE DATABASE SCOPED CREDENTIAL <credential name>
WITH
IDENTITY='<storage-account-name>',
SECRET='<storage-account-access-key>';
  6. Ejecute el script de creación de tabla:
    CREATE TABLE [dbo].[SRC_CUSTOMER] (
   CUSTID         NUMERIC(10) NOTNULL,
   DEAR           NUMERIC(1),
   LAST_NAME      VARCHAR(50),
   FIRST_NAME     VARCHAR(50),
   ADDRESS        VARCHAR(100),
   CITY_ID        NUMERIC(10),
   PHONE          VARCHAR(50),
   AGE            NUMERIC(3),
   SALES_PERS_ID  NUMERIC(10),
   constraint PK_SRC_CUSTOMER primarykeyNONCLUSTERED (CUSTID) NOT ENFORCED
)
WITH(DISTRIBUTION=HASH ([CUSTID]), HEAP ) GO
  7. Verifique que se ha creado la tabla dbo.SRC_Customer.

Tarea 1: Creación de recursos de OCI GoldenGate

En este ejemplo de inicio rápido se necesitan despliegues y conexiones tanto para el origen como para el destino.
  1. Cree un despliegue de Oracle para la instancia de Autonomous Transaction Processing de origen.
  2. Cree un despliegue de Big Data para la sinapsis de Azure de destino.
  3. Cree una conexión a Autonomous Transaction Processing.
  4. Creación de una conexión a Azure Synapse Analytics.
  5. Cree una conexión a Azure Data Lake Storage.
  6. Asigne la conexión de Autonomous Transaction Processing al despliegue de Oracle de origen.
  7. Assign Azure Synapse connection to the target Big Data deployment.

Tarea 2: Adición de Extract

  1. En la página Despliegues, seleccione el despliegue de Autonomous Transaction Processing de origen.
  2. En la página de detalles del despliegue, haga clic en Iniciar consola.
  3. Conéctese con el nombre de usuario y la contraseña del administrador del despliegue de origen.
  4. Agregue la información de transacción.
  5. Agregue un Extract.

Tarea 3: Adición y ejecución de Distribution Path

  1. Si utiliza el almacén de credenciales GoldenGate, cree un usuario para la ruta de distribución en el despliegue de Big Data de destino; de lo contrario, vaya al paso 3.
  2. En la consola de despliegue de ATP de origen GoldenGate, agregue una conexión de ruta para el usuario creado en el paso 1.
    1. En la consola de despliegue ATP de origen GoldenGate, haga clic en Conexiones de ruta en la navegación izquierda.
    2. Haga clic en Agregar conexión de ruta (icono más) y, a continuación, complete lo siguiente:
      1. En Alias de credencial, introduzca GGSNetwork.
      2. En ID de usuario, introduzca el nombre del usuario creado en el paso 1.
      3. Introduzca la contraseña del usuario dos veces para su verificación.
    3. Haga clic en Enviar.

      La conexión de ruta aparece en la lista Conexiones de ruta.

  3. En la consola de despliegue de ATP de origen, agregue una ruta de distribución con los siguientes valores:
    1. En la página Opciones de origen:
      • En Extract de origen, seleccione el Extract creado en la tarea 2.
      • En Nombre de pista, introduzca un nombre de dos caracteres, como E1.
    2. En la página Opciones de destino:
      • En Host de destino, introduzca el dominio de host del despliegue de destino.
      • En Número de puerto, introduzca 443.
      • En Nombre de pista, introduzca un nombre de dos caracteres, como E1.
      • En Alias, introduzca el alias de credencial creado en el paso 2.
  4. En la consola de despliegue de Big Data de destino, revise la Receiver Path creada como resultado de Distribution Path.
    1. En la consola de despliegue de Big Data de destino, haga clic en Receiver Service.
    2. Revise los detalles de la ruta. Esta ruta se ha creado como resultado de la creación de Distribution Path en el paso anterior.

Tarea 4: Adición y ejecución del Replicat

  1. En la consola de despliegue de Big Data de destino, haga clic en Administrator Service y, a continuación, haga clic en Agregar Replicat (icono de signo más).
  2. Agregue un Replicat con los siguientes valores:
    1. En la página Información de Replicat, en el tipo Replicat, seleccione Classic Replicat, introduzca un nombre de proceso y, a continuación, haga clic en Siguiente.
    2. En la página Replication Options:
      • En Nombre, introduzca el nombre de la pista de la tarea 2.
      • En Dominio, seleccione un dominio.
      • En Alias, seleccione la conexión de Azure Synapse Analytics creada en la tarea 1.
      • En Tabla de puntos de control, seleccione la tabla de puntos de control que ha creado para el despliegue de destino.
    3. En la página Parámetros Replicat, sustituya MAP *.*, TARGET *.*; por:
      MAP SRC_OCIGGLL.SRC_CUSTOMER, TARGET dbo.SRC_CUSTOMER;
    4. Haga clic en Crear y ejecutar.
Vuelva a la página Overview, donde puede revisar los detalles de Replicat.

Tarea 5: Verificación de la replicación

Realice algunas actualizaciones en la instancia de Autonomous Transaction Processing de origen para verificar la replicación en Azure Data Lake Storage.
  1. En la consola de Oracle Cloud, abra el menú de navegación, seleccione Oracle Database y, a continuación, seleccione Autonomous Transaction Processing.
  2. En la lista de instancias de Autonomous Transaction Processing, seleccione la instancia de origen para ver los detalles.
  3. En la página de detalles de la base de datos, haga clic en Database Actions.

    Note:

    Deberías estar conectado automáticamente. Si no es así, conéctese con las credenciales de la base de datos.
  4. En la página inicial de Database Actions, seleccione SQL.
  5. Introduzca lo siguiente en la hoja de trabajo y haga clic en Ejecutar script.
  6. En la consola de despliegue GoldenGate de OCI de origen GoldenGate, seleccione el nombre de Extract y, a continuación, haga clic en Statistics. Verifique que SRC_OCIGGLL.SRC_CUSTOMER tenga 7 inserciones. 
    Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1001,0,'Brendt','Paul','10 Jasper Blvd.',107,'(212) 555 2146',19,10);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1002,0,'McCarthy','Robin','27 Pasadena Drive',11,'(214) 555 3075',29,11);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1003,0,'Travis','Peter','7835 Hartford Drive',12,'(510) 555 4448',34,12);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1004,0,'Larson','Joe','87 Carmel Blvd.',13,'(213) 555 5095',45,13);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1005,0,'Goldschmidt','Tony','91 Torre drive',14,'(619) 555 6529',55,20);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1006,0,'Baker','William','2890 Grant Avenue',15,'(312) 555 7040',64,21);
Insert into SRC_OCIGGLL.SRC_CUSTOMER (CUSTID,DEAR,LAST_NAME,FIRST_NAME,ADDRESS,CITY_ID,PHONE,AGE,SALES_PERS_ID) values (1007,0,'Swenson','Jack','64 Imagination Drive',19,'(202) 555 8125',74,22)
  7. En la consola de despliegue GoldenGate de OCI de Big Data de destino, seleccione el nombre Replicat y, a continuación, haga clic en Estadísticas. Verifique que SRC_OCIGGLL.SRC_CUSTOMER tenga 7 inserciones.
  8. En la consola de Azure, vaya a la consola de espacio de trabajo de Azure Synapse. Ejecute Select * de dbo.SRC_CUSTOMER y verifique que SRC_OCIGGLL.SRC_CUSTOMER tenga 7 inserciones.

Tarea 6: Supervisión y mantenimiento de procesos

  1. Supervise el rendimiento.
  2. Gestione los archivos de pista.