Adición de un Replicat para Snowflake

Descubra cómo agregar un proceso de Replicat para un destino de copo de nieve en una replicación de datos de OCI GoldenGate.

Antes de empezar

Requisitos

  • Verifique que las tablas de destino existen en la base de datos Snowflake.
  • Debe tener configuradas cuentas en la nube de Amazon Web Services, Google Cloud Platform o Azure si desea utilizar cualquiera de las ubicaciones de etapa externas, como S3, ADLS Gen2 o GCS.
  • Cadena de conexión del controlador JDBC de Snowflake

Privilegios de usuario de la base de datos Snowflake

Se deben otorgar los siguientes privilegios al usuario de base de datos utilizado para la replicación en Snowflake:

  • INSERT, UPDATE, DELETE y TRUNCATE en las tablas de destino.
  • CREATE y DROP en Snowflake nombraron etapa y etapa externa.
  • Si utiliza una tabla externa de etapa (S3, ADLS, GCS), CREATE, ALTER y DROP.

Adición de un Replicat (23ai)

Antes de empezar

Asegúrese de revisar los requisitos previos específicos de este tipo de objetivo.

Para agregar un Replicat en GoldenGate 23ai:
  1. En la consola de despliegue de GoldenGate de OCI, en la página inicial de Administration Service, haga clic en Agregar Replicat (icono de signo más).
  2. En el panel Agregar Replicat, en la página Información de Replicat, complete los campos según sea necesario y, a continuación, haga clic en Siguiente:
    • Seleccione un tipo de Replicat:
      • Replicat clásico
      • Replicación coordinada
    • Introduzca un Nombre de proceso de no más de 5 caracteres.
    • Introduzca una descripción para ayudar a distinguir este proceso de otros.
  3. En la página Opciones de replicación, complete los campos según sea necesario y, a continuación, haga clic en Siguiente:
    1. Para pista de Replicat:
      • Introduzca un Nombre.
      • Introduzca un subdirectorio si espera que el archivo de pista esté en una ubicación que no sea la predeterminada.
      • Seleccione un perfil de cifrado. Si no se ha creado un perfil de cifrado, la cartera local estará seleccionada por defecto.
      • En Iniciar, seleccione el punto de inicio para el procesamiento de datos:
        • Posición en log (valor por defecto)
        • Now
        • Hora personalizada
    2. Para posición de pista:
      • Introduzca el número de secuencia.
      • Introduzca el RBA Offset (Desplazamiento de RBA).
    3. En Destino, seleccione Snowflake en la lista desplegable y, a continuación, seleccione una de las siguientes opciones:
      1. Flujo
      2. Ubicar temporalmente y fusionar y, a continuación, seleccionar una ubicación temporal disponible
    4. Para credenciales de destino:
      • Seleccionar un dominio.
      • Seleccione un alias dentro del dominio especificado.
      • Seleccione una tabla de punto de control. Deje la selección por defecto o seleccione la tabla Punto de Control que ha creado para el despliegue de destino.
      • Seleccione el número máximo de threads (solo Replicats coordinados).
  4. En la página Opciones gestionadas, complete los campos opcionales según sea necesario y, a continuación, haga clic en Siguiente:
    • Seleccione un nombre de perfil, si hay uno disponible.
    • Active Critical para estado de despliegue.
    • Active y configure los valores de inicio automático.
  5. En la página Archivo de parámetros, puede agregar parámetros para configurar aún más el Replicat. Por ejemplo:
    table source.table1;

    Si utiliza Replicat coordinado, agregue TARGETDB LIBFILE libggjava.so SET property=/u02/Deployment/etc/conf/ogg/your_replicat_name.properties al archivo de parámetros.

    Note:

    GoldenGate utiliza la hora media de Greenwich (GMT) por defecto. Utilice SETENV para sustituir la configuración por defecto para este proceso de Replicat. Este cambio no se aplica a los despliegues. Por ejemplo:

    setenv (TZ="US/Eastern")
    setenv (TZ="GMT+5")
  6. (Opcional) En la página Archivo de propiedades, revise la propiedad:
    jvm.bootoptions: aumente el valor -Xmx si necesita agregar más memoria a la JVM de Replicat (-Xmx16g para utilizar hasta 16 GB de memoria, -Xmx32g para hasta 32 GB, etc.).

    Note:

    Un problema conocido relacionado con Snowflake Streaming Handler falla con el error, Exception: java.lang.StackOverflowError thrown from the UncaughtExceptionHandler in thread "process reaper". Para solucionar este problema, agregue lo siguiente al archivo de propiedades de Replicat:
    jvm.bootoptions= -Djdk.lang.processReaperUseDefaultStackSize=true

    Para obtener información sobre las propiedades de este destino y conocer las diferencias entre los manejadores de almacenamiento provisional y fusión y flujo, consulte Snowflake en la guía Oracle GoldenGate for Distributed Applications and Analytics.

  7. Haga clic en Crear y ejecutar. Si hace clic en Crear, puede iniciar manualmente el replicación más tarde desde la página de inicio de Servicio de administración.

Adición de un Replicat (21c)

Para agregar un Replicat para Snowflake en Oracle GoldenGate 21c:
  1. En la consola de despliegue de OCI GoldenGate, en la página Visión general del servicio de administración, haga clic en Agregar Replicato (icono de signo más).
  2. En la página Agregar Replicat, seleccione un Tipo de Replicat y, a continuación, haga clic en Siguiente.
    Los tipos de replicación son:
    • Replicat clásico
    • Replicación coordinada
  3. En la página Opciones de replicación, complete los siguientes campos y, a continuación, haga clic en Siguiente:
    1. En Nombre de proceso, introduzca un nombre para el proceso de Replicat.
    2. En Nombre de pista, introduzca un nombre de pista de dos caracteres.
    3. En Destino, seleccione la conexión de Snowflake de destino en la lista desplegable.
    4. En Alias disponibles, seleccione el alias en la lista desplegable.
    5. (Opcional) Active el almacenamiento externo para seleccionar una ubicación temporal disponible en la lista desplegable.
  4. En la página Parámetros de Replicat, agregue las asignaciones necesarias y, a continuación, haga clic en Siguiente:

    Note:

    • Si utiliza Coordinated Replicat, agregue los siguientes parámetros en la segunda línea del archivo de parámetros:
      TARGETDB LIBFILE libggjava.so SET property=/u02/Deployment/etc/conf/ogg/<replicat
            name>.properties

      El uso de réplicas coordinadas dará como resultado la creación de varios archivos.

      Si se omite, se producirá el siguiente error:

      OGG-01091 Oracle GoldenGate Delivery, RSNOW.prm: Unable to open file
            "/u02/Deployment/etc/conf/ogg/<replicat name>001.properties" (error 2, No such file or
            directory).
    • Si hay operaciones de fusión de larga ejecución en Snowflake y se observa un gran número de bloqueos, asegúrese de que ninguna otra tabla modifique la misma. Además, utilice réplicas coordinadas con precaución, ya que puede dar lugar a un gran número de bloqueos de mesa.
    • GoldenGate utiliza la hora media de Greenwich (GMT) por defecto. Utilice SETENV para sustituir la configuración por defecto de Replicat. Este cambio no se aplica a los despliegues. Por ejemplo:
      setenv (TZ="US/Eastern")
      setenv (TZ="GMT+5")

      Más información sobre SETENV.

  5. (Opcional) En la página Archivo de propiedades, revise las siguientes propiedades:

    Note:

    Estas propiedades se definen al crear la conexión y no se deben modificar aquí.
    • ggs.eventhandler.snowflake.connectionURL: URL de JDBC para conectarse a Snowflake.
    • ggs.eventhandler.snowflake.UserName: nombre de usuario de la base de datos Snowflake.
    • ggs.eventhandler.snowflake.Password: contraseña asociada al usuario de la base de datos Snowflake.
    • ggs.eventhandler.snowflake.storageIntegration: credencial del almacén de datos de Snowflake para acceder a los respectivos archivos del almacén de objetos. Para obtener más información, consulte Integración de almacenamiento Snowflake.
    • jvm.bootoptions: aumente el valor -Xmx si necesita agregar más memoria a la JVM de Replicat (-Xmx16g para utilizar hasta 16 GB de memoria, -Xmx32g para hasta 32 GB, etc.).
  6. Haga clic en Crear y ejecutar. Si hace clic en Crear, puede iniciar manualmente el Replicat más tarde desde la página Visión general del servicio de administración.
Vuelva a la página Visión general del servicio de administración, donde puede ver la creación del proceso de Replicat y acceder a las acciones del Replicat.

Incidencias conocidas

Bug 37518857: Error de OGGDAA GGS Snowflake Streaming Replicat

El manejador de flujo de copo de nieve falla con: Exception: java.lang.StackOverflowError thrown from the UncaughtExceptionHandler in thread "process reaper"

Solución alternativa: agregue lo siguiente al archivo de propiedades de Replicat:
jvm.bootoptions= -Djdk.lang.processReaperUseDefaultStackSize=true