Adición de una replicación para Amazon S3

Descubra cómo crear un proceso de Replicat para un destino de Amazon S3 en OCI GoldenGate

Antes de empezar

Antes de agregar y ejecutar un Replicat para Amazon S3, asegúrese de tener lo siguiente:

  • Una conexión de Amazon S3 creada y asignada al despliegue de Big Data de destino
  • Región de Amazon Web Services (AWS)

Adición de un Replicat (23ai)

Antes de empezar

Asegúrese de revisar los requisitos específicos de este tipo de destino.

Para agregar un Replicat en GoldenGate 23ai:
  1. En la consola de despliegue GoldenGate de OCI, en la página de inicio del servicio de administración, haga clic en Agregar Replicat (icono de signo más).
  2. En el panel Agregar Replicat, en la página Información de Replicat, complete los campos según sea necesario y, a continuación, haga clic en Siguiente:
    • Seleccione un Tipo de replicado:
      • Replicat clásico
      • Replicación coordinada
    • Introduzca un Nombre de proceso de no más de 5 caracteres.
    • Introduzca una Descripción para ayudar a distinguir este proceso de otros.
  3. En la página Opciones de replicación, complete los campos según sea necesario y, a continuación, haga clic en Siguiente:
    • pista de replicación:
      • Introduzca un Nombre.
      • Introduzca un subdirectorio si espera que el archivo de pista esté en una ubicación que no sea la ubicación por defecto.
      • Seleccione un perfil de cifrado. Si no se ha creado un perfil de cifrado, la cartera local estará seleccionada por defecto.
      • En Iniciar, seleccione el punto de inicio para el procesamiento de datos:
        • Posición en log (valor por defecto)
        • Ahora
        • Hora personalizada
    • Posición de pista:
      • Introduzca el número de secuencia.
      • Introduzca el desplazamiento de RBA.
      • Seleccione el destino en la lista desplegable.
        Nota

        Según la selección de destino, puede tener opciones adicionales, como las ubicaciones de transmisión, temporal y fusión y temporal.
    • Credenciales de Destino:
      • Seleccionar un dominio.
      • Seleccione un alias en el dominio especificado.
      • Seleccione una tabla de puntos de control. Deje la selección por defecto o seleccione la tabla de puntos de control que ha creado para el despliegue de destino.
      • Seleccione el número máximo de threads (solo réplicas coordinadas).
  4. En la página Opciones gestionadas, complete los campos opcionales según sea necesario y, a continuación, haga clic en Siguiente:
    • Seleccione un nombre de perfil, si hay uno disponible.
    • Active Crítico para estado de despliegue.
    • Active y configure los valores de Inicio automático.
  5. En la página Archivo de parámetros, puede agregar parámetros para configurar aún más el Replicat. Por ejemplo:
    table source.table1;

    Si utiliza Coordinated Replicat, agregue TARGETDB LIBFILE libggjava.so SET property=/u02/Deployment/etc/conf/ogg/your_replicat_name.properties al archivo de parámetros.

    Nota

    GoldenGate utiliza la hora del meridiano de Greenwich (GMT) por defecto. Utilice SETENV para sustituir la configuración por defecto de este proceso de Replicat. Este cambio no se aplica a los despliegues. Por ejemplo:

    setenv (TZ="US/Eastern")
    setenv (TZ="GMT+5")
  6. En la página Archivo de propiedades, configure las siguientes propiedades de Amazon S3:
    • gg.eventhandler.s3.region proporciona la región de AWS para el cubo S3 de destino.
    • gg.eventhandler.s3.bucketMappingTemplate: proporciona el nombre del cubo S3 de destino. Si el cubo no existe, puede crearlo automáticamente mediante OCI GoldenGate. Puede proporcionar nombres de cubo estáticos o utilizar palabras clave de plantilla para asignar nombres de cubo de forma dinámica.
      Nota

      Asegúrese de que el nombre del cubo solo contenga caracteres en minúscula. Los caracteres en mayúscula pueden hacer que el Replicat falle.
    • (Opcional) gg.handler.abs.format: seleccione cómo aplicar formato a la salida. JSON es el valor por defecto. Las opciones disponibles son:

      Para el parquet, debe aplicar propiedades adicionales. Consulte Parquet para Amazon S3 para obtener más información.

      Para obtener información sobre las propiedades de este destino, consulte Amazon S3 en la guía Oracle GoldenGate for Distributed Applications and Analytics.

  7. Haga clic en Crear y ejecutar. Si hace clic en Crear, puede iniciar manualmente la replicación más tarde desde la página inicial del servicio de administración.

Adición de un Replicat (21c)

Descubra cómo agregar un proceso de replicación para Amazon S3.

Para agregar una Replicat para un destino de Amazon S3:
  1. En la consola de despliegue GoldenGate de OCI, en la página Visión general del servicio de administración, haga clic en Agregar Replicat (icono de signo más).
  2. En la página Agregar Replicat, seleccione un Tipo de Replicat y, a continuación, haga clic en Siguiente.
    Los tipos de replicación son:
    • Replicat clásico
    • Replicación coordinada
  3. En la página Opciones de replicación, complete los siguientes campos y, a continuación, haga clic en Siguiente:
    1. En Nombre de proceso, introduzca un nombre para el proceso de Replicat.
    2. (Opcional) En Descripción, introduzca una breve descripción para distinguir este proceso de otros.
    3. En Nombre de pista, introduzca un nombre de pista de dos caracteres.
    4. En Destino, seleccione Amazon S3 en la lista desplegable.
    5. En Alias disponibles para Amazon S3, seleccione el alias en la lista desplegable.
  4. En la página Archivo de parámetros, agregue y configure los parámetros de Replicat según sea necesario y, a continuación, haga clic en Siguiente.
    Nota

    • Si utiliza Coordinated Replicat, agregue los siguientes parámetros en la segunda línea del archivo de parámetros:
      TARGETDB LIBFILE libggjava.so SET property=/u02/Deployment/etc/conf/ogg/<replicat
            name>.properties

      El uso de replicado coordinado dará como resultado la creación de varios archivos.

      Si se omite, se producirá el siguiente error:

      OGG-01091 Oracle GoldenGate Delivery, RSNOW.prm: Unable to open file
            "/u02/Deployment/etc/conf/ogg/<replicat name>001.properties" (error 2, No such file or
            directory).
    • GoldenGate utiliza la hora del meridiano de Greenwich (GMT) por defecto. Utilice SETENV para sustituir la configuración por defecto. Por ejemplo:
      setenv (TZ="US/Eastern")
      setenv (TZ="GMT+5")

      Más información sobre SETENV.

  5. En la página Archivo de propiedades, configure las siguientes propiedades de Amazon S3:
    • gg.eventhandler.s3.region proporciona la región de AWS para el cubo S3 de destino.
    • gg.eventhandler.s3.bucketMappingTemplate: proporciona el nombre del cubo S3 de destino. Si el cubo no existe, puede crearlo automáticamente mediante OCI GoldenGate. Puede proporcionar nombres de cubo estáticos o utilizar palabras clave de plantilla para asignar nombres de cubo de forma dinámica.
      Nota

      Asegúrese de que el nombre del cubo solo contenga caracteres en minúscula. Los caracteres en mayúscula pueden hacer que el Replicat falle.
    • (Opcional) gg.handler.abs.format: seleccione cómo aplicar formato a la salida. JSON es el valor por defecto. Las opciones disponibles son:

      Para el parquet, debe aplicar propiedades adicionales. Consulte Parquet para Amazon S3 para obtener más información.

  6. Haga clic en Crear y ejecutar. Si hace clic en Crear, puede iniciar manualmente el Replicat más tarde desde la página Visión general del servicio de administración.
Volverá a la página Visión general del servicio de administración, donde puede ver la creación del proceso de Replicat y acceder a las acciones del Replicat.

Más información

¿Está interesado en aprender a crear y ejecutar una ruta de receptor iniciada en el destino? Consulte el inicio rápido Envío de datos de OCI GoldenGate a Oracle GoldenGate o pruebe la versión de LiveLabs en un entorno de sandbox.

Incidencias conocidas

Errores de Java.net.UnknownHostException para conexiones de Amazon S3 y Google Cloud Storage con puntos finales compartidos

Solución alternativa: edite la conexión y cambie el método de enrutamiento de tráfico a Dedicado o seleccione Dedicado al crear conexiones de Amazon S3 y Google Cloud Storage.

Problema con las conexiones de Amazon S3 en OCI GoldenGate

Si encuentra el siguiente error al usar conexiones de Amazon S3, abra un ticket de soporte, comparta los detalles y el mensaje de error.

ERROR 2024-03-04 11:42:31.000505 [TaskEngine_2(FileFinalizeTask)] - Verify S3 bucket
      [ggstest] failed.com.amazonaws.SdkClientException: Unable to execute HTTP request: s3.us-east-2.amazonaws.com

A continuación, puede utilizar los siguientes pasos como solución temporal.

Solución:

  1. Conéctese a Cloud Shell.
  2. Cree una nueva conexión de Amazon S3 mediante el siguiente ejemplo de la CLI:
    oci goldengate connection create-amazon-s3-connection --routing-method SHARED_SERVICE_ENDPOINT --display-name <connection_name> --compartment-id <compartment_ocid> --technology-type AMAZON_S3 --access-key-id <aws_access_key> --secret-access-key <aws_secret>
  3. Asigne la conexión a su despliegue.
  4. Agregue y ejecute Replicat para Amazon S3.

Como alternativa, si prefiere no utilizar el acceso público, configure los cubos de la conexión de Amazon S3 para que utilicen AWS VPC Endpoints. Para que OCI GoldenGate acceda al cubo S3 mediante VPC Endpoints, también debe configurar una VPN IPsec entre la VCN y la VPC de AWS.

Para definir el punto final para Amazon S3, agregue la propiedad gg.eventhandler.s3.url al archivo de propiedades de Replicat y proporcione el punto final para la conexión privada.