Adición de una réplica para Amazon S3

Descubra cómo crear un proceso de Replicat para un destino de Amazon S3 en OCI GoldenGate.

Antes de empezar

Antes de agregar y ejecutar un Replicat para Amazon S3, asegúrese de tener:

Una conexión de Amazon S3 creada y asignada a su despliegue de Big Data de destino
Una región de Amazon Web Services (AWS)
Revisión de Consideraciones de configuración y mejores prácticas para Amazon S3

Adición de un Replicat (26ai)

Asegúrese de revisar los requisitos previos específicos de este tipo de destino.

Para agregar un Replicat en GoldenGate 26ai:

En el menú Replicat de la consola del despliegue de OCI GoldenGate, seleccione.
En la página Replicat, seleccione Agregar Replicat.
En el panel Agregar Replicat, en la página Información de Replicat, complete los campos según sea necesario y, a continuación, seleccione Siguiente:
- Seleccione un Tipo de Replicat:
  - Replicat clásico
  - Replicación coordinada
- Introduzca un nombre de proceso que no tenga más de 5 caracteres.
- Introduzca una descripción para ayudar a distinguir este proceso de otros.
En la página Opciones de Replicat, complete los campos según sea necesario y, a continuación, seleccione Siguiente:
- Pista de Replicat:
  - Introduzca un nombre.
  - Introduzca un subdirectorio si espera que el archivo de pista esté en una ubicación que no sea la predeterminada.
  - Seleccione un perfil de cifrado. Si no se ha creado un perfil de cifrado, la cartera local estará seleccionada por defecto.
  - En Iniciar, seleccione el punto de inicio para procesamiento de datos:
    - Posición en log (valor por defecto)
    - Now
    - Hora personalizada
- Posición de pista:
  - Introduzca el Número de secuencia.
  - Introduzca RBA Offset (Desplazamiento de RBA).
  - Seleccione el destino en la lista desplegable.
    
    Nota: Según la selección de destino, puede que tenga opciones adicionales, como las ubicaciones de flujo, almacenamiento provisional y fusión, y almacenamiento provisional.
- Credenciales de Destino:
  - Seleccione un dominio.
  - Seleccione un alias dentro del dominio especificado.
  - Seleccione una tabla de puntos de control. Deje la selección por defecto o seleccione la tabla de puntos de Control que ha creado para el despliegue de destino.
  - Seleccione el número máximo de threads (solo réplicas coordinadas).
En la página Opciones gestionadas, complete los campos opcionales según sea necesario y, a continuación, seleccione Siguiente:
- Seleccione un nombre de perfil, si hay uno disponible.
- Permite activar el estado crítico para el despliegue.
- Active y configure la configuración de Inicio automático.
En la página Archivo de Parámetros, puede agregar parámetros para configurar aún más el Replicat. Por ejemplo:
```
table source.table1;
```
Nota:

GoldenGate utiliza el meridiano de Greenwich (GMT) por defecto. Utilice SETENV para sustituir la configuración por defecto de Replicat. Este cambio no se aplica a los despliegues. Por ejemplo:
```
setenv (TZ="US/Eastern")
setenv (TZ="GMT+5")
```
En la página Archivo de Propiedades, configure las siguientes propiedades de Amazon S3:
- gg.eventhandler.s3.region proporciona la región de AWS para el cubo de S3 de destino.
- gg.eventhandler.s3.bucketMappingTemplate: proporciona el nombre del cubo de S3 de destino. Si el cubo no existe, OCI GoldenGate puede crearlo automáticamente. Puede proporcionar nombres de cubo estáticos o utilizar palabras clave de plantilla para asignar nombres de cubo de forma dinámica.
  
  Nota: Asegúrese de que el nombre del cubo solo contenga caracteres en minúscula. Los caracteres en mayúscula pueden hacer que el Replicat falle.
- (Opcional) gg.handler.abs.format: seleccione cómo aplicar formato a la salida. JSON es el valor por defecto. Las opciones disponibles son:
- delimitedtext
- json
- json_row
- xml
- avro_row_ocf
- avro_op_ocf
Para parquet, debe aplicar propiedades adicionales. Consulte Parquet para Amazon S3 para obtener más información.

Para obtener información sobre las propiedades de este destino, consulte Amazon S3 en la guía Oracle GoldenGate for Distributed Applications and Analytics.
Seleccione Crear y ejecutar. Si selecciona Crear, puede iniciar manualmente el Replicat más adelante desde la página Replicats.

Adición de un Replicat (21c)

En la Consola de Despliegue de OCI GoldenGate, en la página Visión General del Servicio de Administración, seleccione Agregar Replicat (icono de signo mas).
En la página Agregar Replicat, seleccione un tipo de Replicat y, a continuación, seleccione Siguiente.

Los tipos de replicación son:
- Replicat clásico
- Replicación coordinada
En la página Opciones de replicación, complete los siguientes campos y, a continuación, seleccione Siguiente:
1. En Nombre de proceso, introduzca un nombre para el proceso de Replicat.
2. (Opcional) En Descripción, introduzca una descripción breve para distinguir este proceso de otros.
3. En Nombre de la pista, introduzca un nombre de la pista de dos carácter.
4. En Destino, seleccione Amazon S3 en la lista desplegable.
5. En Alias disponibles para Amazon S3, seleccione el alias en la lista desplegable.
En la página Archivo de Parámetros, agregue y configure parámetros de Replicat según sea necesario y, a continuación, seleccione Siguiente.
```
table source.table1;
```
Nota:

GoldenGate utiliza el meridiano de Greenwich (GMT) por defecto. Utilice SETENV para sustituir la configuración por defecto de Extract. Este cambio sólo se aplica al proceso de extracción y no al despliegue.
```
setenv (TZ="US/Eastern")
setenv (TZ="GMT+5")
```
En la página Archivo de Propiedades, configure las siguientes propiedades de Amazon S3:
- gg.eventhandler.s3.region proporciona la región de AWS para el cubo de S3 de destino.
- gg.eventhandler.s3.bucketMappingTemplate: proporciona el nombre del cubo de S3 de destino. Si el cubo no existe, OCI GoldenGate puede crearlo automáticamente. Puede proporcionar nombres de cubo estáticos o utilizar palabras clave de plantilla para asignar nombres de cubo de forma dinámica.
Nota: Asegúrese de que el nombre del cubo solo contenga caracteres en minúscula. Los caracteres en mayúscula pueden hacer que el Replicat falle.
- (Opcional) gg.handler.abs.format: seleccione cómo aplicar formato a la salida. JSON es el valor por defecto. Las opciones disponibles son:
- delimitedtext
- json
- json_row
- xml
- avro_row_ocf
- avro_op_ocf
Para parquet, debe aplicar propiedades adicionales. Consulte Parquet para Amazon S3 para obtener más información.
Seleccione Crear y ejecutar. Si hace clic en Crear, puede iniciar manualmente el Replicat más tarde desde la página Visión general del servicio de administración.

Volverá a la página Visión general del servicio de administración, donde podrá ver la creación del proceso Replicat y acceder a las acciones de Replicat.

Detalles de destino de Amazon S3

Problemas conocidos con Amazon S3

Errores de Java.net.UnknownHostException para las conexiones de Amazon S3 y Google Cloud Storage con puntos finales compartidos

Al utilizar conexiones de Amazon S3 y Google Cloud Storage con puntos finales compartidos, puede encontrar errores de Java.net.UnknownHostException.

Solución alternativa: edite la conexión y cambie el método de enrutamiento de tráfico a Dedicado, o seleccione Dedicado al crear conexiones de Amazon S3 y Google Cloud Storage.

Problema con las conexiones de Amazon S3 en OCI GoldenGate

Si encuentra el siguiente error al usar conexiones de Amazon S3, abra un ticket de soporte, comparta los detalles y el mensaje de error.

ERROR 2024-03-04 11:42:31.000505 [TaskEngine_2(FileFinalizeTask)] - Verify S3 bucket
      [ggstest] failed.com.amazonaws.SdkClientException: Unable to execute HTTP request: s3.us-east-2.amazonaws.com

Solución alternativa:

Conéctese a Cloud Shell.

Cree una nueva conexión de Amazon S3 mediante el siguiente ejemplo de la CLI:

oci goldengate connection create-amazon-s3-connection --routing-method SHARED_SERVICE_ENDPOINT --display-name <connection_name> --compartment-id <compartment_ocid> --technology-type AMAZON_S3 --access-key-id <aws_access_key> --secret-access-key <aws_secret> --connection-region <amazon_s3_bucket_region>

Asigne la conexión al despliegue.
Adición y ejecución de una réplica para Amazon S3.

De manera alternativa, si prefiere no utilizar el acceso público, configure los cubos de la conexión de Amazon S3 para utilizar los puntos finales de AWS VPC. Para que OCI GoldenGate acceda al cubo de S3 mediante puntos finales de VPC, también debe configurar una VPN con IPsec entre la VCN y la VPC de AWS.

Para definir el punto final para Amazon S3, agregue la propiedad gg.eventhandler.s3.url al archivo de propiedades de Replicat y proporcione el punto final para la conexión privada.