Ajout d'une réplication pour Amazon S3

Découvrez comment créer un processus de réplication pour une cible Amazon S3 dans OCI GoldenGate.

Avant de commencer

Avant d'ajouter et d'exécuter une réplication pour Amazon S3, assurez-vous que vous disposez des éléments suivants :

• Une connexion Amazon S3 créée et affectée à votre déploiement Big Data cible

• Une région Amazon Web Services (AWS)

• Rappels sur la configuration et les meilleures pratiques pour Amazon S3

Ajout d'une réplication (26ai)

Vérifiez les prérequis propres à ce type de cible.

Afin d'ajouter une réplication dans GoldenGate 26ai, procédez comme suit :

1. In the OCI GoldenGate deployment console navigation menu, select Replicat.

2. Sur la page Replicat, sélectionnez Ajouter une réplication.

3. Dans le panneau Ajouter une réplication, sur la page Informations sur la réplication, renseignez les champs selon vos besoins, puis sélectionnez Suivant :

   • Sélectionnez un type de réplication :

     • Réplication classique

     • Réplication coordonnée

   • Entrez un nom de processus de 5 caractères maximum.

   • Entrez une description pour aider à distinguer ce processus des autres.

4. Sur la page Options de réplication, renseignez les champs selon vos besoins, puis sélectionnez Suivant :

   • Trace de réplication:

     • Entrez un nom.

     • Entrez un sous-répertoire si vous prévoyez que le fichier de trace se trouve à un autre emplacement que celui par défaut.

     • Sélectionnez un profil de cryptage. Si aucun profil de cryptage n'a été créé, le portefeuille local est sélectionné par défaut.

     • Dans Début, sélectionnez le point de départ du traitement des données :

       • Position dans le journal (valeur par défaut)

       • Now

       • Heure personnalisée

   • Position de trace:

     • Entrez le numéro de séquence.

     • Entrez le décalage RBA.

     • Sélectionnez votre cible dans la liste déroulante.

       Remarque : en fonction de votre sélection de cible, vous pouvez disposer d'options supplémentaires telles que les emplacements de diffusion en continu, de transfert, de fusion et de transfert.

   • Informations d'identification des cibles:

     • Sélectionnez un domaine.

     • Sélectionnez un alias dans le domaine spécifié.

     • Sélectionnez une table de points de reprise. Conservez la sélection par défaut ou sélectionnez la table de point de reprise créée pour le déploiement cible.

     • Sélectionnez le nombre maximal de threads (Réplications coordonnées uniquement).

5. Sur la page Options gérées, renseignez les champs facultatifs selon vos besoins, puis sélectionnez Suivant :

   • Sélectionnez un nom de profil, le cas échéant.

   • Critique pour l'état du déploiement.

   • Activer et configurer les paramètres de démarrage automatique.

6. Sur la page Fichier de paramètre, vous pouvez ajouter des paramètres pour configurer davantage la réplication. Exemple :

   table source.table1;

   Remarque :

   GoldenGate utilise par défaut l'heure GMT (heure de Greenwich). Utilisez SETENV pour remplacer le paramètre par défaut du processus Replicat. Cette modification ne s'applique pas aux déploiements. Exemple :

   setenv (TZ="US/Eastern")
   setenv (TZ="GMT+5")

7. Sur la page Fichier de propriétés, configurez les propriétés Amazon S3 suivantes :

   • gg.eventhandler.s3.region fournit la région AWS pour le bucket S3 cible.

   • gg.eventhandler.s3.bucketMappingTemplate: indique le nom du bucket S3 cible. Si le bucket n'existe pas, il peut uniquement être créé automatiquement par OCI GoldenGate. Vous pouvez fournir des noms de bucket statiques ou utiliser des mots-clés de modèle pour affecter des noms de bucket de manière dynamique.

     Remarque : assurez-vous que le nom du bucket ne contient que des caractères minuscules. Les caractères majuscules peuvent entraîner l'échec de la réplication.

   • (Facultatif) gg.handler.abs.format : sélectionnez le format de la sortie. JSON est le paramètre par défaut. Les options disponibles sont les suivantes :

   • delimitedtext

   • json

   • json_row

   • xml

   • avro_row_ocf

   • avro_op_ocf

   Pour le parquet, vous devez appliquer des propriétés supplémentaires. Pour plus d'informations, reportez-vous à Parquet pour Amazon S3.

   Pour plus d'informations sur les propriétés de cette cible, reportez-vous à Amazon S3 dans le guide Oracle GoldenGate for Distributed Applications and Analytics.

8. Sélectionnez Créer et exécuter. Si vous sélectionnez Créer, vous pouvez démarrer manuellement le processus Replicat ultérieurement à partir de la page Réplications.

Ajout d'une réplication (21c)

1. Sur la page d'aperçu du service d'administration, sur la console de déploiement d'OCI GoldenGate, sélectionnez Ajouter une réplication (icône Plus).

2. Sur la page Ajouter un réplication, sélectionnez un type de réplication, puis cliquez sur Suivant.

   Les types de réplication sont les suivants :

   • Réplication classique

   • Réplication coordonnée

3. Sur la page Options de réplication, renseignez les champs suivants, puis sélectionnez Suivant :

   1. Dans Nom de processus, entrez un nom pour le processus de réplication.

   2. (Facultatif) Dans Description, entrez une brève description permettant de distinguer le processus des autres.

   3. Dans Nom de piste, entrez un nom de piste à deux traits.

   4. Pour Cible, sélectionnez Amazon S3 dans la liste déroulante.

   5. Pour Alias disponibles pour Amazon S3, sélectionnez votre alias dans la liste déroulante.

4. Sur la page Fichier de param., ajoutez et configurez les paramètres de réplication nécessaires, puis cliquez sur Suivant.

   table source.table1;

   Remarque :

   GoldenGate utilise par défaut l'heure GMT (heure de Greenwich). Utilisez SETENV pour remplacer le paramètre par défaut de l'extraction. Cette modification s'applique uniquement au processus Extract et non au déploiement.

   setenv (TZ="US/Eastern")
   setenv (TZ="GMT+5")

5. Sur la page Fichier de propriétés, configurez les propriétés Amazon S3 suivantes :

   • gg.eventhandler.s3.region fournit la région AWS pour le bucket S3 cible.

   • gg.eventhandler.s3.bucketMappingTemplate: indique le nom du bucket S3 cible. Si le bucket n'existe pas, il peut uniquement être créé automatiquement par OCI GoldenGate. Vous pouvez fournir des noms de bucket statiques ou utiliser des mots-clés de modèle pour affecter des noms de bucket de manière dynamique.

   Remarque : assurez-vous que le nom du bucket ne contient que des caractères minuscules. Les caractères majuscules peuvent entraîner l'échec de la réplication.

   • (Facultatif) gg.handler.abs.format : sélectionnez le format de la sortie. JSON est le paramètre par défaut. Les options disponibles sont les suivantes :

   • delimitedtext

   • json

   • json_row

   • xml

   • avro_row_ocf

   • avro_op_ocf

   Pour le parquet, vous devez appliquer des propriétés supplémentaires. Pour plus d'informations, reportez-vous à Parquet pour Amazon S3.

6. Sélectionnez Créer et exécuter. Si vous sélectionnez Créer, vous pouvez lancer la réplication manuellement ultérieurement à partir de la page d'aperçu du service d'administration.

Vous retournez à la page Aperçu du service d'administration, dans laquelle vous pouvez visualiser la création du processus Replicat et accéder aux actions Replicat.

Contenu connexe

• Détails de la cible Amazon S3

Problèmes connus avec Amazon S3

Erreurs Java.net.UnknownHostException pour les connexions Amazon S3 et Google Cloud Storage avec des adresses partagées

Lorsque vous utilisez des connexions Amazon S3 et Google Cloud Storage avec des adresses partagées, vous pouvez rencontrer des erreurs Java.net.UnknownHostException.

Solution : modifiez la connexion et remplacez la méthode de routage du trafic par Dédié, ou sélectionnez Dédié lorsque vous créez des connexions Amazon S3 et Google Cloud Storage.

Problème avec les connexions Amazon S3 dans OCI GoldenGate

Si vous rencontrez l'erreur suivante lors de l'utilisation de connexions Amazon S3, ouvrez un ticket d'assistance, partagez les détails et le message d'erreur.

ERROR 2024-03-04 11:42:31.000505 [TaskEngine_2(FileFinalizeTask)] - Verify S3 bucket
      [ggstest] failed.com.amazonaws.SdkClientException: Unable to execute HTTP request: s3.us-east-2.amazonaws.com

Solution de contournement :

1. Connexion à Cloud Shell.

2. Créez une connexion Amazon S3 à l'aide de l'exemple de CLI suivant :

   oci goldengate connection create-amazon-s3-connection --routing-method SHARED_SERVICE_ENDPOINT --display-name <connection_name> --compartment-id <compartment_ocid> --technology-type AMAZON_S3 --access-key-id <aws_access_key> --secret-access-key <aws_secret> --connection-region <amazon_s3_bucket_region>

3. Affectez la connexion à votre déploiement.

4. Ajout et exécution d'une réplication pour Amazon S3.

Sinon, si vous préférez ne pas utiliser l'accès public, configurez les buckets de votre connexion Amazon S3 pour utiliser les adresses AWS VPC. Pour qu'OCI GoldenGate puisse accéder à votre bucket S3 à l'aide d'adresses VPC, vous devez également configurer un VPN IPsec entre votre VCN et le VPC AWS.

Afin de définir l'adresse pour Amazon S3, ajoutez la propriété gg.eventhandler.s3.url au fichier de propriétés de réplication et indiquez l'adresse de la connexion privée.