Ajout d'une réplication pour Amazon S3

Découvrez comment créer un processus Replicat pour une cible Amazon S3 dans OCI GoldenGate

Rubriques connexes

Avant de commencer

Avant d'ajouter et d'exécuter une réplique pour Amazon S3, assurez-vous que vous disposez des éléments suivants :

  • Une connexion Amazon S3 créée et affectée à votre déploiement Big Data cible
  • Une région Amazon Web Services (AWS)

Ajout d'une république (23ai)

Avant de commencer

Vérifiez les prérequis propres à ce type de cible.

Pour ajouter une réplique dans GoldenGate 23ai, procédez comme suit :
  1. Dans la console de déploiement OCI GoldenGate, sur la page d'accueil du service d'administration, cliquez sur Ajouter une république (icône Plus).
  2. Dans le panneau Ajouter une réplication, sur la page Informations sur la réplication, renseignez les champs selon vos besoins, puis cliquez sur Suivant :
    • Sélectionnez un type de réplicat :
      • Réplication classique
      • Réplication coordonnée
    • Entrez un nom de processus de 5 caractères au maximum.
    • Entrez une description pour distinguer ce processus des autres.
  3. Sur la page Options de réplication, renseignez les champs selon vos besoins, puis cliquez sur Suivant :
    • Trace de réplication :
      • Entrez un nom.
      • Entrez un sous-répertoire, si vous prévoyez que le fichier de trace se trouve à un emplacement autre que celui par défaut.
      • Sélectionnez un profil de cryptage. Si aucun profil de cryptage n'a été créé, le portefeuille local est sélectionné par défaut.
      • Dans Démarrer, sélectionnez le point de départ du traitement des données :
        • Position dans le journal (valeur par défaut)
        • Now
        • Heure personnalisée
    • Position de trace:
      • Entrez le numéro de séquence.
      • Entrez la valeur RBA Offset.
      • Sélectionnez votre cible dans la liste déroulante.

        Remarques :

        Selon votre sélection de cible, vous pouvez disposer d'options supplémentaires, telles que Streaming, Préparer et fusionner, et Emplacements intermédiaires.
    • Informations d'identification des cibles:
      • Sélectionner un domaine.
      • Sélectionnez un alias dans le domaine spécifié.
      • Sélectionnez une table de point de reprise. Conservez la sélection par défaut ou sélectionnez la table de point de reprise que vous avez créée pour le déploiement cible.
      • Sélectionnez le nombre maximal de threads (répliques coordonnées uniquement).
  4. Sur la page Options gérées, renseignez les champs facultatifs selon vos besoins, puis cliquez sur Suivant :
    • Sélectionnez un nom de profil, le cas échéant.
    • Activer Critical pour l'état du déploiement.
    • Activez et configurez les paramètres de démarrage automatique.
  5. Sur la page Fichier de paramètres, vous pouvez ajouter des paramètres pour configurer davantage la réplique. Par exemple :
    table source.table1;

    Si vous utilisez la réplication coordonnée, ajoutez TARGETDB LIBFILE libggjava.so SET property=/u02/Deployment/etc/conf/ogg/your_replicat_name.properties au fichier de paramètres.

    Remarques :

    GoldenGate utilise par défaut l'heure GMT (heure de Greenwich). Utilisez SETENV pour remplacer le paramètre par défaut de ce processus Replicat. Cette modification ne s'applique pas aux déploiements. Exemple : 

    setenv (TZ="US/Eastern")
setenv (TZ="GMT+5")
  6. Sur la page Fichier de propriétés, configurez les propriétés Amazon S3 suivantes :
    • gg.eventhandler.s3.region fournit la région AWS pour le bucket S3 cible.
    • gg.eventhandler.s3.bucketMappingTemplate: fournit le nom du bucket S3 cible. Si le bucket n'existe pas, il peut être créé automatiquement par OCI GoldenGate. Vous pouvez indiquer des noms de bucket statiques ou utiliser des mots-clés de modèle pour affecter des noms de bucket de manière dynamique.

      Remarques :

      Assurez-vous que le nom du bucket contient uniquement des caractères minuscules. Les caractères en majuscules peuvent entraîner l'échec de la réplication.
    • (Facultatif) gg.handler.abs.format : sélectionnez le format de la sortie. JSON est le paramètre par défaut. Les options disponibles sont les suivantes :

      Pour le parquet, vous devez appliquer des propriétés supplémentaires. Pour plus d'informations, reportez-vous à Parquet pour Amazon S3.

      Pour plus d'informations sur les propriétés de cette cible, reportez-vous à Amazon S3 dans le guide Oracle GoldenGate for Distributed Applications and Analytics.

  7. Cliquez sur Créer et exécuter. Si vous cliquez sur Créer, vous pouvez lancer la réplication manuellement ultérieurement à partir de la page d'accueil du service d'administration.

Ajout d'une réplication (21c)

Découvrez comment ajouter un processus de réplication pour Amazon S3.

Afin d'ajouter une réplication pour une cible Amazon S3, procédez comme suit :
  1. Dans la console de déploiement OCI GoldenGate, sur la page de présentation du service d'administration, cliquez sur Ajouter une réplication (icône Plus).
  2. Sur la page Ajouter un réplication, sélectionnez un type de réplication, puis cliquez sur Suivant.
    Les types de réplication sont les suivants :
    • Réplication classique
    • Réplication coordonnée
  3. Sur la page Options de réplication, renseignez les champs suivants, puis cliquez sur Suivant :
    1. Dans Nom de processus, saisissez le nom du processus de réplication.
    2. (Facultatif) Dans Description, entrez une brève description permettant de distinguer le processus des autres.
    3. Dans Nom de trace, entrez un nom de trace à deux caractères.
    4. Dans Cible, sélectionnez Amazon S3 dans la liste déroulante.
    5. Dans Alias disponibles pour Amazon S3, sélectionnez votre alias dans la liste déroulante.
  4. Sur la page Fichier de paramètres, ajoutez et configurez les paramètres de réplication nécessaires, puis cliquez sur Suivant.

    Remarques :

    • Si vous utilisez la réplication coordonnée, ajoutez les paramètres suivants sur la deuxième ligne du fichier de paramètres :
      TARGETDB LIBFILE libggjava.so SET property=/u02/Deployment/etc/conf/ogg/<replicat
      name>.properties

      L'utilisation de la réplication coordonnée entraînera la création de plusieurs fichiers.

      Si cette option est omise, l'erreur suivante s'affiche :

      OGG-01091 Oracle GoldenGate Delivery, RSNOW.prm: Unable to open file
      "/u02/Deployment/etc/conf/ogg/<replicat name>001.properties" (error 2, No such file or
      directory).
    • GoldenGate utilise par défaut l'heure GMT (heure de Greenwich). Utilisez SETENV pour remplacer le paramètre par défaut. Exemple :
      setenv (TZ="US/Eastern")
setenv (TZ="GMT+5")

      En savoir plus sur SETENV.

  5. Sur la page Fichier de propriétés, configurez les propriétés Amazon S3 suivantes :
    • gg.eventhandler.s3.region fournit la région AWS pour le bucket S3 cible.
    • gg.eventhandler.s3.bucketMappingTemplate: fournit le nom du bucket S3 cible. Si le bucket n'existe pas, il peut être créé automatiquement par OCI GoldenGate. Vous pouvez indiquer des noms de bucket statiques ou utiliser des mots-clés de modèle pour affecter des noms de bucket de manière dynamique.

      Remarques :

      Assurez-vous que le nom du bucket contient uniquement des caractères minuscules. Les caractères en majuscules peuvent entraîner l'échec de la réplication.
    • (Facultatif) gg.handler.abs.format : sélectionnez le format de la sortie. JSON est le paramètre par défaut. Les options disponibles sont les suivantes :

      Pour le parquet, vous devez appliquer des propriétés supplémentaires. Pour plus d'informations, reportez-vous à Parquet pour Amazon S3.

  6. Cliquez sur Créer et exécuter. Si vous cliquez sur Créer, vous pouvez lancer la réplication manuellement ultérieurement à partir de la page de présentation du service d'administration.
Vous revenez à la page de présentation du service d'administration, dans laquelle vous pouvez visualiser la création du processus de réplication et accéder aux actions de réplication.

Problèmes recensés

Des erreurs Java.net.UnknownHostException se produisent pour les connexions Amazon S3 et Google Cloud Storage avec des adresses partagées.

Solution : modifiez la connexion et remplacez la méthode de routage du trafic par Dédié, ou sélectionnez Dédié lorsque vous créez des connexions Amazon S3 et Google Cloud Storage.

Problème avec les connexions Amazon S3 dans OCI GoldenGate

Si vous rencontrez l'erreur suivante lors de l'utilisation des connexions Amazon S3, ouvrez un ticket d'assistance, partagez les détails et le message d'erreur. 

ERROR 2024-03-04 11:42:31.000505 [TaskEngine_2(FileFinalizeTask)] - Verify S3 bucket
      [ggstest] failed.com.amazonaws.SdkClientException: Unable to execute HTTP request: s3.us-east-2.amazonaws.com

Vous pouvez ensuite utiliser les étapes suivantes comme solution temporaire.

Solution de contournement :

  1. Connectez-vous à Cloud Shell.
  2. Créez une connexion Amazon S3 à l'aide de l'exemple d'interface de ligne de commande suivant :
    oci goldengate connection create-amazon-s3-connection --routing-method SHARED_SERVICE_ENDPOINT --display-name <connection_name> --compartment-id <compartment_ocid> --technology-type AMAZON_S3 --access-key-id <aws_access_key> --secret-access-key <aws_secret>
  3. Affectez la connexion au déploiement.
  4. Ajoutez et exécutez une commande Replicat pour Amazon S3.

Sinon, si vous préférez ne pas utiliser l'accès public, configurez les buckets de votre connexion Amazon S3 pour utiliser AWS VPC Endpoints. Pour que OCI GoldenGate puisse accéder à votre bucket S3 à l'aide de VPC Endpoints, vous devez également configurer un VPN IPsec entre votre VCN et le VPC AWS.

Afin de définir l'adresse pour Amazon S3, ajoutez la propriété gg.eventhandler.s3.url au fichier de propriétés de réplication et indiquez l'adresse pour la connexion privée.