Ajouter un processus de réplication pour Amazon S3

Voyez comment créer un processus de réplication pour une cible Amazon S3 dans OCI GoldenGate

Rubriques connexes

Avant de commencer

Avant d'ajouter et d'exécuter un service de réplication pour Amazon S3, assurez-vous que vous disposez des éléments suivants :

  • Une connexion Amazon S3 créée et affectée à votre déploiement de mégadonnées cible
  • Une région Amazon Web Services (AWS)

Ajouter un rapplicat (23ai)

Avant de commencer

Vérifiez les préalables propres à ce type de cible.

Pour ajouter un rappel dans GoldenGate 23ai :
  1. Dans la page d'accueil OCI GoldenGate console de déploiement, dans la page Service d'administration, cliquez sur Ajouter une réplication (icône plus).
  2. Dans le panneau Ajouter des informations de réplication, dans la page Informations sur le processus de réplication, remplissez les champs selon les besoins, puis cliquez sur Suivant :
    • Sélectionnez un type de réplication :
      • Réplication classique
      • Réplication coordonnée
    • Entrez un nom de processus de 5 caractères au maximum.
    • Entrez une description pour distinguer ce processus des autres.
  3. Dans la page Options de réplication, remplissez les champs selon les besoins, puis cliquez sur Suivant :
    • Piste Répliquer :
      • Entrez un nom.
      • Entrez un sous-répertoire, si vous prévoyez que le fichier de piste se trouve dans un emplacement autre que celui par défaut.
      • Sélectionnez un profil de chiffrement. Si aucun profil de chiffrement n'a été créé, le portefeuille local est sélectionné par défaut.
      • Pour Début, sélectionnez le point de début du traitement des données :
        • Position dans le journal (valeur par défaut)
        • Now
        • Heure personnalisée
    • Position de la piste :
      • Entrez le numéro de séquence.
      • Entrez le décalage de l'authentification basée sur un jeton.
      • Sélectionnez votre cible dans la liste déroulante.

        Note :

        Selon votre sélection de cibles, vous pouvez avoir des options supplémentaires telles que Streaming, Stage and Merge et Staging locations.
    • Données d'identification cibles :
      • Sélectionner un domaine.
      • Sélectionnez un alias dans le domaine spécifié.
      • Sélectionnez une table de points de vérification. Laissez la sélection par défaut ou sélectionnez la table de points de vérification que vous avez créée pour le déploiement cible.
      • Sélectionnez le numéro d'unité d'exécution maximal (uniquement pour les réplications coordonnées).
  4. Dans la page Options gérées, remplissez les champs facultatifs selon les besoins, puis cliquez sur Suivant :
    • Sélectionnez un nom de profil, le cas échéant.
    • Activer Critique pour l'état du déploiement.
    • Activer et configurer les paramètres de démarrage automatique.
  5. Dans la page Fichier de paramètre, vous pouvez ajouter des paramètres pour configurer davantage le service de réplication. Par exemple : 
    table source.table1;

    Si vous utilisez le service Réplication coordonnée, ajoutez TARGETDB LIBFILE libggjava.so SET property=/u02/Deployment/etc/conf/ogg/your_replicat_name.properties au fichier de paramètres.

    Note :

    GoldenGate utilise le temps moyen de Greenwich (GMT). Utilisez SETENV pour remplacer le paramètre par défaut de ce processus de réplication. Cette modification ne s'applique pas aux déploiements. Par exemple : 

    setenv (TZ="US/Eastern")
setenv (TZ="GMT+5")
  6. Dans la page Fichier de propriétés, configurez les propriétés Amazon S3 suivantes :
    • gg.eventhandler.s3.region fournit la région AWS pour le seau S3 cible.
    • gg.eventhandler.s3.bucketMappingTemplate: fournit le nom du seau S3 cible. Si le seau n'existe pas, il peut être créé automatiquement par OCI GoldenGate. Vous pouvez fournir des noms de seau statiques ou utiliser des mots clés de modèle pour affecter des noms de seau de manière dynamique.

      Note :

      Assurez-vous que le nom du seau ne contient que des caractères minuscules. Les caractères majuscules peuvent entraîner l'échec du processus de réplication.
    • (Facultatif) gg.handler.abs.format : Sélectionnez comment mettre en forme la sortie. JSON est le paramètre par défaut. Les options disponibles sont les suivantes :

      Pour le parquet, vous devez appliquer des propriétés supplémentaires. Pour plus de détails, voir Parquet pour Amazon S3.

      Pour plus d'informations sur les propriétés de cette cible, voir Amazon S3 dans le guide Oracle GoldenGate for Distributed Applications and Analytics.

  7. Cliquez sur Créer et exécuter. Si vous cliquez sur Créer, vous pourrez lancer manuellement la réplication plus tard à partir de la page d'accueil du service d'administration.

Ajouter un réplicat (21c)

Voyez comment ajouter un processus de réplication pour Amazon S3.

Pour ajouter un processus de réplication pour une cible Amazon S3 :
  1. Dans la console de déploiement d'OCI GoldenGate, dans la page Aperçu du service d'administration, cliquez sur Ajouter une réplication (icône plus).
  2. Dans la page Add Replicat, sélectionnez un type de réplication, puis cliquez sur Next.
    Les types de réplication sont les suivants :
    • Réplication classique
    • Réplication coordonnée
  3. Dans la page Replicat Options, remplissez les champs suivants, puis cliquez sur Suivant :
    1. Pour Nom du processus, entrez un nom pour le processus de réplication.
    2. (Facultatif) Pour Description, entrez une courte description pour distinguer ce processus des autres.
    3. Pour Nom de la piste, entrez un nom de piste à deux caractères.
    4. Pour Cible, sélectionnez Amazon S3 dans la liste déroulante.
    5. Pour Alias disponibles pour Amazon S3, sélectionnez votre alias dans la liste déroulante.
  4. Dans la page Fichier de paramètres, ajoutez et configurez les paramètres de réplication nécessaires, puis cliquez sur Suivant.

    Note :

    • Si vous utilisez le processus Coordinated Replicat, ajoutez les paramètres suivants sur la deuxième ligne du fichier de paramètres :
      TARGETDB LIBFILE libggjava.so SET property=/u02/Deployment/etc/conf/ogg/<replicat
      name>.properties

      L'utilisation de la réplication coordonnée entraînera la création de plusieurs fichiers.

      Si omis, l'erreur suivante s'affiche :

      OGG-01091 Oracle GoldenGate Delivery, RSNOW.prm: Unable to open file
      "/u02/Deployment/etc/conf/ogg/<replicat name>001.properties" (error 2, No such file or
      directory).
    • GoldenGate utilise le temps moyen de Greenwich (GMT). Utilisez SETENV pour remplacer le paramètre par défaut. Par exemple :
      setenv (TZ="US/Eastern")
setenv (TZ="GMT+5")

      En savoir plus sur SETENV.

  5. Dans la page Fichier de propriétés, configurez les propriétés Amazon S3 suivantes :
    • gg.eventhandler.s3.region fournit la région AWS pour le seau S3 cible.
    • gg.eventhandler.s3.bucketMappingTemplate: fournit le nom du seau S3 cible. Si le seau n'existe pas, il peut être créé automatiquement par OCI GoldenGate. Vous pouvez fournir des noms de seau statiques ou utiliser des mots clés de modèle pour affecter des noms de seau de manière dynamique.

      Note :

      Assurez-vous que le nom du seau ne contient que des caractères minuscules. Les caractères majuscules peuvent entraîner l'échec du processus de réplication.
    • (Facultatif) gg.handler.abs.format : Sélectionnez comment mettre en forme la sortie. JSON est le paramètre par défaut. Les options disponibles sont les suivantes :

      Pour le parquet, vous devez appliquer des propriétés supplémentaires. Pour plus de détails, voir Parquet pour Amazon S3.

  6. Cliquez sur Créer et exécuter. Si vous cliquez sur Créer, vous pourrez lancer manuellement la réplication plus tard à partir de la page Aperçu du service d'administration.
Vous retournez à la page Aperçu du service d'administration, où vous pouvez consulter la création du processus et des actions de réplication.

Problèmes connus

Des erreurs Java.net.UnknownHostException sont survenues pour les connexions à Amazon S3 et à Google Cloud Storage avec des points d'extrémité partagés

Solution de rechange : Modifiez la connexion et remplacez la méthode d'acheminement du trafic par Dédiée, ou sélectionnez Dédiée lorsque vous créez des connexions Amazon S3 et Google Cloud Storage.

Problème lié aux connexions Amazon S3 dans OCI GoldenGate

Si vous rencontrez l'erreur suivante lors de l'utilisation des connexions Amazon S3, ouvrez un ticket de soutien, partagez les détails et le message d'erreur. 

ERROR 2024-03-04 11:42:31.000505 [TaskEngine_2(FileFinalizeTask)] - Verify S3 bucket
      [ggstest] failed.com.amazonaws.SdkClientException: Unable to execute HTTP request: s3.us-east-2.amazonaws.com

Vous pouvez ensuite utiliser les étapes suivantes comme solution temporaire.

Solution de rechange :

  1. Connectez-vous à Cloud Shell.
  2. Créez une nouvelle connexion Amazon S3 à l'aide de l'exemple d'interface de ligne de commande suivant :
    oci goldengate connection create-amazon-s3-connection --routing-method SHARED_SERVICE_ENDPOINT --display-name <connection_name> --compartment-id <compartment_ocid> --technology-type AMAZON_S3 --access-key-id <aws_access_key> --secret-access-key <aws_secret>
  3. Affectez la connexion à votre déploiement.
  4. Ajoutez et exécutez une commande Replicat pour Amazon S3.

Sinon, si vous préférez ne pas utiliser l'accès public, configurez les seaux de votre connexion Amazon S3 pour utiliser AWS VPC Endpoints. Pour qu'OCI GoldenGate puisse accéder à votre seau S3 à l'aide de VPC Endpoints, vous devez également configurer un RPV IPsec entre votre VCN et le RPV AWS.

Pour définir le point d'extrémité pour Amazon S3, ajoutez la propriété gg.eventhandler.s3.url au fichier de propriétés de réplication et fournissez le point d'extrémité pour la connexion privée.