Répliquer les données de YugabyteDB vers le traitement des transactions d'IA autonome

Découvrez comment répliquer des données d'une source YugabyteDB vers une cible de traitement des transactions d'IA autonome à l'aide d'OCI GoldenGate.

Avant de commencer

Pour terminer ce démarrage rapide, assurez-vous de disposer des éléments suivants :

• Installation de YugabyteDB servant de base de données source

• Instance de traitement des transactions Autonomous AI servant de base de données cible.

• YugabyteDB préparé pour Oracle GoldenGate

Configurer YugabyteDB

Pour configurer l'instance YugabyteDB, procédez comme suit :

1. Si vous utilisez Oracle Cloud Compute pour héberger YugabyteDB, ouvrez le port 5433 :

   sudo firewall-cmd --permanent --add-port=5432/tcp
   sudo firewall-cmd --reload
   sudo firewall-cmd --list-all

2. Ouvrez le port 5433 dans la liste de sécurité de votre VCN.

3. Connectez-vous à YugabyteDB.

4. Réinitialisez les données échantillon.

5. Exécutez les commandes suivantes pour configurer l'utilisateur. Veillez à remplacer l'espace réservé <password> par un mot de passe réel.

   create user ggadmin with password '<password>';
   alter user ggadmin with SUPERUSER;
   GRANT ALL PRIVILEGES ON DATABASE ociggll TO ggadmin;

Configuration de l'environnement : Autonomous AI Transaction Processing (ATP)

1. Téléchargez et décompressez le schéma échantillon de base de données.

2. Déverrouillez l'utilisateur GGADMIN.

   1. Dans la console Oracle Cloud, sélectionnez votre instance ATP sur la page Bases de données autonomes pour en visualiser les détails et accéder aux actions de base de données.

   2. Sélectionnez Database Actions, puis Database Users (Utilisateurs de base de données).

   3. Localisez GGADMIN, puis sélectionnez son menu représentant des points de suspension (trois points) et sélectionnez Modifier.

   4. Dans le panneau Modifier l'utilisateur, entrez le mot du passe GGADMIN, confirmez le mot du passe, puis désélectionnez Compte verrouillé.

   5. Sélectionnez Apply Changes (Appliquer les modifications).

3. Chargez l'exemple de schéma et de données cible.

   1. Dans le menu Database Actions, sélectionnez SQL.

   2. Copiez le script d'OCIGGLL_OCIGGS_SETUP_USERS_ADW.sql et collez- le dans la feuille d'exécution SQL.

   3. Sélectionnez Exécuter le script. L'onglet Sortie de script affiche des messages de confirmation.

   4. Effacez la feuille SQL, puis copiez et collez le code SQL à partir du script OCIGGLL_OCIGGS_SRC_MIRROR_USER_SEED_DATA.sql.

   5. Pour vérifier que les tables ont bien été créées, fermez la fenêtre SQL et rouvrez-la. Dans l'onglet Navigateur, recherchez le schéma SRC_OCIGGLL, puis sélectionnez des tables dans les listes déroulantes correspondantes.

Tâche 1 : créer les ressources OCI GoldenGate

Cet exemple de démarrage rapide nécessite des déploiements et des connexions pour la source et la cible.

1. Créez un déploiement pour la base de données PostgreSQL source.

2. Créez un déploiement pour l'instance de traitement des transactions Autonomous AI cible.

3. Créez une connexion à la base de données PostgreSQL source.

   1. Pour Type, assurez-vous de sélectionner YugabyteDB.

   2. Dans Nom de base de données, entrez le nom YugabyteDB.

   3. Pour Hôte, entrez l'adresse IP publique de l'instance Compute sur laquelle YugabyteDB s'exécute.

   4. Dans Port, saisissez 5433.

   5. Dans Nom utilisateur, entrez ggadmin.

   6. Pour Mot de passe, entrez un mot du passe.

   7. Pour Protocole de sécurité, sélectionnez Plain.

4. Créez une connexion pour l'instance Autonomous AI Transaction Processing cible.

5. Créez une connexion à GoldenGate, puis affectez cette connexion au déploiement PostgreSQL source.

6. Affectez la connexion source au déploiement PostgreSQL source.

7. Affectez la connexion cible au déploiement Oracle cible.

Tâche 2 : activer la journalisation supplémentaire

Pour activer la journalisation supplémentaire, procédez comme suit :

1. Lancez la console de déploiement PostgreSQL GoldenGate :

   1. Sur la page Déploiements, sélectionnez le déploiement PostgreSQL pour en visualiser les détails.

   2. Sur la page de détails de déploiement PostgreSQL, sélectionnez Lancement de la console.

   3. Dans la page de connexion à la console de déploiement, entrez les informations d'identification d'administration GoldenGate fournies à l'étape 1 de la tâche 1.

      Remarque : la connexion est requise si IAM n'a pas été sélectionné en tant que banque d'informations d'identification lors de la création d'un déploiement.

2. Dans la console de déploiement, sélectionnez Connexions de base de données dans la navigation de gauche, puis la base de données PostgreSQL source et Trandata.

3. Sur la page TRANDATA, en regard des informations TRANDATA, sélectionnez Ajouter TRANDATA (icône Plus).

4. Dans le panneau Trandata, dans Nom du schéma, entrez src_ociggll, puis sélectionnez Soumettre.

   Remarque : utilisez le champ de recherche pour rechercher src_ociggll et vérifier que les tables ont été ajoutées.

Tâche 3 : créer les extractions

1. Ajoutez l'extraction de capture de données de modification :

   1. Dans la navigation de gauche, sélectionnez Extractions,

   2. Sur la page Extractions, sélectionnez Ajouter une extraction (icône Plus), puis renseignez les champs comme suit :

      • Dans la page Extract Information :

        1. Pour Type d'extraction, sélectionnez Extraction de capture de données de modification.

        2. Dans Nom de processus, entrez un nom pour l'extraction, par exemple ECDC.

        3. Sélectionnez Suivant.

      • Dans la page Extract Options :

        1. Pour les informations d'identification source, sélectionnez Oracle GoldenGate dans la liste déroulante Domaine.

        2. Sélectionnez la base de données PostgreSQL source dans la liste déroulante Alias.

        3. Dans Nom de trace d'extraction, saisissez un nom de trace à deux caractères, tel que C1.

        4. Sélectionnez Suivant.

      • Sur la page Paramètres d'extraction, remplacez MAP *.*, TARGET *.*; par l'élément suivant :

        TABLE SRC_OCIGGLL.*;

   3. Sélectionnez Créer et exécuter.

2. Ajoutez l'extraction de chargement initial :

   1. Sur la page Extractions, sélectionnez Ajouter une extraction, puis remplissez le formulaire Ajouter une extraction comme suit :

      • Dans la page Extract Information :

        1. Pour le type d'extraction, sélectionnez Extraction de chargement initial.

        2. Dans Nom de processus, entrez un nom, tel que EIL.

        3. Sélectionnez Suivant.

      • Dans la page Extract Options :

        1. Pour les informations d'identification source, sélectionnez Oracle GoldenGate dans la liste déroulante Domaine.

        2. Sélectionnez la base de données PostgreSQL dans la liste déroulante Alias.

        3. Dans Nom de piste d'extraction, saisissez un nom de piste à deux caractères, tel que I1.

        4. Sélectionnez Suivant.

      • Dans la page Extract Parameters, remplacez le contenu de la zone de texte par ce qui suit :

        EXTRACT EIL
        USERIDALIAS PostgreSQL_Compute, DOMAIN OracleGoldenGate
        EXTFILE I1, PURGE
        TABLE src_ociggll.*;

        Remarque : avant de passer à l'étape suivante, veillez à enlever le paramètre SOURCEDB devant USERIDALIAS.

   2. Sélectionnez Créer et exécuter.

Vous revenez à la page Extractions, où vous pouvez voir le début de l'extraction.

Tâche 4 : créer le chemin de distribution pour l'extraction du chargement initial

1. Sur la page de détails du déploiement, sélectionnez Lancer la console, puis connectez-vous en tant qu'administrateur.

2. Si vous utilisez la banque d'informations d'identification IAM, passez à l'étape Créer un chemin de distribution. Si vous utilisez la banque d'informations d'identification GoldenGate, créez un utilisateur avec lequel GoldenGate source se connecte à GoldenGate cible.

   1. Dans le menu de navigation, sélectionnez Administration des utilisateurs.

   2. Sélectionnez Ajouter un nouvel utilisateur (icône Plus), renseignez les champs comme suit, puis sélectionnez Soumettre :

      • Dans Nom utilisateur, entrez ggsnet.

      • Dans Rôle, sélectionnez Opérateur.

      • Indiquez le mot de passe à deux reprises pour vérification.

3. Dans la console de déploiement PostgreSQL source, créez une connexion de chemin pour l'utilisateur créé à l'étape précédente.

   1. Dans le menu de navigation, sélectionnez Connexions de chemin.

   2. Sélectionnez Ajouter une connexion de chemin (icône Plus), renseignez les champs comme suit, puis sélectionnez Soumettre :

      • Dans Alias d'informations d'identification, entrez dpuser.

      • Dans ID utilisateur, entrez ggsnet.

      • Dans Mot de passe, entrez le mot de passe utilisé à l'étape précédente.

4. Créer un chemin de distribution.

   1. Dans la barre de menus du service, sélectionnez Chemins, puis Ajouter un chemin de distribution (icône Plus).

   2. Remplissez le formulaire Ajouter un chemin comme suit :

      • Dans la page Path Information :

        1. Dans Nom du chemin, saisissez un nom pour ce chemin.

        2. Sélectionnez Suivant.

      • Dans la page Source Options :

        1. Pour Extraction source, laissez ce champ vide.

        2. Dans Nom de piste, saisissez le nom du suivi de l'extraction de chargement initial (I1).

        3. Sélectionnez Suivant.

      • Dans la page Target Options :

        1. Dans Cible, sélectionnez WSS.

        2. Dans Hôte cible, entrez l'URL du déploiement cible, sans https :// ni barre oblique de fin.

        3. Dans Numéro de port, saisissez 443.

        4. Dans Nom de la trace, entrez I1.

        5. Dans Méthode d'authentification cible, sélectionnez Alias d'ID utilisateur.

        6. Dans Domaine, entrez le nom de domaine créé à l'étape précédente.

        7. Dans Alias, entrez l'alias créé à l'étape précédente (dpuser).

        8. Sélectionnez Suivant.

   3. Sélectionnez Créer et exécuter.

   Vous revenez à la page Distribution Service où vous pouvez consulter le chemin créé.

5. Dans la console de déploiement cible cible, vérifiez le chemin de destinataire créé consécutifment au chemin de distribution :

   1. Sélectionnez Chemins.

   2. Consultez les détails du parcours.

Tâche 5 : ajouter une réplication pour le chargement initial

1. Dans le déploiement Oracle cible, ajoutez une table de points de reprise.

   1. Dans le menu de navigation, sélectionnez Connexions de base de données.

   2. Sélectionnez l'instance de base de données Autonomous AI cible, puis les points de reprise.

   3. Sur la page Points de reprise, sélectionnez Ajouter un point de reprise (icône Plus).

   4. Dans le panneau Point de reprise, pour Table de schéma, entrez SRCMIRROR_OCIGGLL.CHECKTABLE.

   5. Sélectionnez Soumettre.

2. Ajoutez la réplication.

   1. Dans le menu de navigation, sélectionnez Replicats.

   2. Sur la page Répliques, sélectionnez Ajouter une réplication (icône Plus), puis renseignez les champs Ajouter une réplication comme suit :

      • Dans la page Replicat Information :

        1. Pour Type de réplication, sélectionnez Réplication non intégrée.

        2. Dans Nom de processus, entrez un nom, tel que RIL.

        3. Sélectionnez Suivant.

      • Dans la page Replicat Options :

        1. Dans Nom de traçabilité Replicat, saisissez le nom de l'arborescence de traçabilité à partir de l'étape 2 (I1).

        2. Pour Informations d'identification cible, sélectionnez le domaine et l'alias pour la connexion à la base de données Autonomous AI.

        3. Dans Table de point de reprise, sélectionnez la table du point de reprise créée à l'étape 1.

        4. Sélectionnez Suivant.

      • Dans la page Parameter File, remplacez MAP *.*, TARGET *.*; par ce qui suit :

        MAP SRC_OCIGGLL.*, TARGET SRCMIRROR_OCIGGLL.*;

   3. Sélectionnez Créer et exécuter.

      Vous revenez à la page Replicats, dans laquelle vous pouvez consulter les détails de la réplication.

3. Sélectionnez la réplication (RIL) et affichez les détails correspondants.

4. Sélectionnez Statistiques et vérifiez le nombre d'insertions. Actualisez la page.

   • Si le nombre d'insertions ne change pas, tous les enregistrements du chargement initial ont été chargés et vous pouvez arrêter la réplication (RIL).

   • Si le nombre d'insertions continue d'augmenter, actualisez la page jusqu'à ce que tous les enregistrements du chargement initial soient chargés avant de continuer.

5. Vérification du chargement initial.

   1. Sur la page de détails de la base de données Autonomous AI, sur la console Oracle Cloud, sélectionnez Database actions, puis SQL.

   2. Dans l'outil SQL, entrez chacune des instructions suivantes dans la feuille, puis sélectionnez Exécuter l'instruction :

      SELECT * FROM SRCMIRROR_OCIGGLL.SRC_CITY;
      SELECT * FROM SRCMIRROR_OCIGGLL.SRC_CUSTOMER;

   La sortie doit renvoyer les données chargées dans les tables de base de données cible suite au chargement initial.

Tâche 6 : créer un chemin de distribution pour la capture des données de modification

1. Dans la console de déploiement PostgreSQL source, sélectionnez Service de distribution.

2. Sélectionnez Ajouter un chemin de distribution.

3. Remplissez le formulaire Ajouter un chemin comme suit :

   1. Dans la page Path Information :

      1. Dans Nom de chemin, entrez un nom.

      2. Sélectionnez Suivant.

   2. Dans la page Source Options :

      1. Pour Extraction source, sélectionnez l'extraction de capture des données de modification (ECDC).

      2. Dans Nom de la trace, sélectionnez le fichier trace de capture de données de modification (C1).

      3. Sélectionnez Suivant.

   3. Dans la page Target Options :

      1. Dans Cible, sélectionnez WSS.

      2. Pour Hôte cible, entrez l'URL de la console de déploiement cible (vous pouvez la trouver sur la page de détails du déploiement, sans https :// ni barre oblique de fin).

      3. Dans Numéro de port, saisissez 443.

      4. Dans Nom de la trace, entrez C1.

      5. Dans Méthode d'authentification cible, sélectionnez Alias d'ID utilisateur.

      6. Dans Domaine, saisissez le nom de domaine.

      7. Saisissez l'alias dans Alias.

   4. Sélectionnez Créer un chemin et exécuter.

Tâche 7 : ajouter une réplication pour la capture des données de modification

1. Dans la console de déploiement Oracle cible, ajoutez une réplication.

   1. Dans le menu de navigation Administration Service, sélectionnez Replicats.

   2. Dans la page Replicats, sélectionnez Add Replicat (icône Plus), puis complétez le formulaire Add Replicat comme suit :

      • Dans la page Replicat Information :

        1. Pour Type de réplication, sélectionnez Réplication non intégrée.

        2. Dans Nom de processus, entrez un nom, tel que RCDC.

        3. Sélectionnez Suivant.

      • Dans la page Replicat Options :

        1. Dans Nom de traces Replicat, saisissez le nom de l'arborescence de traces de l'étape 3 (C1).

        2. Pour Informations d'identification cible, sélectionnez le domaine et l'alias pour la connexion à la base de données Autonomous AI.

        3. Pour Table de point de reprise, sélectionnez la table de point de reprise.

      • Dans la page Paramètres de réplication, remplacez MAP *.*, TARGET *.*; par le mapping suivant :

        MAP SRC_OCIGGLL.*, TARGET SRCMIRROR_OCIGGLL.*;

   3. Choisissez Créer. N'exécutez pas la réplication.

2. Sur la page Réplications, sélectionnez la réplication pour la charge initiale (RIL) et consultez ses détails.

3. Sélectionnez Statistiques et vérifiez le nombre d'insertions. Actualisez la page.

   • Si le nombre d'insertions ne change pas, tous les enregistrements du chargement initial ont été chargés et vous pouvez arrêter la réplication (RIL).

   • Si le nombre d'insertions continue d'augmenter, actualisez la page jusqu'à ce qu'à ce que tous les enregistrements de chargement initiale soient chargés avant d'aller de l'avant.

   Remarque : si vous ne voyez aucune insertion, sélectionnez Service de mesures de performances, Extraire, puis Statistiques de base de données.

4. Revenez à la page Réplicats, puis lancez la réplication pour l'enregistrement des données de modification (RCDC).

5. Après avoir démarré la réplication pour l'enregistrement des données de modification, consultez ses détails et sesstatistiques afin de visualiser le nombre d'insertions.

6. Vérifiez la réplication :

   1. Exécutez le script suivant pour effectuer des insertions dans la base de données PostgreSQL :

      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);

   2. Dans la console de déploiement PostgreSQL source, sélectionnez l'extraction de capture de données de modification (ECDC), puis sélectionnez Statistiques. Vérifiez que src_ociggll.src_city comporte 10 insertions.

      Remarque : si l'extraction n'a capturé aucune insertion, redémarrez l'extraction ECDC.

   3. Dans la console de déploiement Oracle cible, sélectionnez le nom de réplication (RCDC), affichez ses détails, puis cochez la case Statistiques. Vérifiez que SRCMIRROR_OCIGGLL.SRC_CITY comporte 10 insertions.

Tâche 8 : surveiller les processus et en assurer la maintenance

1. Surveillez le processus de réplication.

2. Gestion des fichiers de trace.