Répliquer les données de YugabyteDB vers le traitement des transactions d'IA autonome

Découvrez comment répliquer des données d'une source YugabyteDB vers une cible de traitement des transactions d'IA autonome à l'aide d'OCI GoldenGate.

Avant de commencer

Pour terminer ce démarrage rapide, assurez-vous de disposer des éléments suivants :

Configuration de YugabyteDB

Pour configurer votre instance YugabyteDB, procédez comme suit :
  1. Si vous utilisez Oracle Cloud Compute pour héberger YugabyteDB, ouvrez le port 5433 :
    sudo firewall-cmd --permanent --add-port=5432/tcp
    sudo firewall-cmd --reload 
    sudo firewall-cmd --list-all 
  2. Ouvrez le port 5433 dans la liste de sécurité de votre VCN.
  3. Connectez-vous à YugabyteDB.
  4. Réinitialisez les données échantillon.
  5. Exécutez les commandes suivantes pour configurer l'utilisateur. Veillez à remplacer l'espace réservé <password> par un mot de passe réel.
    create user ggadmin with password '<password>'; 
    alter user ggadmin with SUPERUSER; 
    GRANT ALL PRIVILEGES ON DATABASE ociggll TO ggadmin; 

Configuration de l'environnement : Autonomous AI Transaction Processing (ATP)

  1. Téléchargez et décompressez le schéma échantillon de base de données.
  2. Déverrouillez l'utilisateur GGADMIN.
    1. Dans la console Oracle Cloud, sélectionnez votre instance ATP dans la page des bases de donnée autonomes AI pour en visualiser les détails et accéder à Database Actions.
    2. Cliquez sur Database Actions, puis sur Utilisateurs de base de données.
    3. Localisez GGADMIN, puis cliquez sur le menu représentant des Points de suspension (trois points) et sélectionnez Modifier.
    4. Dans le panneau Modifier l'utilisateur, entrez le mot du passe GGADMIN, confirmez le mot du passe, puis désélectionnez Compte verrouillé.
    5. Cliquez sur Appliquer les modifications.
  3. Chargez l'exemple de schéma et de données cible.
    1. Dans le menu Database Actions, sélectionnez SQL.
    2. Copiez le script d'OCIGGLL_OCIGGS_SETUP_USERS_ADW.sql et collez-la dans la feuille du calcul SQL.
    3. Cliquez sur Run Script (Exécuter un script). L'onglet Sortie de script affiche des messages de confirmation.
    4. Effacez la feuille SQL, puis copiez et collez le code SQL à partir du script OCIGGLL_OCIGGS_SRC_MIRROR_USER_SEED_DATA.sql.
    5. Pour vérifier que les tables ont bien été créées, fermez la fenêtre SQL et rouvrez-la. Dans l'onglet Navigateur, recherchez le schéma SRC_OCIGGLL, puis sélectionnez des tables dans les listes déroulantes correspondantes.

Tâche 1 : créer les ressources OCI GoldenGate

Cet exemple de démarrage rapide nécessite des déploiements et des connexions pour la source et la cible.
  1. Créez un déploiement pour la base de données PostgreSQL source.
  2. Créez un déploiement pour l'instance Autonomous AI Transaction Processing cible.
  3. Créez une connexion à la base de données PostgreSQL source.
    1. Dans Type, assurez-vous de sélectionner YugabyteDB.
    2. Dans Nom de base de données, entrez le nom de base de données YugabyteDB.
    3. Dans Hôte, entrez l'adresse IP publique de l'instance Compute sur laquelle YugabyteDB est exécuté.
    4. Dans Port, entrez 5433.
    5. Dans Nom utilisateur, entrez ggadmin.
    6. Dans Mot de passe, entrez un motde passe.
    7. Dans Protocole de sécurité, sélectionnez Plain.
  4. Créez une connexion pour l'instance Autonomous AI Transaction Processing cible.
  5. Créez une connexion à GoldenGate, puis affectez cette connexion au déploiement PostgreSQL source.
  6. Affectez la connexion source au déploiement PostgreSQL source.
  7. Affectez la connexion cible au déploiement Oracle cible.

Tâche 2 : activer la journalisation supplémentaire

Pour activer la journalisation supplémentaire, procédez comme suit :
  1. Lancez la console de déploiement PostgreSQL GoldenGate :
    1. Sur la page Déploiements, sélectionnez le déploiement PostgreSQL pour en visualiser les détails.
    2. Sur la page de détails de déploiement PostgreSQL, cliquez sur Lancer de la console.
    3. Sur la page d'identification de la console de déploiement, entrez les informations d'identification d'administration GoldenGate fournies lors de la création du déploiement.

      Remarques :

      La connexion est requise si IAM n'a pas été sélectionné en tant que banque d'informations d'identification lors de la création d'un déploiement.
  2. Dans GoldenGate 26ai, cliquez sur Connexions de base de données dans la navigation de gauche, puis sur la base de données YugabyteDB source, puis sur Trandata.
  3. Sur la page TRANDATA, cliquez sur Ajouter TRANDATA (icône Plus) en regard de Informations TRANDATA.
  4. Dans le panneau Trandata, dans Nom du schéma, entrez src_ociggll.*, puis cliquez sur Soumettre.

    Remarques :

    Utilisez le champ de recherche pour rechercher src_ociggll et vérifier que les tables ont été ajoutées.

Tâche 3 : créer les extractions

  1. Ajoutez la valeur Change Data Capture Extract :
    1. Dans la navigation de gauche, cliquez sur Extractions,
    2. Sur la page Extractions, cliquez sur Ajouter une extraction (icône Plus), puis renseignez les champs comme suit :
      • Dans la page Extract Information :
        1. Pour le type Extraire, sélectionnez Extraire la capture des données de modification.
        2. Dans Nom de processus, entrez un nom pour l'extraction, par exemple ECDC.
        3. Cliquez sur Suivant.
      • Sur la page Options d'extraction :
        1. Pour les informations d'identification source, sélectionnez Oracle GoldenGate dans la liste déroulante Domaine.
        2. Sélectionnez la base de données PostgreSQL source dans la liste déroulante Alias.
        3. Dans Nom de trace d'extraction, saisissez un nom de trace à deux caractères, tel que C1.
        4. Cliquez sur Suivant.
      • Sur la page Paramètres, remplacez MAP *.*, TARGET *.*; par l'élément suivant : Extraire
        TABLE SRC_OCIGGLL.*;
    3. Cliquez sur Créer et exécuter.
  2. Ajouter le chargement initial Extraire :
    1. Sur la page Extractions, cliquez sur Ajouter une extraction, puis complétez le formulaire Ajouter une extraction comme suit :
      • Sur la page d'informations Extraire :
        1. Pour le type Extraire, sélectionnez Chargement initial Extraire.
        2. Dans Nom de processus, entrez un nom, tel que EIL.
        3. Cliquez sur Suivant.
      • Sur la page Options d'extraction :
        1. Pour les informations d'identification source, sélectionnez Oracle GoldenGate dans la liste déroulante Domaine.
        2. Sélectionnez YugabyteDB dans la liste déroulante Alias.
        3. Dans Nom de piste d'extraction, saisissez un nom de piste à deux caractères, tel que I1.
        4. Cliquez sur Suivant.
      • Sur la page Paramètres d'extraction, remplacez le contenu de la zone de texte par les éléments suivants :
        EXTRACT EIL
        USERIDALIAS YugabyteDB_Compute, DOMAIN OracleGoldenGate
        EXTFILE I1, PURGE
        TABLE src_ociggll.*;

        Remarques :

        Veillez à enlever le paramètre SOURCEDB devant USERIDALIAS avant de passer à l'étape suivante.
    2. Cliquez sur Créer et exécuter.
Vous revenez à la page Extractions, où vous pouvez voir le début de l'extraction.

Tâche 4 : créer le chemin Distribution Path pour l'extraction Initial Load

  1. Sur la page Déploiements, sélectionnez le déploiement Oracle cible.
  2. Sur la page de détails du déploiement, cliquez sur Lancer la console, puis connectez-vous en tant qu'administrateur.
  3. Si vous utilisez la banque d'informations d'identification IAM, passez à l'étape Créer une adresse Distribution Path. Si vous utilisez la banque d'informations d'identification GoldenGate, créez un utilisateur avec lequel GoldenGate source se connecte à GoldenGate cible.
    1. Dans le menu de navigation, cliquez sur Administration des utilisateurs.
    2. Cliquez sur Ajouter un nouvel utilisateur (icône Plus), renseignez les champs comme suit, puis cliquez sur Soumettre :
      • Dans Nom utilisateur, entrez ggsnet.
      • Dans Rôle, sélectionnez Opérateur.
      • Indiquez le mot de passe à deux reprises pour vérification.
  4. Dans la console de déploiement PostgreSQL source, créez une connexion de chemin pour l'utilisateur créé à l'étape précédente.
    1. Dans le menu de navigation, cliquez sur Connexions de chemin.
    2. Cliquez sur Ajouter une connexion de chemin (icône Plus), renseignez les champs comme suit, puis cliquez sur Soumettre :
      • Dans Alias d'informations d'identification, entrez dpuser.
      • Dans ID utilisateur, entrez ggsnet.
      • Dans Mot de passe, entrez le mot de passe utilisé à l'étape précédente.
  5. Créez un élément Distribution Path.
    1. Dans la barre de menus du service, cliquez sur Distribution Service, puis sur Ajouter Distribution Path (icône Plus).
    2. Remplissez le formulaire Ajouter un chemin comme suit :
      • Dans la page Path Information :
        1. Dans Nom du chemin, saisissez un nom pour ce chemin.
        2. Cliquez sur Suivant.
      • Dans la page Source Options :
        1. Pour Source Extract, laissez ce champ vide.
        2. Dans Nom de la trace, saisissez le nom Initial Load Extract de la trace (I1).
        3. Cliquez sur Suivant.
      • Dans la page Target Options :
        1. Pour Target Protocol, sélectionnez wss.
        2. Dans Hôte cible, entrez l'URL du déploiement cible, sans https :// ni barre oblique de fin.
        3. Dans Numéro de port, saisissez 443.
        4. Dans Nom de la trace, entrez I1.
        5. Pour Méthode d'authentification cible, sélectionnez OAuth.

          Remarques :

          Sélectionnez Alias d'ID utilisateur si GoldenGate a été sélectionné comme banque d'informations d'identification lors de la création d'un déploiement. Sinon, sélectionnez OAuth.
        6. Dans Domaine, entrez le nom de domaine créé à l'étape précédente.
        7. Dans Alias, entrez l'alias créé à l'étape précédente (dpuser).
        8. Cliquez sur Suivant.
    3. Cliquez sur Créer et exécuter.
    Vous revenez à la page Distribution Service où vous pouvez consulter le chemin créé.
  6. Dans la console de déploiement Oracle cible cible, vérifiez le chemin de destinataire créé consécutivements à la Création du chemin de distribution :
    1. Cliquez sur Receiver Service.
    2. Consultez les détails de Distribution Path.

Tâche 5 : ajouter une valeur Replicat pour Initial Load

  1. Dans le déploiement Oracle cible, ajoutez une table Checkpoint.
    1. Dans le menu de navigation, cliquez sur Connexions de base de données.
    2. Sélectionnez l'instance de base de données AI autonome cible, puis Checkpoints.
    3. Sur la page Checkpoints, cliquez sur Ajouter un point de reprise (icône Plus).
    4. Dans le panneau Checkpoint, pour Table de schéma, entrez SRCMIRROR_OCIGGLL.CHECKTABLE.
    5. Cliquez sur Soumettre.
  2. Ajoutez le fichier Replicat.
    1. Dans le menu de recherche, cliquez sur Replicats.
    2. Sur la page Replicats, cliquez sur Ajouter Replicat (icône Plus), puis renseignez les champs Ajouter Replicat comme suit :
      • Dans la page Replicat Information :
        1. Pour type Replicat, sélectionnez Nonintegrated Replicat.
        2. Dans Nom de processus, entrez un nom, tel que RIL.
        3. Cliquez sur Suivant.
      • Dans la page Options Replicat :
        1. Dans Replicat Trail Name, saisissez le nom de l'arborescence de traces de l'étape 2 (I1).
        2. Pour Informations d'identification cible, sélectionnez le domaine et l'alias pour la connexion à la base de données AI autonome.
        3. Dans Table de point de reprise, sélectionnez la table du point de reprise créée à l'étape 1.
        4. Cliquez sur Suivant.
      • Dans la page Parameter File, remplacez MAP *.*, TARGET *.*; par ce qui suit :
        MAP SRC_OCIGGLL.*, TARGET SRCMIRROR_OCIGGLL.*;
    3. Cliquez sur Créer et exécuter.
      Vous revenez à la page Replicats, où vous pouvez consulter les détails de Replicat.
  3. Sélectionnez Replicat (RIL) et affichez les détails correspondants.
  4. Cliquez sur Statistiques et vérifiez le nombre d'insertions. Actualisez la page.
    • Si le nombre d'insertions ne change pas, tous les enregistrements du chargement Initial Load ont été chargés et vous pouvez arrêter le chargement Replicat (RIL).
    • Si le nombre d'insertions continue d'augmenter, actualisez la page jusqu'à ce qu'à ce que tous les enregistrements Initial Load soient chargés avant la poursuite.
  5. Vérifiez le fichier Initial Load.
    1. Dans la console Oracle Cloud, sur la page de détails de la base de données AI autonome, cliquez sur Database actions (Actions de base de données), puis sur SQL.
    2. Dans l'outil SQL, entrez chacune des instructions suivantes dans la feuille d'exécution et cliquez sur Exécuter l'instruction :
      SELECT * FROM SRCMIRROR_OCIGGLL.SRC_CITY;
      SELECT * FROM SRCMIRROR_OCIGGLL.SRC_CUSTOMER;
    La sortie doit renvoyer les données chargées dans les tables de base de données cible suite au chargement Initial Load.

Tâche 6 : créer un élément Distribution Path pour Change Data Capture Extract

  1. Dans la console source de déploiement PostgreSQL, cliquez sur Distribution Service.
  2. Cliquez sur Ajouter Distribution Path.
  3. Remplissez le formulaire Ajouter un chemin comme suit :
    1. Dans la page Path Information :
      1. Dans Nom de chemin, entrez un nom.
      2. Cliquez sur Suivant.
    2. Dans la page Source Options :
      1. Pour Source Extract, sélectionnez Change Data Capture Extract (ECDC)).
      2. Dans Nom de la trace, sélectionnez le fichier Change Data Capture trace (C1).
      3. Cliquez sur Suivant.
    3. Dans la page Target Options :
      1. Dans Cible, sélectionnez WSS.
      2. Pour Hôte cible, entrez l'URL de la console de déploiement cible (vous pouvez la trouver sur la page de détails du déploiement, sans les barres obliques https :// ou de fin).
      3. Dans Numéro de port, saisissez 443.
      4. Dans Nom de la trace, entrez C1.
      5. Pour Méthode d'authentification cible, sélectionnez OAuth.

        Remarques :

        Sélectionnez Alias d'ID utilisateur si GoldenGate a été sélectionné comme banque d'informations d'identification lors de la création d'un déploiement. Sinon, sélectionnez OAuth.
      6. Dans Domaine, saisissez le nom de domaine.
      7. Saisissez l'alias dans Alias.
    4. Cliquez sur Créer un chemin et exécuter.
  4. Dans la console du déploiement Oracle cible, cliquez sur Service de destinataire, puis vérifiez le chemin de destinataire créé.

Tâche 7 : ajouter une valeur Replicat pour Change Data Capture

  1. Dans la console de déploiement Oracle cible, ajoutez une valeur Replicat.
    1. Dans le menu de navigation Service d'administration, cliquez sur Replicats.
    2. Sur la page Replicats, cliquez sur Ajouter Replicat (icône Plus), puis complétez le formulaire Ajouter Replicat comme suit :
      • Dans la page Replicat Information :
        1. Pour type Replicat, sélectionnez Nonintegrated Replicat.
        2. Dans Nom de processus, entrez un nom, tel que RCDC.
        3. Cliquez sur Suivant.
      • Dans la page Options Replicat :
        1. Dans Replicat Trail Name, saisissez le nom de l'élément Trail à partir de l'étape 3 (C1).
        2. Pour Informations d'identification cible, sélectionnez le domaine et l'alias pour la connexion à la base de données AI autonome.
        3. Pour Table de point de reprise, sélectionnez la table de point de reprise.
      • Dans la page Paramètres Replicat, remplacez MAP *.*, TARGET *.*; par le mapping suivant :
        MAP SRC_OCIGGLL.*, TARGET SRCMIRROR_OCIGGLL.*;
    3. Cliquez sur Créer. N'exécutez pas le fichier Replicat.
  2. Sur la page Replicats, sélectionnez la valeur Replicat pour Initial Load (RIL) et consultez ses détails.
  3. Cliquez sur Statistiques et vérifiez le nombre d'insertions. Actualisez la page.
    • Si le nombre d'insertions ne change pas, tous les enregistrements du chargement Initial Load ont été chargés et vous pouvez arrêter le chargement Replicat (RIL).
    • Si le nombre d'insertions continue d'augmenter, actualisez la page jusqu'à ce qu'à ce que tous les enregistrements du chargement Initial Load soient chargés avant la poursuite.

    Remarques :

    Si vous ne voyez aucune insertion, cliquez sur Service de mesures de performances, sélectionnez Extraire, puis cliquez sur Statistiques de base de données.
  4. Revenez à la page Replicats, puis démarrez le fichier Replicat pour Change Data Capture (RCDC).
  5. Après avoir démarré le fichier Replicat pour Change Data Capture, consultez ses détails et sesstatistiques afin de visualiser le nombre d'insertions.
  6. Vérifiez la réplication :
    1. Exécutez le script suivant pour effectuer des insertions dans la base de données PostgreSQL :
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
    2. Dans la console de déploiement PostgreSQL source, sélectionnez Change Data Capture Extract (ECDC), puis cliquez sur Statistiques. Vérifiez que src_ociggll.src_city comporte 10 insertions.

      Remarques :

      Si Extract n'a capturé aucune insertion, redémarrez l'extraction ECDC Extract.
    3. Dans la console de déploiement Oracle cible, sélectionnez le nom Replicat (RCDC), affichez ses détails, puis cochez Statistiques. Vérifiez que SRCMIRROR_OCIGGLL.SRC_CITY comporte 10 insertions.

Tâche 8 : surveiller les processus et en assurer la maintenance

  1. Surveillez les performances.
  2. Gérez les fichiers de trace.