Réplication de données de PostgreSQL vers MySQL

Pour mener à bien ce démarrage rapide, vous devez disposer des éléments suivants :

• Installation PostgreSQL pour servir de base de données source (instructions d'installation à suivre dans la configuration de l'environnement).
• Ouvrez le port 5432 dans la liste de sécurité de votre VCN pour pouvoir accéder à PostgreSQL sur son port par défaut.
• HeatWave sur la base de données OCI servant de base de données cible.

1. Exécutez les commandes suivantes pour installer PostgreSQL.
   1. Installez le serveur PostgreSQL :

      sudo yum install postgresql-server

   2. Installez le module postgresql-contrib pour éviter cette exception SQL :

      sudo yum install postgresql-contrib

   3. Créez un cluster de base de données PostgreSQL :

      sudo postgresql-setup --initdb

   4. Activez postgresql.service :

      sudo systemctl enable postgresql.service

   5. Démarrez postgresql.service :

      sudo systemctl start postgresql.service

2. Par défaut, PostgreSQL autorise uniquement les connexions locales. Autorisez la connectivité à distance à PostgreSQL.
   1. Dans /var/lib/pgsql/data/postgresql.conf, préparez la base de données pour la réplication.
   2. Localisez et annulez le commentaire de listen_addresses = 'localhost', puis remplacez localhost par un astérisque (*) :

      listen_addresses = '*'

   3. Définissez les paramètres suivants :
      • wal_level = logical
      • max_replication_slots = 1
      • max_wal_senders = 1
      • track_commit_timestamp = on

      Remarque
      
      Configurez /var/lib/pgsql/data/pg_hba.conf pour vous assurer que l'authentification client est définie de manière à autoriser les connexions à partir d'un hôte Oracle GoldenGate. Par exemple, ajoutez ce qui suit :

      #Allow connections from remote hosts
      host    all    all    0.0.0.0/0    md5

      Pour plus d'informations, reportez-vous à Fichier pg_hba.conf.
   4. Redémarrez le serveur PostgreSQL :

      sudo systemctl restart postgresql.service

3. Si vous utilisez Oracle Cloud Compute pour héberger PostgreSQL, ouvrez le port 5432 :

   sudo firewall-cmd --permanent --add-port=5432/tcp
   sudo firewall-cmd --reload
   sudo firewall-cmd --list-all

4. Ouvrez le port 5432 dans la liste de sécurité de votre VCN.
5. Connectez-vous à PostgreSQL.

   > sudo su - postgres
   > psql

   Remarque
   
   Vous pouvez également entrer sudo su - postgres psql si l'exemple ci-dessus ne fonctionne pas.
6. Configurez PostgreSQL.
   1. Téléchargez et exécutez seedSRCOCIGGLL_PostgreSQL.sql pour configurer la base de données et charger les données échantillon.
   2. Exécutez les commandes suivantes pour configurer l'utilisateur (assurez-vous de remplacer <password> par un mot de passe réel) :

      create user ggadmin with password '<password>';
      alter user ggadmin with SUPERUSER;
      GRANT ALL PRIVILEGES ON DATABASE ociggll TO ggadmin;

1. Ouvrez le port 3306, via lequel OCI GoldenGate peut se connecter.
   1. Dans la console Oracle Cloud, localisez le sous-réseau que HeatWave sur la base de données OCI utilise.
   2. Dans la liste de sécurité du sous-réseau, créez une règle entrante pour le port TCP/3306.
2. Créez un utilisateur ggadmin à l'aide du script suivant. N'oubliez pas de remplacer <ggadmin-password> par un mot de passe valide :

   CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
   GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';

3. Créez des tables cible à l'aide d'exemple de schéma.

1. Créez un déploiement pour la base de données PostgreSQL source.
2. Créez un déploiement MySQL pour la cible HeatWave sur OCI Database.
3. Créer une connexion PostgreSQL.
   1. Dans Type, sélectionnez PostgreSQL Server dans la liste déroulante.
   2. Dans Nom de base de données, entrez ociggll.
   3. Pour Hôte, entrez l'adresse IP publique de l'instance de calcul sur laquelle PostgreSQL s'exécute.
   4. Dans Port, saisissez 5432.
   5. Dans Nom utilisateur, saisissez ggadmin.
   6. Dans Mot de passe, entrez votre mot de passe.
   7. Dans Protocole de sécurité, sélectionnez Plain dans la liste déroulante.
4. Créez une connexion HeatWave sur OCI.
5. (Facultatif) Si votre instance HeatWave sur OCI Database n'a pas d'adresse publique, créez une connexion à GoldenGate, puis affectez cette connexion au déploiement PostgreSQL source.
6. Affectez la connexion source au déploiement PostgreSQL source.
7. Affectez la connexion cible au déploiement MySQL cible.

1. Lancez la console de déploiement PostgreSQL GoldenGate :
   1. Sur la page Déploiements, sélectionnez le déploiement PostgreSQL pour en visualiser les détails.
   2. Sur la page des détails du déploiement PostgreSQL, cliquez sur Lancer la console.
   3. Sur la page de connexion à la console de déploiement, entrez les informations d'identification d'administrateur GoldenGate fournies à l'étape 1 de la tâche 1.
      Remarque
      
      La connexion est requise si IAM n'a pas été sélectionné en tant que banque d'informations d'identification lors de la création d'un déploiement.
2. Dans GoldenGate 23ai, cliquez sur Connexions de base de données dans la navigation de gauche, puis sur la base de données PostgreSQL source et sur Trandata.
3. Sur la page TRANDATA, en regard de Informations sur TRANDATA, cliquez sur Ajouter TRANDATA (icône Plus).
4. Dans le panneau Trandata, dans Nom de schéma, entrez src_ociggll.*, puis cliquez sur Soumettre.
   Remarque
   
   Utilisez le champ de recherche pour rechercher src_ociggll et vérifier que les tables ont été ajoutées.

1. Ajoutez Change Data Capture Extract :
   1. Dans la navigation de gauche, cliquez sur Extractions,
   2. Sur la page Extractions, cliquez sur Ajouter une extraction (icône Plus), puis renseignez les champs comme suit :
      • Sur la page Informations extraction :
        1. Dans Type d'extraction, sélectionnez Extraction de capture de données de modification.
        2. Dans Nom de processus, entrez le nom de l'extraction, par exemple ECDC.
        3. Cliquez sur Suivant.
      • Sur la page Options d'extraction :
        1. Pour les informations d'identification source, sélectionnez Oracle GoldenGate dans la liste déroulante Domaine.
        2. Sélectionnez la base de données PostgreSQL source dans la liste déroulante Alias.
        3. Dans Nom de trace d'extraction, saisissez un nom de trace à deux caractères, tel que C1.
        4. Cliquez sur Suivant.
      • Sur la page Paramètres d'extraction, remplacez MAP *.*, TARGET *.*; par l'élément suivant :

        TABLE SRC_OCIGGLL.*;

   3. Cliquez sur Créer et exécuter.
2. Ajoutez l'extraction du chargement initial :
   1. Sur la page Extractions, cliquez sur Ajouter une extraction, puis remplissez le formulaire Ajouter une extraction comme suit :
      • Sur la page Informations extraction :
        1. Pour le type d'extraction, sélectionnez extraction du chargement initial.
        2. Dans Nom de processus, entrez un nom, tel que EIL.
        3. Cliquez sur Suivant.
      • Sur la page Options d'extraction :
        1. Pour les informations d'identification source, sélectionnez Oracle GoldenGate dans la liste déroulante Domaine.
        2. Sélectionnez la base de données PostgreSQL dans la liste déroulante Alias.
        3. Dans Nom de trace d'extraction, saisissez un nom de trace à deux caractères, tel que I1.
        4. Cliquez sur Suivant.
      • Dans la page Paramètres d'extraction, remplacez le contenu de la zone de texte par ce qui suit :

        EXTRACT EIL
        USERIDALIAS PostgreSQL_Compute, DOMAIN OracleGoldenGate
        EXTFILE I1, PURGE
        TABLE src_ociggll.*;

        Remarque
        
        Veillez à enlever le paramètre SOURCEDB devant USERIDALIAS avant de passer à autre chose.
   2. Cliquez sur Créer et exécuter.

1. Sur la page Déploiements de la console Oracle Cloud, sélectionnez le déploiement MySQL cible.
2. Sur la page de détails du déploiement, cliquez sur Lancer la console et connectez-vous à l'aide de l'administrateur détaillé créé à l'étape 2 de la tâche 1.
3. Si vous utilisez une banque d'informations d'identification IAM, passez à l'étape Créer une instance Distribution Path. Si vous utilisez la banque d'informations d'identification GoldenGate, créez un utilisateur avec lequel GoldenGate source utilise pour se connecter à GoldenGate cible.
   1. Dans le menu de navigation, cliquez sur Administration des utilisateurs.
   2. Cliquez sur Ajouter un nouvel utilisateur (icône Plus), renseignez les champs comme suit, puis cliquez sur Soumettre :
      • Dans Nom utilisateur, entrez ggsnet.
      • Dans Rôle, sélectionnez Opérateur.
      • Indiquez le mot de passe à deux reprises pour vérification.
4. Dans la console de déploiement PostgreSQL source, créez une connexion de chemin pour l'utilisateur créé à l'étape précédente.
   1. Dans le menu de navigation, cliquez sur Connexions de chemin.
   2. Cliquez sur Ajouter une connexion de chemin d'accès (icône plus), renseignez les champs comme suit, puis cliquez sur Soumettre :
      • Dans Alias d'informations d'identification, entrez dpuser.
      • Dans ID utilisateur, entrez ggsnet.
      • Dans Mot de passe, entrez le mot de passe utilisé à l'étape précédente.
5. Créez un fichier Distribution Path.
   1. Dans la barre de menus du service, cliquez sur Distribution Service, puis sur Ajouter Distribution Path (icône Plus).
   2. Renseignez le formulaire Ajouter un chemin comme suit :
      • Sur la page Informations sur le chemin :
        1. Dans Nom de chemin, saisissez le nom du chemin.
        2. Cliquez sur Suivant.
      • Sur la page Options source :
        1. Laissez le champ Source Extract vide.
        2. Dans Nom de trace, saisissez le nom de trace Initial Load Extract (I1).
        3. Cliquez sur Suivant.
      • Dans la page Target Options :
        1. Dans Cible, sélectionnez WSS.
        2. Dans Hôte cible, entrez l'URL de déploiement cible, sans https :// ni barres obliques de fin.
        3. Dans Numéro de port, saisissez 443.
        4. Dans Nom de trace, entrez I1.
        5. Dans Méthode d'authentification cible, sélectionnez Alias d'ID utilisateur.
        6. Dans Domaine, entrez le nom de domaine créé à l'étape précédente.
        7. Dans Alias, entrez l'alias créé à l'étape précédente (dpuser).
        8. Cliquez sur Suivant.
   3. Cliquez sur Créer et exécuter.
   Vous revenez à la page Distribution Service, où vous pouvez examiner le chemin créé.
6. Dans la console de déploiement MySQL cible, vérifiez le fichier Receiver path créé suite à la création de Distribution Path :
   1. Cliquez sur Receiver Service.
   2. Consultez les détails de Distribution Path.

1. Dans la console de déploiement cible MySQL, ajoutez une table Checkpoint.
   1. Dans le menu de navigation, sélectionnez Connexions de base de données, cible HeatWave sur la base de données OCI, puis Checkpoints.
   2. Cliquez sur Ajouter Checkpoint (icône Plus).
   3. Dans le panneau Checkpoint, dans Table de schéma, entrez SRCMIRROR_OCIGGLL.CHECKTABLE.
   4. Cliquez sur Soumettre.
2. Ajoutez Initial Load Replicat.
   1. Dans le menu de navigation, cliquez sur Replicats, puis sur Ajouter Replicat (icône Plus).
   2. Sur la page Replicats, renseignez les champs Ajouter Replicat comme suit :
      1. Sur la page d'informations Replicat :
         1. Pour Replicat, type, sélectionnez Parallèle ou Coordonné.
         2. Dans Nom de processus, entrez un nom, tel que RIL.
         3. Cliquez sur Suivant.
      2. Sur la page Options Replicat :
         1. Dans Nom de trace de réplication, saisissez le nom de la trace de la tâche 2 (I1).
         2. Pour Informations d'identification cible, sélectionnez le domaine et l'alias pour HeatWave sur la connexion à la base de données OCI.
         3. Dans Checkpoint, table, sélectionnez la table Checkpoint créée à l'étape 1.
         4. Cliquez sur Suivant.
      3. Dans la page Parameter File, ajoutez le mapping suivant :

         MAP src_ociggll.*, TARGET SRCMIRROR_OCIGGLL.*;

   3. Cliquez sur Créer et exécuter.

   Vous revenez à la page Replicats, sur laquelle vous pouvez consulter les détails Replicat.

3. Vérifiez le fichier Initial Load :
   1. Dans Cloud Shell, connectez-vous au VCN et au sous-réseau utilisés par votre instance HeatWave sur OCI.
   2. Une fois connecté, exécutez la commande suivante :

      mysqlsh <user>@<MySQL DB Private IP>:3306 --sql

   3. Exécutez le script suivant pour vérifier les données :

      select * from SRCMIRROR_OCIGGLL.SRC_CITY;
      select * from SRCMIRROR_OCIGGLL.SRC_CUSTOMER;

      La sortie doit renvoyer les données chargées dans les tables de base de données cible suite à Initial Load.

1. Dans la console de déploiement source PostgreSQL, cliquez sur Service de distribution.
2. Cliquez sur Ajouter Distribution Path.
3. Renseignez le formulaire Ajouter un chemin comme suit :
   1. Sur la page Informations sur le chemin :
      1. Dans Nom de chemin, entrez un nom.
      2. Cliquez sur Suivant.
   2. Sur la page Options source :
      1. Pour Source Extract, sélectionnez Integrated Extract (ECDC)).
      2. Dans Nom de trace, sélectionnez le fichier de trace Integrated Extract (C1).
      3. Cliquez sur Suivant.
   3. Dans la page Target Options :
      1. Dans Cible, sélectionnez WSS.
      2. Dans Hôte cible, entrez l'URL de la console de déploiement cible (vous pouvez le trouver sur la page de détails du déploiement, sans https :// ni barres verticales de fin).
      3. Dans Numéro de port, saisissez 443.
      4. Dans Nom de trace, entrez C1.
      5. Dans Méthode d'authentification cible, sélectionnez Alias d'ID utilisateur.
      6. Dans Domaine, entrez le nom du domaine.
      7. Dans Alias, saisissez l'alias.
   4. Cliquez sur Créer un chemin et exécuter.
4. Dans la console de déploiement cible MySQL, cliquez sur Service de destinataire, puis vérifiez le fichier Receiver Path créé.

1. Ajoutez Replicat :
   1. Dans la console de déploiement cible, cliquez sur Administration Service, puis dans le menu de navigation, cliquez sur Replicats.
   2. Sur la page Replicats, cliquez sur Ajouter Replicat (icône Plus), puis remplissez le formulaire Ajouter Replicat comme suit :
      • Sur la page d'informations Replicat :
        1. Pour Replicat, type, sélectionnez Nonintegrated Replicat.
        2. Dans Nom de processus, entrez un nom, tel que RCDC.
        3. Cliquez sur Suivant.
      • Sur la page Options Replicat :
        1. Dans Replicat Nom de trace, saisissez le nom de la trace de la tâche 3 (C1).
        2. Dans Informations d'identification cible, sélectionnez le domaine et l'alias pour HeatWave sur la connexion OCI.
        3. Dans Table de point de reprise, sélectionnez la table de point de reprise.
   3. Sur la page Paramètres Replicat, remplacez MAP *.*, TARGET *.*; par le mapping suivant :

      MAP src_ociggll.*, TARGET SRCMIRROR_OCIGGLL.*;

   4. Cliquez sur Créer et exécuter.

      Vous revenez à la page Replicats, sur laquelle vous pouvez consulter les détails Replicat.

2. Vérifiez Change Data Capture :
   1. Effectuez des mises à jour de la base de données PostgreSQL source pour vérifier la réplication vers la base de données HeatWave cible sur OCI Database. Exécutez le script suivant pour effectuer des insertions dans la base de données PostgreSQL :

      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
      Insert into src_ociggll.src_city (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);

   2. Dans la console de déploiement source PostgreSQL, sélectionnez le nom Change Data Capture Extract (ECDC), cliquez sur Détails, puis sur Statistiques. Vérifiez que src_ociggll.src_city comporte 10 insérations.
      Remarque :
      
      si Extract n'a capturé aucune insertion, redémarrez ECDC Extract.
   3. Dans le déploiement de la cible MySQL, sélectionnez RCDC Replicat, consultez ses détails et ses statistiques pour vérifier le nombre d'insertions.

1. Surveiller les performances.
2. Gestion des fichiers de trace.