Réplication des données de HeatWave sur OCI vers Autonomous AI Lakehouse

Découvrez comment utiliser OCI GoldenGate pour répliquer des données de HeatWave sur OCI vers Autonomous AI Lakehouse.

Avant de commencer

Pour mener à bien ce démarrage rapide, vous devez disposer des éléments suivants :

OCI Bastion, pour vous connecter à HeatWave sur OCI, chargez l'exemple de base de données et effectuez des insertions
Une base de données HeatWave sur OCI pour servir de base de données source
Une instance Autonomous AI Lakehouse à utiliser comme base de données cible

Configuration de l'environnement : HeatWave sur OCI

Afin de configurer l'environnement pour ce démarrage rapide, procédez comme suit :

Téléchargez l'exemple de script des données, puis exécutez-le sur la base de donnée HeatWave sur OCI pour créer la base de donnée et charger les données.

Créez un utilisateur ggadmin à l'aide du script suivant. N'oubliez pas de remplacer <ggadmin-password> par un mot de passe valide :

CREATE USER 'ggadmin' IDENTIFIED BY '<ggadmin-password>';
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT, CREATE,CREATE VIEW, EVENT, INSERT, UPDATE, DROP,EXECUTE, DELETE ON *.* TO 'ggadmin';

Ouvrez le port port 3306, via lequel OCI GoldenGate peut se connecter.
1. Dans la console Oracle Cloud, localisez le sous-réseau que la base de données HeatWave sur OCI utilise.
2. Dans la liste de sécurité du sous-réseau, créez une règle d'entrée pour port TCP/3306.
Téléchargez les scénarios de schéma cible, puis exécutez-les dans l'instance Autonomous AI Lakehouse pour créer le schéma et les tables. Vous pouvez utiliser l'outil SQL Autonomous AI Lakehouse Database Actions pour exécuter les scripts :
1. Dans la console Oracle Cloud, ouvrez la page de détails de la base de données Autonomous AI Lakehouse, puis sélectionnez Database Actions.
2. Dans Database Actions, sous Développement, sélectionnez SQL.
3. Dans l'outil SQL, copiez le script d'OCIGGLL_OCIGGS_SETUP_USERS_ADW.sql et collez-le dans la feuille de calcul SQL, puis sélectionnez Exécuter le script. Si l'opération réussit, l'onglet Sortie de script affiche des messages de confirmation.
4. Effacez la feuille de calcul SQL, puis copiez et collez uniquement les scripts de création de table d'OCIGGLL_OCIGGS_SRC_MIRROR_USER_SEED_DATA.sql. Les données seront chargées dans une tâche ultérieure.
  
  A savoir : Vous devrez peut- être exécuter chaque instruction Create Table séparément pour que l'outil SQL parvien à exécuter les scripts.
5. Pour vérifier que les tables ont bien été créées, fermez la fenêtre SQL et rouvrez-la. Dans l'onglet Navigateur, recherchez le schéma SRC_OCIGGLL, puis sélectionnez les tables dans les listes déroulantes correspondantes.

Tâche 1 : créer les ressources OCI GoldenGate

Cet exemple de démarrage rapide nécessite des déploiements et des connexions pour la source et la cible.

Créez un déploiement pour la base de données HeatWave source sur OCI.
Créez un déploiement pour l'instance Autonomous AI Lakehouse cible.
Créez une connexion à la base de données HeatWave source sur OCI.
Créez une connexion pour le lakehouse Autonomous AI cible.
Créez une connexion à GoldenGate, puis affectez cette connexion au déploiement MySQL source.
Affectez la connexion source au déploiement MySQL source.
Affectez la connexion cible au déploiement Oracle cible.

Tâche 2 : créer les extractions

Sur la page Déploiements, sélectionnez le déploiement MySQL créé dans la tâche 1.
Sur la page de détails du déploiement, sélectionnez Lancer la console.
Connectez-vous à la console de déploiement MySQL source à l'aide des informations d'identification d'administrateur indiquées lors de la création du déploiement dans la tâche 1.
Dans le menu de navigation, sélectionnez Connexions de base de données.
Vérifiez les informations d'identification de la connexion HeatWave sur OCI. Notez le domaine et l'alias.
Ajoutez et exécutez une extraction de capture des données de modification avec les valeurs suivantes :
- Pour Type d'extraction, sélectionnez Capture des données de modification.
- Dans Nom de processus, saisissez un nom pour le processus d'extraction.
- Pour Domaine, sélectionnez le domaine.
- Sélectionnez l'alias dans Alias.
- Dans Nom de trace d'extraction, entrez le nom du fichier de piste.
- Dans la page Parameter File, ajoutez les éléments suivants :
```
TABLE SRC_OCIGGLL.*;
```
Ajoutez et exécutez une extraction de chargement initial avec les valeurs suivantes :
- Pour Type d'extraction, sélectionnez Extraction de chargement initial.
- Dans Nom de processus, entrez un nom.
- Dans la page Parameter File, ajoutez les éléments suivants :
```
TABLE SRC_OCIGGLL.*;
```

Tâche 3 : créer le chemin de distribution pour l'extraction de chargement initial

Sur la page Déploiements, sélectionnez le déploiement de base de données Autonomous AI cible.
Sur la page de détails du déploiement, sélectionnez Lancer la console, puis connectez-vous en tant qu'administrateur.
Si vous utilisez la banque d'informations d'identification IAM, passez à l'étape Créer un chemin de distribution. Si vous utilisez la banque d'informations d'identification GoldenGate, créez un utilisateur avec lequel GoldenGate source se connecte à GoldenGate cible.
1. Dans le menu de navigation, sélectionnez Administration des utilisateurs.
2. Sélectionnez Ajouter un nouvel utilisateur (icône Plus), renseignez les champs comme suit, puis sélectionnez Soumettre :
  - Dans Nom utilisateur, entrez ggsnet.
  - Dans Rôle, sélectionnez Opérateur.
  - Indiquez le mot de passe à deux reprises pour vérification.
Dans la console du déploiement MySQL source , créez une connexion de chemin pour l'utilisateur créé à l'étape précédente.
1. Dans le menu de navigation, sélectionnez Connexions de chemin.
2. Sélectionnez Ajouter une connexion de chemin (icône Plus), renseignez les champs comme suit, puis sélectionnez Soumettre :
  - Dans Alias d'informations d'identification, entrez dpuser.
  - Dans ID utilisateur, entrez ggsnet.
  - Dans Mot de passe, entrez le mot de passe utilisé à l'étape précédente.
Créer un chemin de distribution.
1. Dans la barre de menus du service, sélectionnez Service de distribution, puis Ajouter un chemin de distribution (icône Plus).
2. Remplissez le formulaire Ajouter un chemin comme suit :
  - Dans la page Path Information :
    1. Dans Nom du chemin, saisissez un nom pour ce chemin.
    2. Sélectionnez Suivant.
  - Dans la page Source Options :
    1. Pour Extraction source, laissez ce champ vide.
    2. Dans Nom de piste, saisissez le nom du suivi de l'extraction de chargement initial (I1).
    3. Sélectionnez Suivant.
  - Dans la page Target Options :
    1. Dans Cible, sélectionnez WSS.
    2. Dans Hôte cible, entrez l'URL du déploiement cible, sans https :// ni barre oblique de fin.
    3. Dans Numéro de port, saisissez 443.
    4. Dans Nom de la trace, entrez I1.
    5. Dans Méthode d'authentification cible, sélectionnez Alias d'ID utilisateur.
    6. Dans Domaine, entrez le nom de domaine créé à l'étape précédente.
    7. Dans Alias, entrez l'alias créé à l'étape précédente (dpuser).
    8. Sélectionnez Suivant.
3. Sélectionnez Créer et exécuter.
Vous revenez à la page Distribution Service où vous pouvez consulter le chemin créé.
Vérifiez le chemin de distribution :
1. Sélectionnez Service du destinataire.
2. Vérifiez les détails du chemin de distribution.

Tâche 4 : ajouter une réplication pour le chargement initial Extract

Dans la console de déploiement OCI GoldenGate cible, ajoutez une table de point de reprise.
1. Ouvrez le menu de navigation, puis sélectionnez Connexions de base de données.
2. Sélectionnez Connexion à la base de données.
3. Dans le menu de navigation, sélectionnez Point de reprise.
4. Sur la page Point de reprise, sélectionnez Ajouter un point de reprise (icône Plus).
5. Dans Table de point de reprise, entrez SRCMIRROR_OCIGGLL.CHECKTABLE.
6. Sélectionnez Soumettre.
  
  Conseil : l'écran n'est pas actualisé lors de la soumission. Pour vérifier que la table de point de reprise a été ajoutée, entrez SRCMIRROR_OCIGGLL.CHECKTABLE dans le champ de recherche, puis sélectionnez Rechercher.
Ajoutez la réplication:
1. Sélectionnez Service d'administration, puis Ajouter une réplication (icône Plus).
2. Sur la page Ajouter une réplication, renseignez les champs de formulaire suivants, puis sélectionnez Suivant.
  - Pour le type de réplication, sélectionnez Réplication non intégrée.
  - Dans Nom de processus, entrez un nom, tel que RIL.
3. Sur la page Options de réplication, renseignez les champs du formulaire suivants, puis sélectionnez Suivant :
  - Dans Nom, saisissez le nom de l'élément de trace dans la tâche 2 (I1).
  - Pour Domaine, sélectionnez le domaine pour la connexion à la base de données Autonomous AI.
  - Pour Alias, sélectionnez l'alias de la connexion à la base de données Autonomous AI.
  - Dans Table de point de reprise, sélectionnez la table du point de reprise créée à l'étape 1.
4. Sur la page Options gérées, laissez les champs tels quels, puis sélectionnez Suivant.
5. Sur la page Paramètres de réplication, ajoutez la correspondance suivante, puis sélectionnez Créer et exécuter :
```
MAP SRC_OCIGGLL.*, TARGET SRCMIRROR_OCIGGLL.*;
```
Vous revenez à la page de présentation, dans laquelle vous pouvez consulter les détails de la réplication.
Sélectionnez la réplication (RIL) et affichez les détails correspondants.
Sélectionnez Statistiques et vérifiez le nombre d'insertions. Actualisez la page.
- Si le nombre d'insertions ne change pas, tous les enregistrements du chargement initial ont été chargés et vous pouvez arrêter la réplication (RIL).
- Si le nombre d'insertions continue d'augmenter, actualisez la page jusqu'à ce que tous les enregistrements du chargement initial soient chargés avant de continuer.

Tâche 5 : vérifier le chargement initial

Dans la console Oracle Cloud, ouvrez Database Actions à partir de la page Détails de la base de données Autonomous AI Lakehouse.
Dans Database Actions, sous Développement, sélectionnez SQL.
Dans l'outil SQL, entrez chacune des instructions suivantes dans la feuille, puis sélectionnez Exécuter l'instruction :
```
SELECT * FROM SRCMIRROR_OCIGGLL.SRC_CITY;
SELECT * FROM SRCMIRROR_OCIGGLL.SRC_CUSTOMER;
```

La sortie doit renvoyer les données chargées dans les tables de base de données cible suite au chargement initial.

Tâche 6 : créer un chemin de distribution pour la capture des données de modification

Dans la console de déploiement source, sélectionnez Service de distribution.
Sélectionnez Ajouter un chemin de distribution.
Remplissez le formulaire Ajouter un chemin comme suit :
1. Dans la page Path Information :
  1. Dans Nom de chemin, entrez un nom.
  2. Sélectionnez Suivant.
2. Dans la page Source Options :
  1. Pour Extraction source, sélectionnez l'extraction de capture des données de modification (ECDC).
  2. Dans Nom de la trace, sélectionnez le fichier trace de capture de données de modification (C1).
  3. Sélectionnez Suivant.
3. Dans la page Target Options :
  1. Dans Cible, sélectionnez WSS.
  2. Pour Hôte cible, entrez l'URL de la console de déploiement cible (vous pouvez la trouver sur la page de détails du déploiement, sans https :// ni barre oblique de fin).
  3. Dans Numéro de port, saisissez 443.
  4. Dans Nom de la trace, entrez C1.
  5. Dans Méthode d'authentification cible, sélectionnez Alias d'ID utilisateur.
  6. Dans Domaine, saisissez le nom de domaine.
  7. Saisissez l'alias dans Alias.
4. Sélectionnez Créer un chemin et exécuter.
Dans la console du déploiement cible, sélectionnez Service de destinataire, puis vérifiez le chemin de destinataire créé.

Tâche 7 : ajouter une réplication pour la capture des données de modification

Ajoutez la réplication avec les valeurs suivantes :
1. Dans la page Replicat Information :
  - Pour Type de réplication, sélectionnez Réplication coordonnée.
  - Dans Nom de processus, entrez un nom, tel que RCDC.
2. Dans la page Replicat Options :
  - Dans Piste Replicat, saisissez le nom de l'élément de trace dans la tâche 2 (C1).
  - Pour Domaine, sélectionnez le domaine pour la connexion à la base de données Autonomous AI.
  - Dans Alias, entrez l'alias d'informations d'identification.
  - Dans Table de point de reprise, sélectionnez la table du point de reprise créée.
3. Sur la page Paramètres de réplication, ajoutez la correspondance suivante, puis sélectionnez Créer et exécuter :
```
MAP SRC_OCIGGLL.*, TARGET SRCMIRROR_OCIGGLL.*;
```
Sur la page d'aperçu du service d'administration, sélectionnez la réplication pour un chargement initial (RIL) et consultez ses détails.
Sélectionnez Statistiques et vérifiez le nombre d'insertions. Actualisez la page.
- Si le nombre d'insertions ne change pas, tous les enregistrements du chargement initial ont été chargés et vous pouvez arrêter la réplication (RIL).
- Si le nombre d'insertions continue d'augmenter, actualisez la page jusqu'à ce que tous les enregistrements du chargement initial soient chargés avant de continuer.
Revenez à la page d'aperçu du service d'administration, puis démarrez le processus de réplication coordonnée (RCDC).
Après avoir démarré la réplication coordonnée, consultez ses détails et ses statistiques afin de déterminer le nombre d'insertions.

Tâche 8 : vérifier la capture des données de modification

Effectuez des mises à jour de la base de données HeatWave source sur OCI pour vérifier la réplication vers Autonomous AI Lakehouse.

Dans OCI Bastion, créez une session de transmission de port SSH à l'aide de l'adresse IP MySQL et du port 3306. Ajoutez la clé SSH publique.
Connectez-vous à MySQL dans Cloud Shell à l'aide de votre clé privée et du port 3306.
Une fois la connexion établie, exécutez la commande suivante :
```
mysqlsh admin@localhost:3306 --sql
```

Exécutez le script suivant pour effectuer des insertions dans la base de données HeatWave sur OCI :

use SRC_OCIGGLL;
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
commit;

Dans la console du déploiement MySQL source, sélectionnez le nom de l'extrait de capture de données de modification, puis cliquez sur Statistiques. Vérifiez que SRC_OCIGGLL.SRC_CITY comporte 10 insertions.

Remarque : si l'extraction n'a capturé aucune insertion, redémarrez l'extraction.