Réplication de données du traitement des transactions d'IA autonome vers Apache Iceberg

Découvrez comment répliquer des données du traitement des transactions d'IA autonome vers Apache Iceberg dans OCI GoldenGate.

Avant de commencer

Pour mener à Bien ce démarrage rapide, vous devez disposer des éléments suivants :

• Traitement des transactions d'IA autonome source

• Environnement Apache Iceberg cible :

  • OCI GoldenGate prend en charge Azure Data Lake Storage, Amazon S3 et Google Cloud Storage en tant que services de stockage pour les tables Apache Iceberg.

  • OCI GoldenGate prend en charge les catalogues Hadoop, Nessie, AWS Glue, Polaris, REST et JDBC pour Apache Iceberg.

Configuration de l'environnement : traitement des transactions Autonomous AI

Si aucune base de données source n'est configurée pour la réplication, procédez comme suit afin de charger un schéma échantillon à utiliser avec le démarrage rapide. Ce démarrage rapide utilise le traitement des transactions Autonomous AI pour la base de données source.

Pour configurer le traitement des transactions Autonomous AI source, procédez comme suit :

1. Téléchargez et décompressez le schéma échantillon de base de données.

2. Dans la console Oracle Cloud, sélectionnez votre instance Autonomous AI Transaction Processing (ATP) sur la page des bases de données Autonomous AI pour en visualiser les détails et accéder à Database Actions.

3. Déverrouillez l'utilisateur GGADMIN :

   1. Sélectionnez Database actions, puis Database Users (Utilisateurs de base de données).

   2. Localisez GGADMIN, puis sélectionnez son menu représentant des points de suspension (trois points) et sélectionnez Modifier.

   3. Dans le panneau Modifier l'utilisateur, entrez le mot du passe GGADMIN, confirmez le mot du passe, puis désélectionnez Compte verrouillé.

   4. Sélectionnez Apply Changes (Appliquer les modifications).

4. Chargez le schéma échantillon source et les données :

   1. Dans le menu Actions Database, sous Développement, sélectionnez SQL.

   2. Copiez le script d'OCIGGLL_OCIGGS_SETUP_USERS_ATP.sql et collez- le dans la feuille SQL Worksheet.

   3. Sélectionnez Exécuter le script. L'onglet Sortie de script affiche des messages de confirmation.

   4. Effacez la feuille SQL Worksheet, puis copiez et collez le script SQL à partir de OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql.

      A savoir : Vous devrez peut- être exécuter chaque instruction séparément pour que l'outil SQL parvien à exécuter les scripts.

   5. Pour vérifier que les tables ont bien été créées, fermez la fenêtre SQL et rouvrez-la. Dans l'onglet Navigateur, recherchez le schéma SRC_OCIGGLL, puis sélectionnez les tables de leurs listes déroulantes respectives.

5. Activez la journalisation supplémentaire :

   1. Effacez la feuille de calcul SQL.

   2. Entrez l'instruction suivante, puis sélectionnez Exécuter l'instruction :

      ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;

Tâche 1 : créer les ressources

Cet exemple de démarrage rapide nécessite des déploiements et des connexions pour la source et la cible.

1. Créez un déploiement Oracle pour l'instance Autonomous AI Transaction Processing source.

2. Créez un déploiement Big Data pour la cible Apache Iceberg.

3. Créez une connexion de traitement des transactions Autonomous AI.

4. Créez une connexion Apache Iceberg.

5. Créez une connexion au serveur GoldenGate et affectez-la au déploiement Oracle.

6. Affectez la connexion de traitement des transactions Autonomous AI au déploiement Oracle.

7. Affectez la connexion à Apache Iceberg au déploiement Big Data.

Tâche 2 : ajouter l'extraction

1. Sur la page Déploiements, sélectionnez le déploiement Autonomous AI Transaction Processing source.

2. Sur la page de détails du déploiement, sélectionnez Lancer la console.

3. Connectez-vous avec le nom utilisateur et le mot de passe de l'administrateur du déploiement source.

4. Ajoutez une extraction.

Tâche 3 : ajouter et exécuter le chemin de distribution

1. Si vous utilisez la banque d'informations d'identification GoldenGate, créez un utilisateur pour le chemin de distribution dans le déploiement Big Data de la cible, sinon passez à l'étape 3.

2. Dans la console de déploiement GoldenGate source, ajoutez une connexion de chemin pour l'utilisateur créé à l'étape 1.

   1. Dans la console de déploiement GoldenGate source, sélectionnez Connexions de chemin dans la navigation de gauche.

   2. Sélectionnez Ajouter une connexion de chemin (icône Plus), puis procédez comme suit :

      1. Dans Alias d'informations d'identification, entrez GGSNetwork.

      2. Saisissez le nom de l'utilisateur créé à l'étape 1 dans ID utilisateur.

      3. Indiquez le mot de passe de l'utilisateur à deux reprises pour vérification.

   3. Sélectionnez Soumettre.

      La connexion par chemin apparaît dans la liste Connexions par chemin.

3. Dans la console de déploiement source, ajoutez un chemin de distribution avec les valeurs suivantes :

   1. Sur la page Options source :

      • Dans Extraction source, sélectionnez l'extraction créée dans la tâche 2.

      • Dans Nom de la trace, saisissez un Nom à deux caractères, tel que E1

   2. Sur la page Options cible :

      • Dans Hôte cible, entrez le domaine hôte du déploiement cible.

      • Dans Numéro de port, saisissez 443.

      • Dans Nom de la trace, saisissez un Nom à deux caractères, tel que E1

      • Dans Alias, entrez l'alias d'informations d'identification créé à l'étape 2.

4. Dans la console de déploiement Big Data de la cible cible, vérifiez le Chemin de destinataire créé consécutivements au chemin de distribution.

   1. Dans la console de déploiement Big Data cible, sélectionnez Service de destinataire.

   2. Consultez les détails du chemin. Ce chemin a été créé consécutivement à la création du chemin de distribution, à l'étape précédente.

Tâche 4 : ajouter et exécuter la réplication

Pour ajouter et exécuter une réplication, procédez comme suit :

1. Dans le menu de navigation de la console de déploiement Big Data cible, sélectionnez Réplications, puis Ajouter une réplication (icône Plus).

2. Dans le panneau Ajouter une réplication, sur la page Informations sur la réplication, renseignez les champs selon vos besoins, puis sélectionnez Suivant :

   • Pour Type de réplication, sélectionnez Réplication classique

   • Entrez un nom de processus de 5 caractères maximum.

   • Entrez une description pour aider à distinguer ce processus des autres.

3. Sur la page Options de réplication, renseignez les champs selon vos besoins, puis sélectionnez Suivant :

   1. Dans Trace de réplication, entrez le nom de la trace d'extraction.

   2. Pour Cible, sélectionnez Apache Iceberg.

   3. Pour Format, sélectionnez le format à inclure dans l'iceberg Apache. La valeur par défaut est Parquet.

   4. Pour Alias disponible, sélectionnez la connexion Apache Iceberg dans la liste déroulante.

4. Sur la page Options gérées, conservez les paramètres par défaut et sélectionnez Suivant.

5. Sur la page Paramètres de réplication, conservez les paramètres par défaut et sélectionnez Suivant.

6. Sur la page Propriétés de réplication, mettez à jour les champs marqués, TODO, puis sélectionnez Créer et exécuter.

   Pour plus d'informations, reportez-vous à Détails de la cible Apache Iceberg.

Tâche 5 : vérifier la réplication

Pour vérifier la réplication, effectuez les mises à jour de l'instance ATP source.

1. Dans la console Oracle Cloud, ouvrez le menu De navigation, sélectionnez Oracle AI Database, puis Traitement des transactions par IA autonome.

2. Dans la liste des instances Autonomous AI Transaction Processing, sélectionnez votre instance source pour en visualiser les détails.

3. Sur la page de détails de la base de données, sélectionnez Database actions (Actions de base de données).

   Remarque : Vous devez être connecté automatiquement. Sinon, connectez-vous avec les informations d'identification de base de données.

4. Sur la page d'accueil des actions Database, sélectionnez SQL.

5. Entrez ce qui suit dans la feuille de calcul et cliquez sur Exécuter le script.

   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
   Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);

6. Dans la console du déploiement ATP source, sélectionnez le nom de l'extraction, puis cliquez sur Statistiques. Vérifiez que SRC_OCIGGLL.SRC_CITY comporte 10 insertions.

7. Dans la console de déploiement Big Data OCI GoldenGate cible, sélectionnez le nom de réplication, puis cliquez sur Statistiques. Vérifiez que SRC_OCIGGLL.SRC_CITY comporte 10 insertions.

8. Dans la console Oracle Cloud, accédez au bucket Oracle Object Storage et vérifiez son contenu.