Répliquer des données d'Autonomous Transaction Processing vers Apache Iceberg

Avant de commencer

Pour terminer ce démarrage rapide, vous devez avoir :

Une base de données Autonomous Transaction Processing source
Un environnement Apache Iceberg cible :
- OCI GoldenGate prend en charge Azure Data Lake Storage, Amazon S3 et Google Cloud Storage en tant que services de stockage pour les tables Apache Iceberg.
- OCI GoldenGate prend en charge les catalogues Hadoop, Nessie, AWS Glue, Polaris, REST et JDBC pour Apache Iceberg.

Configuration de l'environnement : Base de données Autonomous Transaction Processing

Si vous n'avez pas encore de base de données source configurée pour la réplication, vous pouvez suivre ces étapes pour charger un exemple de schéma à utiliser pour ce démarrage rapide. Ce démarrage rapide utilise Autonomous Transaction Processing pour la base de données source.

Pour configurer la base de données autonome source :

Téléchargez et décompressez l'exemple de schéma de base de données.
Dans la console Oracle Cloud, sélectionnez votre instance Autonomous Transaction Processing (ATP) dans la page Bases de données autonomes pour en voir les détails et accéder à Database Actions.
Déverrouillez l'utilisateur GGADMIN :
1. Cliquez sur Database actions (Actions de base de données), puis sur Database Users (Utilisateurs de base de données).
2. Localisez GGADMIN, puis cliquez sur le menu Actions (points de suspension) associé et sélectionnez Modifier.
3. Dans le panneau Modifier l'utilisateur, entrez le mot de passe de GGADMIN, confirmez-le, puis désélectionnez Le compte est verrouillé.
4. Cliquez sur appliquer les modifications.
Chargez l'exemple de schéma et les données-échantillons sources :
1. Dans le menu Actions de base de données, sous Développement, sélectionnez SQL.
2. Copiez et collez le script à partir de OCIGGLL_OCIGGS_SETUP_USERS_ATP.sql dans la feuille de calcul SQL.
3. Cliquez sur exécuter le script. L'onglet Sortie du script affiche des messages de confirmation.
4. Effacez la feuille de calcul SQL, puis copiez et collez le script SQL à partir de OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql.
  
  Conseil :
  Vous devrez peut-être exécuter chaque énoncé séparément pour que l'outil SQL exécute les scripts avec succès.
5. Pour vérifier que les tables ont été créées, fermez la fenêtre SQL et rouvrez-la. Dans l'onglet Navigateur, recherchez le schéma SRC_OCIGGLL, puis sélectionnez des tables dans les listes déroulantes correspondantes.
Activez la journalisation supplémentaire :
1. Effacez la feuille de calcul SQL.
2. Entrez l'instruction suivante, puis cliquez sur Exécuter l'instruction :
```
ALTER PLUGGABLE DATABASE ADD SUPPLEMENTAL LOG DATA;
```

Tâche 1 : Créer les ressources

Cet exemple de démarrage rapide nécessite des déploiements et des connexions pour la source et la cible.

Créez un déploiement Oracle pour l'instance Autonomous Transaction Processing source.
Créez un déploiement du service de mégadonnées pour la cible Apache Iceberg.
Créez une connexion à une base de données Autonomous Transaction Processing.
Créez une connexion à Apache Iceberg.
Créez une connexion au serveur GoldenGate et affectez-la au déploiement Oracle.
Affectez la connexion ATP au déploiement Oracle.
Affectez la connexion Iceberg au déploiement du service de mégadonnées.

Tâche 2 : Ajouter Extract

Dans la page Déploiements, sélectionnez le déploiement Autonomous Transaction Processing source.
Dans la page des détails du déploiement, cliquez sur Lancer la console.
Connectez-vous avec le nom d'utilisateur et le mot de passe de l'administrateur du déploiement source.
Ajoutez des informations sur les transactions.
Ajoutez un fichier Extract.

Tâche 3 : Ajouter et exécuter Distribution Path

Si vous utilisez le magasin de données d'identification GoldenGate, créez un utilisateur pour le chemin de répartition dans le déploiement du service de mégadonnées cible, sinon passez à l'étape 3.
Dans la console de déploiement source ATP GoldenGate, ajoutez une connexion de chemin pour l'utilisateur créé à l'étape 1.
1. Dans la console de déploiement ATP GoldenGate source, cliquez sur Connexions au chemin dans le menu de navigation de gauche.
2. Cliquez sur Ajouter une connexion de chemin (icône plus), puis effectuez les opérations suivantes :
  1. Pour Alias de données d'identification, entrez GGSNetwork.
  2. Pour ID utilisateur, entrez le nom de l'utilisateur créé à l'étape 1.
  3. Entrez deux fois le mot de passe de l'utilisateur pour vérification.
3. Cliquez sur Soumettre.
  
  La connexion de chemin apparaît dans la liste Connexions de chemin.
Dans la console de déploiement ATP source, ajoutez un chemin de répartition avec les valeurs suivantes :
1. Dans la page Options sources :
  - Pour Extraction source, sélectionnez l'extraction créée au cours de la tâche 2.
  - Pour Nom de la piste, entrez un nom à deux caractères, par exemple E1.
2. Dans la page Options cibles :
  - Pour Hôte cible, entrez le domaine hôte du déploiement cible.
  - Pour Numéro de port, entrez 443.
  - Pour Nom de la piste, entrez un nom à deux caractères, par exemple E1.
  - Pour Alias, entrez l'alias de données d'identification créé à l'étape 2.
Dans la console de déploiement du service de mégadonnées pour la cible, consultez Receiver Path créé à la suite de Distribution Path.
1. Dans la console de déploiement du service de mégadonnées cible, cliquez sur Receiver Service.
2. Vérifiez les détails du chemin. Ce chemin a été créé à la suite de Distribution Path créé à l'étape précédente.

Tâche 4 : Ajouter et exécuter le processus de réplication

Pour ajouter et exécuter une réplication :

Dans la page d'accueil OCI GoldenGate console de déploiement, dans la page Service d'administration, cliquez sur Ajouter une réplication (icône plus).
Dans le panneau Ajouter des informations de réplication, dans la page Informations sur le processus de réplication, remplissez les champs selon les besoins, puis cliquez sur Suivant :
- Pour le type Réplication, sélectionnez Réplication classique
- Entrez un nom de processus de 5 caractères au maximum.
- Entrez une description pour distinguer ce processus des autres.
Dans la page Options de réplication, remplissez les champs selon les besoins, puis cliquez sur Suivant :
1. Pour Piste de réplication, entrez le nom de la piste d'extraction.
2. Pour Cible, sélectionnez Apache Iceberg.
3. Pour Format, sélectionnez le format à ingérer dans Apache Iceberg. La valeur par défaut est Parquet.
4. Pour Alias disponible, sélectionnez la connexion Apache Iceberg dans la liste déroulante.
Dans la page Options gérées, laissez les paramètres par défaut et cliquez sur Suivant.
Dans la page Paramètres de réplication, laissez les paramètres par défaut et cliquez sur Suivant.
Dans la page Propriétés du processus de réplication, mettez à jour les champs marqués TODO, puis cliquez sur Créer et exécuter.
Pour plus d'informations, voir Détails de la cible Apache Iceberg.

Tâche 5 : Vérifier la réplication

Pour vérifier la réplication, effectuez des mises à jour de l'instance ATP source.

Dans la console Oracle Cloud, ouvrez le menu de navigation, sélectionnez Oracle Database, puis Autonomous Database.
Dans la liste des bases de données autonomes, sélectionnez votre instance source pour en voir les détails.
Dans la page Détails de la base de données, cliquez sur Database actions.
Dans la page Actions de base de données, sélectionnez SQL.

Entrez les énoncés d'insertion suivants dans la feuille de calcul SQL, puis cliquez sur Exécuter le script :

Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);

Dans la console de déploiement ATP source, sélectionnez le nom du processus d'extraction, puis cliquez sur Statistiques. Vérifiez que SRC_OCIGGLL.SRC_CITY comporte 10 insertions.
Dans la console de déploiement du service de mégadonnées cible, sélectionnez le nom du réplicat, puis cliquez sur Statistiques. Vérifiez que SRC_OCIGGLL.SRC_CITY comporte 10 insertions.