Créer des ressources de pipeline

Découvrez comment créer les ressources nécessaires à l'utilisation des pipelines.

Création de connexions

OCI GoldenGate Pipelines prend en charge les connexions Oracle AI Database. Avant de créer un pipeline, veillez à préparer votre base de données pour GoldenGate, puis à créer des connexions aux bases de données source et cible.

Remarque : si vous effectuez une réplication à partir d'une source de base de données Autonomous AI vers une cible qui n'est pas une base de données Autonomous AI, vous devez décompresser le portefeuille de base de données Autonomous AI source vers /u01/targetwallet sur la base de données cible. DBLINK est créé de la base de données cible vers la base de données source.

Vous pouvez également créer des connexions source et cible de connexion dans le workflow Créer un pipeline.

Créer des pipelines

Avant de commencer :

Effectuez les opérations suivantes :

Vérifiez les versions de base de données source et cible. La version de la base de données cible doit être identique ou supérieure à celle de la base de données source.
Vérifiez et configurez l'unicité des lignes entre les tables de base de données pour éviter les problèmes de clé primaire liés à la mise en miroir ZeroETL. Les clés primaires identifient de manière unique un enregistrement ou une ligne dans une table de base de données. Reportez-vous à Assurance de l'unicité des lignes dans les tables source et cible.
En tant qu'utilisateur disposant de privilèges d'administration pour la base de données cible, accordez les privilèges suivants à l'utilisateur GGADMIN pour la mise en miroir ZeroETL :
```
GRANT DWROLE TO GGADMIN;
GRANT DATAPUMP_CLOUD_EXP TO GGADMIN;
GRANT DATAPUMP_CLOUD_IMP TO GGADMIN;
GRANT EXECUTE ON DBMS_CLOUD_ADMIN TO GGADMIN;
GRANT CREATE DATABASE LINK TO GGADMIN;
```
En outre, pour les bases de données AI non autonomes, ajoutez les éléments suivants pour le chargement initial :
```
GRANT DATAPUMP_EXP_FULL_DATABASE TO GGADMIN CONTAINER=CURRENT;
GRANT DATAPUMP_IMP_FULL_DATABASE TO GGADMIN CONTAINER=CURRENT;
GRANT CREATE DATABASE LINK TO GGADMIN CONTAINER=CURRENT;
```
Pour Capturer et appliquer dans des bases de données AI non autonomes, reportez-vous à Préparation des utilisateurs et des privilèges de base de données pour Oracle.
Vérifiez la vue DBA_GOLDENGATE_SUPPORT_MODE sur la base de données source qui affiche des informations sur le niveau de prise en charge du processus de capture Oracle GoldenGate pour les tables de la base de données.
Ajoutez les stratégies minimales requises pour les pipelines GoldenGate.

Remarque :

Si vous répliquez des données d'une base de données Autonomous AI vers une base de données non Autonomous AI, vous devez désactiver GLOBAL_NAMES sur votre base de données non Autonomous AI. Exécutez la commande suivante :

ALTER SYSTEM SET GLOBAL_NAMES = FALSE;

Pour en savoir plus, reportez-vous à l'étape 4 de Création de liens de base de données à partir d'autres bases de données vers une base de données d'IA autonome.

Pour créer un pipeline, procédez comme suit :

Sur la page Présentation d'OCI GoldenGate, dans le menu GoldenGate, sélectionnez Pipelines.

Vous pouvez également sélectionner Data Fabric, puis Créer un pipeline.
Sur la page Pipelines, sélectionnez Créer un pipeline.
Dans le panneau Créer un pipeline, renseignez les champs comme suit, puis sélectionnez Créer un pipeline :
1. Dans Nom, entrez un nom pour le pipeline.
2. (Facultatif) Dans Description, entrez une description pour aider à distinguer ce pipeline des autres.
3. Pour Compartiment, sélectionnez le compartiment dans lequel le pipeline doit être créé.
4. Sélectionnez un type de licence.
5. Sélectionnez vos connexions source et cible dans les listes déroulantes.
  Remarque :
  - Si vous n'avez pas encore créé de connexions, sélectionnez Créer une connexion pour commencer.
  - Si vous utilisez une connexion avec une adresse partagée comme source ou cible, vous devez également sélectionner un sous-réseau.
6. (Facultatif) Développez Options avancées pour configurer les options de processus :
  - Copier les données existantes avant la réplication en cours : sélectionnez cette option pour effectuer un chargement initial des données. Pour les tables existantes, vous pouvez choisir de :
    - Truncate : supprime les lignes existantes, puis charge les lignes de la source.
    - Remplacer : supprime la table existante, puis crée et charge la table à partir de la source.
    - Ajouter : laisse les lignes existantes inchangées et charge les lignes de la source.
    - Ignorer : permet de quitter la table telle quelle et de passer à l'objet suivant.
  - Type de chargement initial : sélectionnez la méthode permettant de transférer un ensemble de données complet de la source vers la cible avant de démarrer la réplication en cours :
    - Lien de base de données : transfère les données directement de la base de données source vers la base de données cible à l'aide d'un lien de base de données établi, sans stockage intermédiaire. Fonctionne mieux pour les bases de données situées sur le même réseau ou connectées via une liaison stable et à haut débit.
    - Object Storage : prépare le chargement initial des données dans Oracle Object Storage avant de les importer dans la base de données cible. Fonctionne mieux pour les migrations qui impliquent d'importants volumes de données dans différentes régions ou environnements.
      
      En savoir plus sur les types de chargement initial.
  - Remplacer les modifications de schéma (DDL) : lorsque cette option est sélectionnée, choisissez l'action à effectuer sur les schémas existants lorsque le processus rencontre une erreur :
    - Mettre fin : annulez la transaction et arrêtez le traitement.
    - Annuler : consignez l'erreur dans le fichier de rejet et poursuivez le traitement.
    - Ignorer : ignorez l'erreur et poursuivez le traitement.
  - Action en cas d'erreur LMD : sélectionnez l'action à effectuer sur les données existantes lorsque le processus rencontre une erreur LMD :
    - Interrompre
    - Annuler
    - Ignorer
  - Redémarrer après l'échec : sélectionnez cette option pour activer le redémarrage automatique si le processus s'arrête pour une raison quelconque.
  - Démarrer le pipeline à l'aide de la mise en correspondance par défaut : démarre le pipeline immédiatement après sa création avec les règles de mise en correspondance 1:1 par défaut. Si cette option n'est pas sélectionnée, vous pouvez configurer les mappings de règle après leur création, puis démarrer manuellement le pipeline.

Ajouter des règles de mise en correspondance

Pour prévisualiser, ajouter ou supprimer des règles de mappage :

Sur la page Informations sur le pipeline, sélectionnez Règles de mise en correspondance.
Dans la liste Règles de mise en correspondance, vous pouvez vérifier ou modifier les règles de mise en correspondance en cours et :
- Aperçu : vérifiez l'impact des règles de mappage sur les schémas et les tables inclus dans la réplication.
- Ajouter : identifiez les tables et schémas à inclure ou à exclure. Vous pouvez utiliser le nom d'objet qualifié complet ou des caractères génériques à la place de n'importe quelle partie du nom d'objet. Pour plus d'informations, reportez-vous à Utilisation de caractères génériques dans les noms d'objet de base de données.
- Enlever : enlevez les règles de mise en correspondance.

Activer les journaux de pipeline

Sur la page Pipelines, sélectionnez le pipeline pour lequel vous voulez activer la journalisation.
Sur la page Détails des pipelines, sélectionnez Journaux.
Dans la liste des journaux de pipeline, sélectionnez Activer le journal dans le menu Actions des événements critiques.
Dans le panneau Activer le journal :
1. Dans Nom de journal, entrez un nom.
2. Dans la liste déroulante Compartiment, sélectionnez un compartiment.
3. Pour Groupe de journaux, vous pouvez :
  - Sélectionnez un groupe dans la liste déroulante.
  - Créez un groupe
  - Laissez-le vide et un groupe par défaut est automatiquement affecté
4. Pour Conservation de journal, sélectionnez le nombre de mois dans la liste déroulante.
5. Sélectionnez Activer le journal.

Attendez que le statut devienne Actif.

Démarrer le pipeline

Pour démarrer le pipeline, procédez comme suit :

Dans le menu Actions de la page de détails du pipeline, sélectionnez Démarrer.
Sur la page de détails du pipeline, sélectionnez Initialisation.

Les étapes d'initialisation affichent le statut actuel des étapes du pipeline. Pour chaque étape, vous pouvez sélectionner Afficher les détails dans le menu Actions et consulter les messages correspondants.
Lorsque le statut du pipeline est Actif (En cours d'exécution), sélectionnez Exécution.

Les processus d'exécution affichent l'état et la latence des processus Capture et Apply.

Problèmes recensés

Echec d'Oracle Data Pump si la version du fichier de fuseau horaire de la base de données cible est inférieure à celle de la base de données source

L'option de pipeline "Copier les données existantes vers la base de données cible avant de démarrer la réplication" utilise Oracle Data Pump. Oracle Data Pump échoue si la version du fichier de fuseau horaire de la base de données cible est inférieure à celle de la base de données source.

Solution : pour contourner ce problème, vous devez mettre à niveau la version du fuseau horaire de la base de données cible. Reportez-vous à Gestion des mises à jour de fichier de fuseau horaire sur Autonomous AI Database.