Mettre en miroir les données avec des pipelines de mise en miroir ZeroETL

Voyez comment mettre en miroir des données du service Traitement des transactions du service d'intelligence artificielle autonome vers un entrepôt avec lac de données du service d'intelligence artificielle autonome à l'aide de pipelines miroir ZeroETL.

Avant de commencer

Veillez à :

  • Vérifiez vos versions de base de données source et cible. La version de la base de données cible doit être identique ou supérieure à celle de la base de données source.
  • Assurez-vous de préparer la base de données pour Oracle GoldenGate.
  • Vérifiez et configurez l'unicité des rangées dans les tables de base de données pour éviter les problèmes de clé primaire avec la mise en miroir ZeroETL. Les clés primaires identifient de manière unique un enregistrement ou une rangée dans une table de base de données. Voir Garantir l'unicité des rangées dans les tables source et cible.
  • Vérifiez la vue DBA_GOLDENGATE_SUPPORT_MODE dans la base de données source qui affiche des informations sur le niveau de prise en charge du processus de capture Oracle GoldenGate pour les tables de la base de données.
  • Ajoutez les politiques minimales requises pour les pipelines GoldenGate.

Tâche 1 : Créer le pipeline

Pour créer un pipeline :
  1. Dans la page Aperçu d'OCI GoldenGate, dans le menu GoldenGate, cliquez sur Pipelines.

    Vous pouvez également cliquer sur Data Fabric, puis sur Create pipeline (Créer un pipeline).

  2. Dans la page Pipelines, cliquez sur Créer un pipeline.
  3. Dans le panneau Créer un pipeline, remplissez les champs de la façon suivante, puis cliquez sur Créer un pipeline :
    1. Dans Nom, entrez un nom pour le pipeline.
    2. (Facultatif) Pour Description, entrez une description qui vous aidera à distinguer ce pipeline des autres.
    3. Pour Compartiment, sélectionnez le compartiment dans lequel créer le pipeline.
    4. Sélectionnez un type de licence.
    5. Créez vos connexions source et cible. Pour ce démarrage rapide, créez des connexions à Oracle Autonomous Database.
    6. (Facultatif) Cliquez sur Afficher les options avancées pour configurer les options de processus :
      • Copier les données existantes avant la réplication en cours : Sélectionnez cette option pour effectuer un chargement initial des données. Pour les tables existantes, vous pouvez choisir :
        • Tronquer : Supprime les rangées existantes, puis charge les rangées de la source.
        • Remplacer : Supprime la table existante, puis la crée et la charge à partir de la source.
        • Ajouter : laisse les rangées existantes inchangées et charge les rangées de la source.
        • Ignorer : laisse la table telle quelle et passe à l'objet suivant.
      • Remplacer les modifications de schéma (LDD) : Lorsque cette option est sélectionnée, sélectionnez l'action à effectuer sur les schémas existants lorsque le processus rencontre une erreur :
        • Mettre fin : Repositionnez la transaction et arrêtez le traitement.
        • Abandonner : enregistrez l'erreur dans le fichier d'abandon et poursuivez le traitement.
        • Ignorer : Ignorez l'erreur et poursuivez le traitement.
      • Action en cas d'erreur LMD : Sélectionnez l'action à effectuer sur les données existantes lorsque le processus rencontre une erreur LMD :
        • Mettre fin
        • Abandonner
        • Ignorer
      • Redémarrer après l'échec : sélectionnez cette option pour activer le redémarrage automatique dans le cas où le processus s'arrête pour quelque raison que ce soit.
      • Démarrer le pipeline à l'aide du mappage par défaut : Démarre le pipeline immédiatement après sa création avec les règles de mappage 1:1 par défaut. Si cette option n'est pas sélectionnée, vous pouvez configurer les mappages de règle après leur création, puis démarrer manuellement le pipeline.

Tâche 2 : Ajouter des règles de mappage

Les règles de mappage vous permettent de modifier le mappage un à un par défaut des tables et des schémas sources à la cible.

Pour prévisualiser, ajouter ou supprimer des règles de mappage :
  1. Dans la page d'informations sur le pipeline, sélectionnez Règles de mappage.
  2. Dans la liste des règles de mappage, vous pouvez vérifier ou modifier les règles de mappage courantes et :
    • Prévisualiser : Vérifiez l'incidence de vos règles de mappage sur les schémas et les tables inclus dans la réplication.
    • Ajouter : Identifiez les tables et les schémas à inclure ou à exclure. Vous pouvez utiliser le nom d'objet complet ou les caractères génériques à la place de n'importe quelle partie du nom d'objet. Pour plus d'informations, voir Utilisation de caractères génériques dans les noms d'objet de base de données.
    • Supprimer : supprimez les règles de mappage.

Tâche 3 : Activer la journalisation

Pour activer la connexion au pipeline :
  1. Dans la page Pipelines, sélectionnez le pipeline pour lequel vous voulez activer la journalisation.
  2. Dans la page Détails des pipelines, sélectionnez Journaux.
  3. Dans la liste des pipelines, dans le menu Action, pour le pipeline à activer, sélectionnez Activer le journal.
  4. Dans le panneau Activer le journal :
    1. Pour Nom du journal, entrez un nom.
    2. Dans la liste déroulante Compartiment, sélectionnez un compartiment.
    3. Pour Groupe de journaux, vous pouvez :
      • Sélectionner un groupe dans la liste déroulante
      • Créer un groupe
      • Laissez-le vide et un groupe par défaut est automatiquement affecté
  5. Pour Conservation des journaux, sélectionnez le nombre de mois dans la liste déroulante.
  6. Cliquez sur Activer le journal.
Attendez que le statut devienne Actif.

Tâche 4 : Démarrer le pipeline

Pour démarrer le pipeline :
  1. Dans le menu Actions de la page des détails du pipeline, sélectionnez Démarrer.
  2. Dans la page des détails du pipeline, sélectionnez Initialisation.

    Les étapes d'initialisation affichent le statut courant des étapes de pipeline. Pour chaque étape, vous pouvez sélectionner Voir les détails dans son menu Actions et vérifier les messages correspondants.

  3. Une fois que le statut du pipeline est Actif (En cours d'exécution), sélectionnez Exécution.

    Les processus d'exécution affichent l'état et la latence des processus Capture and Apply.