Mettre en miroir des données avec des pipelines miroir ZeroETL

Découvrez comment mettre en miroir les données du traitement des transactions d'IA autonome vers Autonomous AI Lakehouse à l'aide de pipelines miroir ZeroETL.

Avant de commencer

Effectuez les opérations suivantes :

Tâche 1 : créer le pipeline

Pour créer un pipeline, procédez comme suit :

  1. Sur la page Présentation d'OCI GoldenGate, dans le menu GoldenGate, sélectionnez Pipelines.

    Vous pouvez également sélectionner Data Fabric, puis Créer un pipeline.

  2. Sur la page Pipelines, sélectionnez Créer un pipeline.

  3. Dans le panneau Créer un pipeline, renseignez les champs comme suit, puis sélectionnez Créer un pipeline :

    1. Pour Nom, entrez un nom pour le pipeline.

    2. (Facultatif) Dans Description, entrez une description pour aider à distinguer ce pipeline des autres.

    3. Pour Compartiment, sélectionnez le compartiment dans lequel le pipeline doit être créé.

    4. Sélectionnez un type de licence.

    5. Créez vos connexions source et cible. Pour ce démarrage rapide, créez des connexions Oracle Autonomous AI Database.

    6. (Facultatif) Sélectionnez Afficher les options avancées pour configurer les options de processus :

      • Copier les données existantes avant la réplication en cours : sélectionnez cette option pour effectuer un chargement initial des données. Pour les tables existantes, vous pouvez choisir de :

        • Truncate : supprime les lignes existantes, puis charge les lignes de la source.

        • Remplacer : supprime la table existante, puis crée et charge la table à partir de la source.

        • Ajouter : laisse les lignes existantes inchangées et charge les lignes de la source.

        • Ignorer : permet de quitter la table telle quelle et de passer à l'objet suivant.

      • Remplacer les modifications de schéma (DDL) : lorsque cette option est sélectionnée, choisissez l'action à effectuer sur les schémas existants lorsque le processus rencontre une erreur :

        • Mettre fin : annulez la transaction et arrêtez le traitement.

        • Annuler : consignez l'erreur dans le fichier de rejet et poursuivez le traitement.

        • Ignorer : ignorez l'erreur et poursuivez le traitement.

      • Action en cas d'erreur LMD : sélectionnez l'action à effectuer sur les données existantes lorsque le processus rencontre une erreur LMD :

        • Interrompre

        • Annuler

        • Ignorer

      • Redémarrer après l'échec : sélectionnez cette option pour activer le redémarrage automatique si le processus s'arrête pour une raison quelconque.

      • Démarrer le pipeline à l'aide de la mise en correspondance par défaut : démarre le pipeline immédiatement après sa création avec les règles de mise en correspondance 1:1 par défaut. Si cette option n'est pas sélectionnée, vous pouvez configurer les mappings de règle après leur création, puis démarrer manuellement le pipeline.

Tâche 2 : Ajouter des règles de mise en correspondance

Les règles de mapping vous permettent de modifier le mapping un à un par défaut des tables et schémas source vers la cible.

Pour prévisualiser, ajouter ou supprimer des règles de mappage :

  1. Sur la page Informations sur le pipeline, sélectionnez Règles de mise en correspondance.

  2. Dans la liste Règles de mise en correspondance, vous pouvez vérifier ou modifier les règles de mise en correspondance en cours et :

    • Aperçu : vérifiez l'impact des règles de mappage sur les schémas et les tables inclus dans la réplication.

    • Ajouter : identifiez les tables et schémas à inclure ou à exclure. Vous pouvez utiliser le nom d'objet qualifié complet ou des caractères génériques à la place de n'importe quelle partie du nom d'objet. Pour plus d'informations, reportez-vous à Utilisation de caractères génériques dans les noms d'objet de base de données.

    • Enlever : enlevez les règles de mise en correspondance.

Tâche 3 : activer la journalisation

Pour activer la journalisation dans le pipeline, procédez comme suit :

  1. Sur la page Pipelines, sélectionnez le pipeline pour lequel activer la journalisation.

  2. Sur la page Détails des pipelines, sélectionnez Journaux.

  3. Dans la liste des pipelines, dans le menu Action, pour le pipeline à activer, sélectionnez Activer le journal.

  4. Dans le panneau Activer le journal :

    1. Dans Nom de journal, entrez un nom.

    2. Dans la liste déroulante Compartiment, sélectionnez un compartiment.

    3. Pour Groupe de journaux, vous pouvez :

      • Sélectionnez un groupe dans la liste déroulante.

      • Créez un groupe

      • Laissez-le vide et un groupe par défaut est automatiquement affecté

  5. Pour Conservation de journal, sélectionnez le nombre de mois dans la liste déroulante.

  6. Sélectionnez Activer le journal.

Attendez que le statut devienne Actif.

Tâche 4 : démarrage du pipeline

Pour démarrer le pipeline, procédez comme suit :

  1. Dans le menu Actions de la page de détails du pipeline, sélectionnez Démarrer.

  2. Sur la page de détails du pipeline, sélectionnez Initialisation.

    Les étapes d'initialisation affichent le statut actuel des étapes du pipeline. Pour chaque étape, vous pouvez sélectionner Afficher les détails dans le menu Actions et consulter les messages correspondants.

  3. Lorsque le statut du pipeline est Actif (En cours d'exécution), sélectionnez Exécution.

    Les processus d'exécution affichent l'état et la latence des processus Capture et Apply.