Créer et exécuter des chargements de données

Un chargement de données vous permet de charger plusieurs entités de données d'une connexion source vers une connexion cible.

Sujets

Création d'un chargement de données

Utilisez l'assistant Créer un chargement de données pour définir la connexion source et la connexion cible du chargement de données.

Remarque

Le chargement de données n'est pas pris en charge pour les connexions Oracle Object Storage.

L'assistant vous permet également de choisir l'option de traitement de chargement en fonction du type de déploiement. Le nouveau chargement de données est affiché sur la page Chargements de données du projet associé. Cliquez sur l'icône Actions (Icône Actions) en regard du chargement de données sélectionné pour le modifier, le renommer, le démarrer, l'exporter ou le supprimer.

Pour créer un chargement de données à partir de la page d'accueil :

  1. Effectuez l'une des opérations suivantes :
    • Sur la page d'accueil, cliquez sur Charger les données. L'assistant Créer un chargement de données apparaît.

      Dans l'onglet Create Data Load, entrez un nom pour remplacer la valeur par défaut, ajoutez une description et sélectionnez un projet dans la liste déroulante.

    • Sur la page d'accueil, cliquez sur Projets, puis sur la mosaïque de projet requise. Dans le panneau de gauche, cliquez sur Chargements de données, puis sur Créer un chargement de données.

    L'assistant Créer un chargement de données apparaît.

  2. Dans le champ Nom, entrez le nom du chargement de données. Le champ est prérempli avec un nom par défaut. Cette valeur peut être modifiée.
  3. Ajouter une description Cette option est facultative.
  4. Si vous avez ouvert l'assistant Create Data Load à partir de la page d'accueil, vous devez sélectionner un nom de projet dans la liste déroulante. Si c'est votre première fois ici, cliquez sur l'icône + pour créer un projet. Si vous êtes connecté en tant que SUPERVISOR, le nom de projet par défaut est Home. Pour les autres utilisateurs, le nom de projet par défaut est au format <username>_Home. Vous pouvez modifier la valeur par défaut. Pour plus d'informations sur les projets, voir Utiliser des projets.
  5. Pour Traitement de chargement, effectuez l'une des opérations suivantes :
    • Sélectionnez le bouton radio Interne et, dans la liste déroulante Type de déploiement, sélectionnez Transformations de données (batch).
    • Sélectionnez le bouton radio Déléguer et dans la liste déroulante Type de déploiement, sélectionnez OCI GoldenGate. Dans la liste déroulante Connexion de déploiement GoldenGate, sélectionnez une connexion.
  6. Cliquez sur Suivant.
  7. Pour définir la connexion source, dans la liste déroulante Connexion, sélectionnez la connexion requise à partir de laquelle vous souhaitez ajouter les entités de données. Vous pouvez également cliquer sur l'icône + pour créer une connexion. Pour plus d'informations sur les connexions, reportez-vous à Utilisation des connexions.
  8. Dans la liste déroulante Schéma, tous les schémas correspondant à la connexion sélectionnée sont répertoriés en deux groupes :
    • Schéma existant (éléments que vous avez importés dans Oracle Data Transforms) et
    • Nouveau schéma de base de données (ceux que vous n'avez pas encore importés).
    Sélectionnez le schéma à utiliser dans la liste déroulante.
    Remarque

    Si des informations sont manquantes, telles que le nom utilisateur ou le mot de passe, le portefeuille, etc., la liste peut ne pas être remplie avec une erreur "Cette connexion comporte des informations manquantes". Cliquez sur l'icône Modifier (Icône Modifier) pour ouvrir la page Mettre à jour la connexion dans laquelle vous pouvez renseigner les détails manquants.
  9. Cliquez sur Suivant.
  10. De même, définissez la connexion cible. Si vous prévoyez d'utiliser une connexion Apache Iceberg en tant que cible pour charger des données, reportez-vous à Création et exécution d'un chargement de données Apache Iceberg pour obtenir des instructions spécifiques.
  11. Cliquez sur Enregistrer.

    La page Détails du chargement des données apparaît et répertorie toutes les entités de données chargées.

Exécution d'un chargement de données

Après avoir créé le chargement de données, vous accédez à la page Détail chargement données qui affiche les détails nécessaires à l'exécution d'un chargement de données.

Il inclut les détails du schéma source, les entités de données chargées à partir du schéma source et les détails du schéma cible. Vous pouvez choisir l'action à appliquer à chaque entité de données : recréer, tronquer, ajouter et charger des tables en masse dans le schéma cible. Lorsque vous exécutez un chargement de données, plusieurs travaux sont exécutés en arrière-plan pour terminer la demande.

Vous pouvez exécuter un chargement de données de l'une des manières suivantes :

Remarque

Le chargement de données n'est pas pris en charge pour les connexions Oracle Object Storage.

Exécuter un chargement de données à partir de la page Détails du chargement de données

La page Détail chargement données affiche les informations dont vous avez besoin pour exécuter un chargement de données. Vous pouvez appliquer différentes actions (fusion incrémentielle, ajout incrémentiel, recréation, troncation, ajout) sur les entités de données avant de les charger dans le schéma cible.

Remarque

S'applique à : Applicable Data Transforms, disponible dans une liste distincte sur Marketplace, appelée Data Integrator : Web Edition.

Si le chargement des données est important, vous pouvez augmenter la mémoire de l'agent ODI pour éviter tout problème. Suivez les instructions de la section Augmenter la mémoire de l'agent ODI avant de commencer à exécuter le chargement des données.

Pour exécuter un chargement de données à partir de la page Détails du chargement de données, procédez comme suit :

  1. Dans la page Détails du chargement des données, sélectionnez les entités de données à déplacer vers le schéma cible.
    Pour filtrer la liste, vous pouvez effectuer l'une des opérations suivantes :
    • Saisissez le nom ou la partie du nom dans la zone Nom. Cette recherche renvoie les entités de données qui incluent la chaîne spécifiée dans le nom. Par exemple, la chaîne de recherche AD renvoie des résultats tels que ADMIN, ADDRESS, BADGE, UPGRADE, WORKLOAD, etc.
    • Activez l'option Utiliser une expression régulière pour utiliser la correspondance de modèle pour rechercher des chaînes de caractères particulières. Par exemple, la chaîne de recherche CO.* renvoie des résultats tels que CONTACT, COUNT, COUNTRY, etc.
    Vous pouvez sélectionner plusieurs entités de données et les charger dans le schéma cible. Vous pouvez également trier la liste affichée à l'aide des options suivantes :
    • Tout : affiche toutes les entités de données qui correspondent aux critères de recherche.
    • Sélectionné : affiche toutes les lignes que vous avez sélectionnées.
    • Non sélectionné : affiche toutes les lignes non sélectionnées.
    • Non valide : affiche toutes les lignes non valides.
    Remarque

    Ces options affichent la liste des entités de données en fonction des critères de recherche. Pour afficher la liste de toutes les entités de données, effacez les filtres appliqués.
  2. Cliquez sur l'icône requise pour choisir l'une des actions suivantes :
    • Fusion incrémentielle : met à jour les données de la colonne sélectionnée en comparant la table source à la table cible en fonction de la clé de fusion indiquée. Pour utiliser cette option, sélectionnez la colonne à fusionner, puis la clé de fusion. Pour utiliser cette option, sélectionnez la colonne à fusionner, puis la clé de fusion. Cliquez sur l'icône Valider (Icône Valider) pour valider les valeurs sélectionnées.
      Remarque

      • Les dernières valeurs de mise à jour de la colonne incrémentielle sont stockées dans le chargement de données. Si vous créez un chargement de données avec la même table, cette option agit comme Ajouter, Tronquer et Recréer la première fois que vous l'exécutez.
      • Si la table cible n'est pas tronquée, ne lancez pas le chargement de données en mode Ajouter, Tronquer ou Recréer, puis basculez l'action sur Fusion incrémentielle. Ainsi, toutes les lignes existantes de la table cible seront mises à jour. Oracle recommande de démarrer le chargement de données à l'aide de l'action de fusion incrémentielle.
    • Ajout incrémentiel - Met à jour les données de la colonne sélectionnée dans le schéma cible. Pour utiliser cette option, sélectionnez la colonne à mettre à jour et cliquez sur l'icône Valider (Icône Valider) pour valider la sélection.

      La première fois que vous exécutez le chargement de données, cette option fonctionne de la même manière que les options Ajouter, Tronquer et Recréer, ce qui signifie que toutes les lignes sont insérées dans la cible. Lors de toutes les exécutions de chargement de données suivantes, la colonne incrémentielle est utilisée pour filtrer uniquement les nouvelles lignes afin d'ajouter des données pour éviter que les mêmes lignes ne soient chargées plusieurs fois.

      Remarque

      • Les dernières valeurs de mise à jour de la colonne incrémentielle sont stockées dans le chargement de données. Si vous créez un chargement de données avec la même table, cette option agit comme Ajouter, Tronquer et Recréer la première fois que vous l'exécutez.
      • Si la table cible n'est pas tronquée, ne lancez pas le chargement de données en mode Ajouter, Tronquer ou Recréer, puis basculez l'action sur Ajouter par incréments. Oracle recommande de démarrer le chargement de données à l'aide de l'action Ajouter par incréments.
    • Recreate : si la table est déjà présente dans le schéma cible, supprime la table existante et la recrée.
      Remarque

      Cette option n'est pas disponible pour les entités de données chargées à l'aide d'OCI GoldenGate.
    • Truncate : si la table est déjà présente dans le schéma cible, toutes les données de la table sélectionnée sont supprimées. Rien n'est abandonné.
      Remarque

      Pour les chargements de données de partage delta, la page Détails du chargement de données inclut uniquement l'option icône d'exécution. Vous ne pouvez pas appliquer différentes actions (fusion incrémentielle, ajout incrémentiel, recréation, troncation, ajout) sur les entités de données avant de les charger dans le schéma cible. Cela permet de s'assurer que les données sont cohérentes entre le serveur Delta Sharing et le schéma cible.
    • Ajouter : insère toutes les lignes de l'ensemble de données dans la cible. Si le jeu de données contient des enregistrements qui existent déjà dans la cible, il y aura des enregistrements en double. Utilisez Ajouter si le jeu de données source ne doit contenir que de nouveaux enregistrements ou des lignes en double dans la cible.
    • Ne pas charger : ignore l'entité de données sélectionnée dans le travail de chargement de données. Une fois que vous avez cliqué sur Enregistrer, ces entités de données ne sont plus disponibles pour les travaux de chargement de données futurs.

    Vous pouvez sélectionner plusieurs entités de données et appliquer différentes actions. Les lignes non enregistrées sont mises en évidence en gras.

    Remarque

    Ces options ne sont pas disponibles pour les connexions Delta Share.
  3. Pour indiquer comment stocker les noms de colonne source dans les tables cible, cliquez sur Paramètres, situé sur le côté droit de la page Détails du chargement de données. Choisissez l'une des options suivantes :
    • Conserver les noms d'origine en entourant tous les noms de délimiteurs : crée des noms de colonne portant les mêmes noms que ceux des tables source de la table cible.
    • Ne pas utiliser de séparateurs : il s'agit de la sélection par défaut. Convertit tous les noms de colonne en majuscules et remplace les espaces et les caractères spéciaux par des traits de soulignement.

      Les options suivantes s'appliquent aux mots réservés tels que Date, Timestamp, Start, etc.

      • Fermer avec des délimiteurs - Il s'agit de la sélection par défaut. Ferme les noms de colonne qui sont des mots réservés avec des délimiteurs (pas tous les noms de colonne).
      • Utiliser un préfixe : ajoute le préfixe indiqué aux noms de colonne qui sont des mots réservés (pas tous les noms de colonne).

      Pour les noms de colonne qui ont le même nom après la conversion, les noms sont suivis d'une valeur numérique pour conserver l'unicité. Par exemple, les noms de colonne

      Date, date, DATE, Item_@Code, Item$$Code, Item%%Code

      sont créés dans la table cible en tant que

      DATE, DATE_0, DATE_1, ITEM__CODE, ITEM__CODE_0, ITEM__CODE_1.

    Remarque

    Une fois le chargement des données exécuté, les options sélectionnées sont appliquées et conservées pour toutes les exécutions suivantes. Vous ne pouvez pas modifier la configuration.
  4. Cliquez sur icône Enregistrer pour enregistrer les modifications. Une coche verte (icône de coche verte) dans la ligne indique que les modifications sont enregistrées.
  5. Pour démarrer le chargement de données, procédez comme suit :
    • Cliquez sur icône d'exécution.
    • Pour les chargements de données GoldenGate, cliquez sur icône Déployer.

    Une invite de confirmation apparaît lorsque le chargement des données démarre avec succès.

Pour vérifier le statut du chargement de données, reportez-vous au panneau Statut situé à droite sous les détails du schéma cible. Pour plus d'informations sur le panneau Statut, reportez-vous à la section Monitor Status of Data Loads, Data Flows, and Workflows. Ce panneau affiche des liens vers les travaux qui s'exécutent pour exécuter ce chargement de données. Cliquez sur ce lien pour surveiller la progression de l'emploi sur la page Détail emploi. Pour plus d'informations sur les travaux, reportez-vous à Création et gestion de travaux.

Exécuter un chargement de données à partir de la page Détails du workflow

Vous pouvez ajouter plusieurs chargements de données à un workflow, ainsi que des flux de données ou des workflows, et les exécuter en tant qu'étapes distinctes. Le panneau de gauche de la page Détails du workflow répertorie les flux de données, les workflows et les chargements de données disponibles.

Pour les chargements de données, le panneau de gauche répertorie les deux dossiers suivants :
  • Chargements de données : ce dossier répertorie tous les chargements de données que vous avez créés dans l'instance Data Transforms locale. Lorsque vous sélectionnez une étape dans le workflow qui est un chargement de données local, le panneau Propriétés disponible à droite du canevas de conception affiche le type Data Load et l'objet lié comme répertoire de base><nameofDataLoad>.
  • Chargements de données distants : ce dossier répertorie tous les chargements de données que vous avez créés dans une instance Data Transforms distante. Reportez-vous à Création d'une connexion Data Transforms pour le chargement de données à distance. Lorsque vous sélectionnez une étape dans le workflow qui est un chargement de données distant, le panneau Propriétés disponible à droite du canevas de conception affiche le type Remote Data Load et l'objet lié Name of the Data Transforms connection > <nameofDataLoad>.

Une fois les chargements de données ajoutés au workflow, cliquez sur icône d'exécution pour les exécuter.