Documentation Oracle Cloud Infrastructure

Utilisation des tâches du chargeur de données

Une tâche de programme de chargement de données vous permet d'extraire des données d'une source et de les charger dans une cible. Les tâches du chargeur de données sont essentielles à la préparation des données, à la migration des données ou au chargement de données diverses dans des lacs de données ou des entrepôts de données.

Dans Data Integration, vous pouvez utiliser une tâche de programme de chargement de données pour effectuer un chargement de données de 1 à 1 ou de n à n d'un type de système à un autre, avec la possibilité de plusieurs transformations de données à aucune avant le chargement. Lorsque vous créez une tâche de programme de chargement de données, Data Integration vous guide tout au long du processus de sélection des entités source et cible, d'application des transformations et de validation de la tâche. Pour la cible, vous avez la possibilité de créer la ou les entités avant de charger ou de sélectionner des entités existantes dans lesquelles charger les données. Pour la source et la cible, vous pouvez utiliser des paramètres pour spécifier les ressources et les paramètres de réutilisation, comme décrit dans Paramètres de la source et de la cible.

Les pages suivantes expliquent comment créer, modifier et supprimer des tâches de programme de chargement de données :

Les pages suivantes décrivent l'utilisation des paramètres dans une tâche de programme de chargement de données :

Les pages suivantes décrivent d'autres tâches de gestion qui peuvent être effectuées :

Parties d'une tâche de programme de chargement de données

La configuration d'une tâche de chargement des données d'une source vers une cible implique plusieurs étapes.

  • Informations de base et Type de chargement : choisissez le type de l'entité de données source et de l'entité de données cible, ainsi que le type de chargement.

    Pour les types de ressource de données Base de données, File Storage et SaaS applications que vous pouvez utiliser comme entités de données source et cible, reportez-vous à Types de source et de cible pris en charge.

    Pour le type de chargement, les données source à charger peuvent provenir de plusieurs entités de données d'un schéma ou d'une entité de données unique. Par exemple, vous pouvez charger des données de plusieurs entités d'une source Oracle Database vers une cible Object Storage.

  • Source : sélectionnez la ressource de données, la connexion et le schéma contenant les données source à charger. Ensuite, selon le type de chargement que vous avez indiqué, sélectionnez les entités de données à ajouter à la source pour le chargement. Reportez-vous à Sélection de la source.

    Pour paramétrer une ressource dans la source, reportez-vous à Paramètres de la source et de la cible.

  • Cible : sélectionnez la ressource de données, la connexion, le schéma et l'entité de données à utiliser comme cible. Par défaut, les entités source et cible sont mises en correspondance par nom. Si vous ne disposez pas encore d'une entité de données de destination pour le chargement, vous pouvez en créer une. Reportez-vous à Sélection de la cible.

    Pour paramétrer une ressource cible, reportez-vous à Utilisation des paramètres pour la source et la cible.

  • Transformation : utilisez les onglets interactifs pour appliquer des transformations aux attributs source. Les tâches de programme de chargement de données prennent en charge les transformations au niveau des métadonnées et des données. Reportez-vous à Application de transformations.
  • Mise en correspondance d'attributs : lors du chargement de données vers une entité de données cible existante ou plusieurs entités, les attributs source sont mis en correspondance par défaut avec les attributs cible par nom d'attribut. Vous pouvez appliquer d'autres règles de mise en correspondance à tous les attributs sur toutes les entités mises en correspondance. Reportez-vous à Mise en correspondance des attributs.
  • Vérifier et valider : vérifiez et modifiez les éventuelles étapes de configuration, et assurez-vous que la tâche de programme de chargement de données est valide avant sa publication. Reportez-vous à Vérification et validation de la tâche.

Paramètres pour la source et la cible

En utilisant des paramètres pour la source ou la cible, vous avez la possibilité d'utiliser la même tâche de programme de chargement de données pour différentes sources de données ou cibles de données lors de la conception ou de l'exécution.

Vous pouvez utiliser un paramètre pour chacune des ressources suivantes, à la fois pour le type de chargement d'entité de données unique et pour le type de chargement d'entités de données multiples :

  • Ressource de données source, connexion, schéma ou bucket
  • Ressource de données cible, connexion, schéma ou bucket

Lorsque le type de ressource de données est Object Storage, vous pouvez paramétrer le bucket (schéma), mais pas le compartiment qui le contient.

Avec la ressource d'entité de données, vous pouvez paramétrer l'entité source ou l'entité cible dans les conditions suivantes uniquement :

  • Lors de l'utilisation du type de chargement d'entité de données unique
  • Lors de la création d'une entité de données sur la cible en saisissant un nom d'entité
  • Lors de l'utilisation d'une entité de données existante sur la cible

Lorsque vous paramétrez une ressource sur la source et la cible, Data Integration ajoute et utilise automatiquement les noms de paramètre suivants :

Ressource Nom de paramètre de source Nom du paramètre cible
Ressource de données SOURCE_DATA_ASSET TARGET_DATA_ASSET
Connexion SOURCE_CONNECTION TARGET_CONNECTION
Schéma ou bucket SOURCE_SCHEMA TARGET_SCHEMA
Entité de données SOURCE_DATA_ENTITY TARGET_DATA_ENTITY

Pour paramétrer une ressource sur la cible, reportez-vous également à Réutilisation des paramètres pour les ressources source ou cible.

Ajout, modification et suppression de paramètres

Vous gérez les paramètres des étapes Source et Cible lorsque vous créez la tâche de programme de chargement de données.

Une fois que vous avez sélectionné une ressource de données source, une connexion, un schéma ou une entité de données, vous pouvez affecter un paramètre à une ressource en sélectionnant Paramétrer en regard de la ressource.

De même pour les ressources cible, une fois que vous avez sélectionné une ressource de données, une connexion, un schéma ou une entité de données cible, vous pouvez affecter un paramètre à une ressource en sélectionnant Paramétrer en regard de la ressource.

Pour paramétrer une ressource sur la source ou la cible, reportez-vous également à Réutilisation des paramètres pour les ressources source ou cible.

Une fois les paramètres ajoutés, vous pouvez modifier leur nom et ajouter une description. Reportez-vous à Modification d'un paramètre de ressource.

Pour supprimer un paramètre affecté à une ressource, reportez-vous à Suppression d'un paramètre de ressource.

Réutilisation des paramètres pour les ressources source ou cible

Supposons que vous ayez paramétré la ressource de données source, la connexion, le schéma ou l'entité de données dans une tâche de programme de chargement de données. Pour paramétrer les ressources cible, au lieu de sélectionner Paramétrer, vous pouvez sélectionner Réutiliser le paramètre source <type de ressource> pour utiliser les mêmes paramètres que ceux qui ont été ajoutés aux ressources du même type sur la source.

De même, si vous avez paramétré les ressources cible et que vous voulez utiliser les paramètres cible pour les ressources du même type sur la source, vous pouvez sélectionner Réutiliser le paramètre <type de ressource> cible pour paramétrer la ressource de données source, la connexion, le schéma ou l'entité de données.

Lorsque vous paramétrez une ressource source ou cible en réutilisant le paramètre de ressource du même type que celui de la cible ou de la source, Data Integration ne crée pas de paramètre. A la place, un seul paramètre est utilisé pour un type de ressource qui se trouve sur la source et la cible.

Par exemple, si une ressource de données source Object Storage est paramétrée, le nom du paramètre de ressource de données cible Object Storage est SOURCE_DATA_ASSET lorsque vous réutilisez le paramètre source pour la ressource de données cible, comme indiqué dans le tableau suivant :

Ressource cible Nom du paramètre cible lors de la réutilisation du paramètre source du même type
Ressource de données SOURCE_DATA_ASSET
Connexion SOURCE_CONNECTION
Schéma ou bucket SOURCE_SCHEMA
Entité de données SOURCE_DATA_ENTITY

De même, si une ressource cible Object Storage telle que la connexion est paramétrée, le paramètre de connexion source Object Storage est TARGET_CONNECTION lorsque vous réutilisez le paramètre cible pour la connexion source.

Ressource sur l'origine Nom du paramètre source lors de la réutilisation du paramètre cible de même type
Ressource de données TARGET_DATA_ASSET
Connexion TARGET_CONNECTION
Schéma ou bucket TARGET_SCHEMA
Entité de données TARGET_DATA_ENTITY