Utilisation de tâches de chargement de données
Une tâche de chargement de données vous permet de prendre des données à partir d'une source et de les charger dans une cible. Les tâches de chargement de données sont essentielles pour la préparation des données, la migration des données ou le chargement de diverses données dans des lacs de données ou des entrepôts de données.
Dans le service d'intégration de données, vous pouvez utiliser une tâche de chargement de données pour effectuer un chargement de données de 1 à 1 ou de n à n d'un type de système dans un autre, avec l'option de transformations de données multiples à aucune avant le chargement. Lorsque vous créez une tâche de chargement de données, le service d'intégration de données vous guide tout au long du processus de sélection des entités source et cible, d'application des transformations et de validation de la tâche. Pour la cible, vous avez la possibilité de créer l'entité ou les entités avant de charger ou de sélectionner des entités existantes dans lesquelles charger les données. Pour la source et la cible, vous avez la possibilité d'utiliser des paramètres pour spécifier les ressources et réutiliser les paramètres, comme décrit dans Paramètres pour la source et la cible.
Les pages suivantes décrivent comment créer, modifier et supprimer des tâches de chargement de données :
- Création d'une tâche de chargement de données
- Sélection de la source d'une tâche de chargement de données
- Sélection de la cible pour une tâche de chargement de données
- Application de transformations
- Mappage d'attributs (uniquement pour les tâches de chargement de données qui utilisent des entités de données cibles existantes)
- Vérification et validation de la tâche
- Modification d'une tâche de chargement de données
- Suppression d'une tâche de chargement de données
Les pages suivantes décrivent comment utiliser des paramètres dans une tâche de chargement de données :
Les pages suivantes décrivent les autres tâches de gestion qui peuvent être effectuées :
Parties d'une tâche de chargement de données
La configuration d'une tâche pour charger des données d'une source vers une cible comprend plusieurs étapes.
- Informations de base et Type de chargement : Sélectionnez le type d'entité de données source et d'entité cible, ainsi que le type de chargement.
Pour les types de ressource de données Base de données, Stockage de fichiers et SaaS Applications que vous pouvez utiliser comme entités de données source et cible, voir Types source et cible pris en charge.
Pour le type de chargement, les données sources à charger peuvent provenir de plusieurs entités de données d'un schéma ou d'une seule entité de données. Par exemple, les données de deux entités ou plus d'une source Oracle Database peuvent être chargées dans une cible du service de stockage d'objets.
-
Source : Sélectionnez la ressource de données, la connexion et le schéma contenant les données sources à charger. Ensuite, selon le type de chargement que vous avez spécifié, sélectionnez une ou plusieurs entités de données à ajouter à la source pour le chargement. Voir Sélection de la source.
Pour paramétrer une ressource dans la source, voir Paramètres pour la source et la cible.
-
Cible : Sélectionnez la ressource de données, la connexion, le schéma et l'entité à utiliser comme cible. Par défaut, les entités source et cible sont mappées par nom. Si vous n'avez pas d'entité existante vers laquelle effectuer le chargement, vous pouvez en créer une. Voir Sélection de la cible.
Pour paramétrer une ressource cible, voir Utilisation de paramètres pour la source et la cible.
- Transformation : Utilisez les onglets interactifs pour appliquer des transformations aux attributs sources. Une tâche de chargement de données prend en charge les transformations aux niveaux des métadonnées et des données. Voir Application de transformations.
- Mappage d'attributs : Lors du chargement de données vers une ou plusieurs entités de données cibles existantes, les attributs sources sont mappés par défaut aux attributs cibles selon leur nom. Vous pouvez appliquer d'autres règles de mappage à tous les attributs de toutes les entités mappées. Voir Mappage d'attributs.
- Vérifier et valider : Vérifiez et modifiez les étapes de configuration, et assurez-vous que la tâche de chargement de données est valide avant la publication. Voir Vérification et validation de la tâche.
Types de source et de cible pris en charge
La plupart des types de source de données sont pris en charge dans les tâches de chargement de données.
Voir Sources de données et versions prises en charge.
Si vous utilisez des entités de données hiérarchiques, voir aussi Types de données hiérarchiques pour plus d'informations sur les éléments pris en charge.
Paramètres de la source et de la cible
En utilisant des paramètres pour la source ou la cible, vous avez la possibilité d'utiliser la même tâche de chargement de données pour différentes sources ou cibles de données au moment de la conception ou de l'exécution.
Vous pouvez utiliser un paramètre pour chacune des ressources suivantes, à la fois dans un type de chargement d'entité de données unique et dans plusieurs types de chargement d'entités de données :
- Ressource de données source, connexion et schéma ou seau
- Ressource de données cible, connexion et schéma ou seau
Notez que lorsque le type de ressource de données est Stockage d'objets, vous pouvez paramétrer le seau (schéma), mais pas le compartiment qui contient le seau.
Avec la ressource d'entité de données, vous pouvez paramétrer l'entité source ou l'entité cible dans les conditions suivantes uniquement :
- Lors de l'utilisation du type de chargement d'entité de données unique
- Lors de la création d'une entité de données sur la cible en entrant un nom d'entité
- Lors de l'utilisation d'une entité de données existante sur la cible
Lorsque vous paramétrez une ressource sur la source et la cible, le service d'intégration de données ajoute et utilise automatiquement les noms de paramètre suivants :
Ressource | Nom du paramètre source | Nom du paramètre cible |
---|---|---|
Ressource de données | SOURCE_DATA_ASSET |
TARGET_DATA_ASSET |
Connexion | SOURCE_CONNECTION |
TARGET_CONNECTION |
Schéma ou seau | SOURCE_SCHEMA |
TARGET_SCHEMA |
Entité de données | SOURCE_DATA_ENTITY |
TARGET_DATA_ENTITY |
Pour paramétrer une ressource sur la cible, voir aussi Réutilisation des paramètres pour les ressources sources ou cibles.
Ajout, modification et suppression de paramètres
Vous gérez les paramètres de l'étape Source et de l'étape Cible lorsque vous créez la tâche de chargement de données.
Après avoir sélectionné une ressource de données, une connexion, un schéma ou une entité de données source, vous pouvez affecter un paramètre à une ressource en sélectionnant Paramétrer à côté de la ressource.
De même pour les ressources cibles, une fois que vous avez sélectionné une ressource de données, une connexion, un schéma ou une entité de données cible, vous pouvez affecter un paramètre à une ressource en sélectionnant Paramétrer à côté de la ressource.
Pour paramétrer une ressource sur la source ou la cible, voir aussi Réutilisation des paramètres des ressources sources ou cibles.
Une fois les paramètres ajoutés, vous pouvez modifier un nom de paramètre et ajouter une description. Voir Modification d'un paramètre de ressource.
Pour supprimer un paramètre affecté à une ressource, voir Suppression d'un paramètre de ressource.
Réutilisation des paramètres pour les ressources sources ou cibles
Supposons que vous ayez paramétré la ressource de données source, la connexion, le schéma ou l'entité de données dans une tâche de chargement de données. Pour paramétrer les ressources cibles, au lieu de sélectionner Paramétrer, vous pouvez sélectionner Réutiliser le paramètre source <type de ressource> pour utiliser les mêmes paramètres que ceux qui ont été ajoutés aux ressources du même type sur la source.
De même, si vous avez paramétré les ressources cibles et que vous voulez utiliser les paramètres cibles pour les ressources du même type sur la source, vous pouvez sélectionner Réutiliser le paramètre <type de ressource> cible pour paramétrer la ressource de données source, la connexion, le schéma ou l'entité de données.
Lorsque vous paramétrez une ressource source ou cible en réutilisant le paramètre de ressource du même type que celui de la cible ou de la source, le service d'intégration de données ne crée pas de nouveau paramètre. Au lieu de cela, un seul paramètre est utilisé pour un type de ressource qui est sur la source et la cible.
Par exemple, si une ressource de données source du service de stockage d'objets est paramétrée, le nom du paramètre de ressource de données cible du service de stockage d'objets est SOURCE_DATA_ASSET
lorsque vous réutilisez le paramètre source pour la ressource de données cible, comme indiqué dans le tableau suivant :
Ressource cible | Nom du paramètre cible lors de la réutilisation du paramètre source du même type |
---|---|
Ressource de données | SOURCE_DATA_ASSET |
Connexion | SOURCE_CONNECTION |
Schéma ou seau | SOURCE_SCHEMA |
Entité de données | SOURCE_DATA_ENTITY |
De même, si une ressource cible du service de stockage d'objets telle que la connexion est paramétrée, le paramètre de connexion source du service de stockage d'objets est TARGET_CONNECTION
lorsque vous réutilisez le paramètre cible pour la connexion source.
Ressource dans la source | Nom du paramètre source lors de la réutilisation du paramètre cible du même type |
---|---|
Ressource de données | TARGET_DATA_ASSET |
Connexion | TARGET_CONNECTION |
Schéma ou seau | TARGET_SCHEMA |
Entité de données | TARGET_DATA_ENTITY |