Sélection de la source d'une tâche de chargement de données
Sélectionnez la ressource de données, la connexion et le schéma contenant les données sources à charger. Sélectionnez ensuite une ou plusieurs entités de données dans le schéma, selon le type de chargement que vous avez spécifié pour la tâche de chargement de données.
Lors de la sélection de plusieurs entités de données à partir d'un type de source de stockage de fichiers (tel que Stockage d'objets), vous pouvez utiliser un modèle de fichier pour ajouter des entités correspondant au modèle et utiliser le qualificatif d'entité logique pour regrouper des entités correspondantes dans un ou plusieurs groupes de modèles. Chaque groupe de modèles est traité comme une entité logique lors de l'exécution.
Pour configurer les données sources d'une tâche de chargement de données, vous commencez par sélectionner une ressource de données, une connexion et un schéma.
Vous pouvez paramétrer les ressources après avoir effectué les sélections.
Dans la table des entités de données, sélectionnez l'entité de données à utiliser comme source. Les données de l'entité de données sélectionnée sont chargées dans la cible lors de l'exécution de la tâche.
Vous pouvez paramétrer l'entité de données source après avoir sélectionné une entité de données dans la liste des entités disponibles.
- Allez à l'étape Source, onglet Entités de données.
-
Pour sélectionner une entité de données, sélectionnez l'une des options suivantes :
-
Dans la table Entités de données disponibles, sélectionnez une entité de données en cochant la case à côté du nom de l'entité. Sélectionnez ensuite Définir comme source. Le nom de l'entité de données que vous avez sélectionnée s'affiche à côté de Entités de données sélectionnées.
Pour filtrer la liste des entités disponibles, entrez un nom ou un modèle dans le champ et appuyez sur Entrée. Vous pouvez entrer un nom partiel ou un modèle à l'aide de caractères spéciaux tels que *. Par exemple, entrez
ADDRESS_*pour rechercher ADDRESS_EU1, ADDRESS_EU2 et ADDRESS_EU3. -
S'il y a lieu, sélectionnez Entrer un énoncé SQL personnalisé et sélectionnez Ajouter un énoncé SQL.
Dans le panneau de l'éditeur qui s'affiche, entrez un énoncé SQL unique qui définit les données à utiliser comme source et sélectionnez Valider.
Note : Dans les énoncés SQL, utilisez des guillemets simples autour des paramètres. Par exemple :
select * from ORDERS where Created_On >= '${SYS.LAST_LOAD_DATE}'Si la validation réussit, sélectionnez Ajouter.
L'étiquette
SQL_ENTITY<nnnnnnnnn>s'affiche, par exempleSQL_ENTITY123456789. Pour voir ou modifier l'énoncé, sélectionnez Modifier.
-
- (Facultatif) Vous pouvez affecter un paramètre à l'entité de données source après avoir effectué une sélection.
- Sélectionnez Parameterize (Parameteriser) à côté de la ressource pour affecter un paramètre à cette ressource. Lors du paramétrage, le service d'intégration de données ajoute un paramètre du type approprié et règle la valeur par défaut du paramètre à la valeur actuellement configurée pour cette ressource.
- Si disponible, sélectionnez Réutiliser le paramètre d'entité de données cible pour utiliser le paramètre d'entité cible comme paramètre pour cette entité de données source. Pour plus d'informations, voir Réutilisation des paramètres pour les ressources sources ou cibles.
-
Pour configurer davantage la source de données et la tâche de chargement, sélectionnez l'onglet Paramètres, le cas échéant. Selon le type de source, les paramètres que vous pouvez configurer sont les suivants :
- Autoriser la transmission ou désactiver la transmission : Par défaut, certains traitements de données sont transmis au système source. Pour appliquer des traitements ou des transformations en dehors du système source, désélectionnez cette case.
- Autoriser la dérive de schéma ou verrouiller les définitions de schéma : Par défaut, les modifications de définition de schéma dans l'entité de données spécifiée sont automatiquement détectées et récupérées (au moment de la conception et de l'exécution). Désélectionnez cette case pour utiliser une forme fixe de l'entité de données spécifiée même si la forme sous-jacente a été modifiée.
Pour un fichier JSON, la dérive de schéma est désactivée par défaut et ne peut pas être activée si un schéma personnalisé est utilisé pour déduire la forme de l'entité. Si vous voulez que la dérive de schéma soit disponible et activée, modifiez la source JSON dans le flux de données ou la tâche de chargement de données et décochez la case Utiliser un schéma personnalisé.
- Extraire les métadonnées de fichier en tant qu'attributs : Par défaut, le nom du fichier, la taille du fichier et d'autres métadonnées de fichier sont inclus en tant qu'attributs dans les données sources.
Les caractères spéciaux (espace compris) dans les noms de fichier ne sont pas pris en charge.
Décochez la case si vous ne souhaitez pas utiliser les métadonnées de fichier comme attributs.
-
Chargement incrémentiel : Cochez cette case pour identifier et charger uniquement les données créées ou modifiées depuis la dernière exécution du processus de chargement.
(Source de base de données relationnelle uniquement) Pour la colonne Watermark, sélectionnez la colonne utilisée pour marquer les rangées qui ont été chargées de manière incrémentielle. Seules les colonnes
DATE,TIMESTAMPetDATETIMEpeuvent être utilisées comme colonne de filigrane.
Dans la liste des entités de données disponibles, sélectionnez les entités de données à utiliser comme source. Vous pouvez sélectionner les entités de données individuellement, sélectionner toutes les entités disponibles ou utiliser un modèle de fichier pour sélectionner des entités en tant que groupe. Les données des entités de données sources sélectionnées sont chargées dans les cibles mappées lors de l'exécution de la tâche.
Le service d'intégration de données crée des règles pour les entités de données que vous incluez comme source. Des règles sont ajoutées lorsque vous effectuez des sélections d'entités de données individuelles ou lorsque vous utilisez un modèle de fichier (avec ou sans nom de groupe). Les entités de données regroupées sont traitées comme une entité logique lors de l'exécution.
Lorsque vous supprimez des entités de données de la liste Entités de données sources sélectionnées, ces entités de données ne sont plus incluses dans la source pour la tâche de chargement de données.
Lorsque vous sélectionnez plusieurs entités de données dans un type de source de stockage de fichiers (par exemple, Stockage d'objets) à utiliser comme source pour une tâche de chargement de données, vous pouvez utiliser un modèle de fichier pour regrouper et ajouter des fichiers existants correspondant au modèle. Les futurs fichiers entrants qui correspondent au modèle sont également inclus dans le groupe.
Dans le modèle de fichier, vous pouvez également utiliser le qualificatif logicalentity pour regrouper les entités correspondantes dans un ou plusieurs groupes de modèles. Chaque groupe de modèles est traité comme une entité logique lors de l'exécution.
Les entités de données qui correspondent à plusieurs groupes de modèles sont incluses dans tous ces groupes.
Tenez compte des noms de fichier suivants des entités de données disponibles pour la sélection :
SRC_BANK_A_01.csv
SRC_BANK_B_01.csv
SRC_BANK_C_01.csv
SRC_BANK_C_02.csv
MYSRC_BANK_A_01.csv
MYSRC_BANK_B_01.csv
MYSRC_BANK_C_01.csv
MYSRC_BANK_C_02.csv
MYSRC_BANK_D_01.csv
MYSRC_BANK_D_02.csvLorsque vous utilisez le modèle de fichier SRC*.csv, le service d'intégration de données crée une règle de modèle et ajoute les fichiers suivants à la source :
SRC_BANK_A_01.csv
SRC_BANK_B_01.csv
SRC_BANK_C_01.csv
SRC_BANK_C_02.csvLorsque vous utilisez le modèle de fichier MYSRC_BANK_C*.csv et fournissez le nom de groupe MYSRC, le service d'intégration de données crée une règle de groupe. Au moment de l'exécution, le nom du groupe consolide tous les fichiers correspondant au modèle en une entité source nommée MYSRC. Par exemple, les fichiers suivants sont consolidés :
MYSRC_BANK_C_01.csv
MYSRC_BANK_C_02.csvTous les fichiers entrants futurs qui correspondent au modèle sont ajoutés au groupe. Par exemple :
MYSRC_BANK_C_03.csv
MYSRC_BANK_C_04.csvLorsque vous utilisez le modèle de fichier avec le qualificatif logicalentity, MYSRC_BANK_{logicalentity:B|D}*.csv, et que vous fournissez le préfixe de nom de groupe MYNEWSRC_, le service d'intégration de données crée une règle de groupe et ajoute deux groupes de modèles qui consolident les fichiers correspondants suivants :
For pattern group MYNEWSRC_B:
MYSRC_BANK_B_01.csv
For pattern group MYNEWSRC_D:
MYSRC_BANK_D_01.csv
MYSRC_BANK_D_02.csvLe service d'intégration de données crée des groupes dans la liste Sélectionner des entités de données sources lorsque vous utilisez un modèle de fichier pour sélectionner plusieurs fichiers (par exemple, à partir du stockage d'objets) en tant que groupe à inclure dans la source pour une tâche de chargement de données.
- Allez à l'étape Source, onglet Entités de données.
- Dans la liste Entités de données sources sélectionnées, sélectionnez un nom de groupe.
- Dans le panneau Voir les détails du groupe de modèles, vous pouvez voir le modèle utilisé pour créer le groupe et la liste des entités de données qui correspondent au modèle.
Le service d'intégration de données ajoute des règles lorsque vous sélectionnez plusieurs entités de données à inclure dans la source pour une tâche de chargement de données.
Une règle est ajoutée lorsque vous avez effectué des sélections d'entités de données individuelles ou, le cas échéant, que vous avez inclus les entités par modèle ou groupe. Le nombre de règles est indiqué au-dessus du tableau Entités de données sources sélectionnées, entre crochets à côté de Voir les règles. Par exemple, Voir les règles (3).
Avant de supprimer une règle de groupe, vérifiez la liste des entités de données touchées par la suppression de la règle. Voir Consultation de la liste des fichiers inclus dans un groupe.