Sélectionner la source d'une tâche de programme de chargement de données
Sélectionnez la ressource de données, la connexion et le schéma contenant les données source à charger. Sélectionnez ensuite une ou plusieurs entités de données dans le schéma, en fonction du type de chargement que vous avez indiqué pour la tâche de programme de chargement de données.
Lorsque vous sélectionnez plusieurs entités de données à partir d'un type de source de stockage de fichiers (par exemple, Object Storage), vous pouvez utiliser un modèle de fichier pour ajouter des entités qui correspondent au modèle, et utiliser le qualificatif d'entité logique pour regrouper les entités correspondantes dans des groupes de modèles. Chaque groupe de modèles est traité comme une entité logique lors de l'exécution.
Afin de configurer les données source pour une tâche de programme de chargement de données, commencez par sélectionner une ressource de données, une connexion et un schéma.
Vous pouvez paramétrer les ressources après avoir effectué les sélections.
Dans la table des entités de données, sélectionnez l'entité de données à utiliser comme source. Les données de l'entité de données sélectionnée sont chargées vers la cible lors de l'exécution de la tâche.
Vous pouvez paramétrer l'entité de données source après avoir sélectionné une entité de données dans la liste des entités disponibles.
- Accédez à l'étape Source, onglet Entités de données.
-
Pour sélectionner une entité de données, procédez de l'une des manières suivantes :
-
Dans la table Entités de données disponibles, sélectionnez une entité de données en cochant la case située en regard du nom de l'entité. Sélectionnez ensuite Définir comme source. Le nom de l'entité de données que vous avez sélectionnée est affiché en regard de Entité des données sélectionnées.
Pour filtrer la liste des entités disponibles, entrez un nom ou un modèle dans le champ et appuyez sur Entrée. Vous pouvez saisir un nom partiel ou un modèle à l'aide de caractères spéciaux tels que *. Par exemple, entrez
ADDRESS_*
pour rechercher ADDRESS_EU1, ADDRESS_EU2 et ADDRESS_EU3. -
Le cas échéant, sélectionnez Entrer une instruction SQL personnalisée et Ajouter une instruction SQL.
Dans le panneau de l'éditeur qui apparaît, entrez une instruction SQL unique qui définit les données à utiliser comme source et sélectionnez Valider.
Remarque : dans les instructions SQL, utilisez des guillemets simples autour des paramètres. Par exemple :
select * from ORDERS where Created_On >= '${SYS.LAST_LOAD_DATE}'
Si la validation aboutit, sélectionnez Ajouter.
Le libellé
SQL_ENTITY<nnnnnnnnn>
apparaît, par exemple,SQL_ENTITY123456789
. Pour afficher ou modifier l'instruction, sélectionnez Modifier.
-
- (Facultatif) Vous pouvez affecter un paramètre à l'entité de données source après avoir effectué une sélection.
- Sélectionnez Paramétrer en regard de la ressource pour affecter un paramètre à cette ressource. Lors du paramétrage, Data Integration ajoute un paramètre du type approprié et définit la valeur de paramètre par défaut sur la valeur actuellement configurée pour cette ressource.
- Si disponible, sélectionnez Réutiliser le paramètre d'entité de données cible pour utiliser le paramètre d'entité cible comme paramètre pour cette entité de données source. Pour plus d'informations, reportez-vous à Réutilisation de paramètres pour les ressources source ou cible.
-
Pour configurer davantage la source de données et la tâche de programme de chargement, sélectionnez l'onglet Paramètres, le cas échéant. Selon le type de source, les paramètres que vous pouvez configurer sont les suivants :
- autoriser la propagation ou désactiver la propagation : par défaut, certains traitements de données sont déchargés vers le système source. Pour appliquer des traitements ou des transformations en dehors du système source, désélectionnez la case.
- Autoriser la dérive de schéma ou verrouiller les définitions de schéma : par défaut, les modifications de définition de schéma dans l'entité de données indiquée sont automatiquement détectées et extraites (à la conception et à l'exécution). Pour utiliser une forme fixe de l'entité de données spécifiée, même lorsque la forme sous-jacente a changé, désélectionnez la case.
Pour un fichier JSON, la dérive de schéma est désactivée par défaut et ne peut pas être activée si un schéma personnalisé est utilisé pour inférer la forme d'entité. Si vous voulez que la dérive de schéma soit disponible et activée, modifiez la source JSON dans le flux de données ou la tâche de programme de chargement de données et désélectionnez la case Utiliser le schéma personnalisé.
- Extraire les métadonnées du fichier en tant qu'attributs : par défaut, le nom, la taille et d'autres métadonnées du fichier sont inclus comme attributs dans les données source.
Les caractères spéciaux (y compris les espaces) dans les noms de fichier ne sont pas pris en charge.
Désélectionnez cette case si vous ne voulez pas utiliser les métadonnées de fichier comme attributs.
-
Chargement incrémentiel : Cochez cette case pour identifier et charger uniquement les données créées ou modifiées depuis la dernière exécution du traitement de chargement.
(Source de base de données relationnelle uniquement) Pour Colonne de marque-page, sélectionnez la colonne utilisée pour marquer les lignes qui ont été chargées de manière incrémentielle. Seules les colonnes
DATE
,TIMESTAMP
etDATETIME
peuvent être utilisées en tant que colonne de filigrane.
Dans la liste des entités de données disponibles, sélectionnez les entités de données à utiliser comme source. Vous pouvez sélectionner les entités de données individuellement, sélectionner toutes les entités disponibles ou utiliser un modèle de fichier pour sélectionner des entités en tant que groupe. Les données des entités de données source sélectionnées sont chargées vers les cibles mises en correspondance lors de l'exécution de la tâche.
Data Integration crée des règles pour les entités de données que vous incluez en tant que source. Des règles sont ajoutées lorsque vous effectuez des sélections d'entité de données individuelles ou lorsque vous utilisez un modèle de fichier (avec ou sans nom de groupe). Les entités de données regroupées sont traitées comme des entités logiques lors de l'exécution.
Lorsque vous enlevez des entités de données de la liste Entités de données source sélectionnées, ces entités de données ne sont plus incluses dans la source pour la tâche de programme de chargement de données.
Lorsque vous sélectionnez plusieurs entités de données à partir d'un type de source de stockage de fichiers (par exemple, Object Storage) à utiliser comme source pour une tâche de programme de chargement de données, vous pouvez utiliser un modèle de fichier pour regrouper et ajouter des fichiers existants qui correspondent au modèle. Les futurs fichiers entrants qui correspondent au modèle sont également inclus dans le groupe.
Dans le modèle de fichier, vous pouvez également utiliser le qualificatif logicalentity
pour regrouper les entités correspondantes dans des groupes de modèles. Chaque groupe de modèles est traité comme une entité logique lors de l'exécution.
Les entités de données qui correspondent à plusieurs groupes de modèles sont incluses dans tous ces groupes.
Prenez en compte les noms de fichier suivants des entités de données pouvant être sélectionnées :
SRC_BANK_A_01.csv
SRC_BANK_B_01.csv
SRC_BANK_C_01.csv
SRC_BANK_C_02.csv
MYSRC_BANK_A_01.csv
MYSRC_BANK_B_01.csv
MYSRC_BANK_C_01.csv
MYSRC_BANK_C_02.csv
MYSRC_BANK_D_01.csv
MYSRC_BANK_D_02.csv
Lorsque vous utilisez le modèle de fichier SRC*.csv
, Data Integration crée une règle de modèle et ajoute les fichiers suivants à la source :
SRC_BANK_A_01.csv
SRC_BANK_B_01.csv
SRC_BANK_C_01.csv
SRC_BANK_C_02.csv
Lorsque vous utilisez le modèle de fichier MYSRC_BANK_C*.csv
et que vous indiquez le nom de groupe MYSRC
, Data Integration crée une règle de groupe. Lors de l'exécution, le nom du groupe consolide tous les fichiers correspondant au modèle en une seule entité source nommée MYSRC
. Par exemple, les fichiers suivants sont consolidés :
MYSRC_BANK_C_01.csv
MYSRC_BANK_C_02.csv
Tous les futurs fichiers entrants qui correspondent au modèle sont ajoutés au groupe. Par exemple :
MYSRC_BANK_C_03.csv
MYSRC_BANK_C_04.csv
Lorsque vous utilisez le modèle de fichier avec le qualificatif logicalentity
, MYSRC_BANK_{logicalentity:B|D}*.csv
, et que vous indiquez le préfixe de nom de groupe MYNEWSRC_
, Data Integration crée une règle de groupe et ajoute deux groupes de modèles qui consolident les fichiers correspondants suivants :
For pattern group MYNEWSRC_B:
MYSRC_BANK_B_01.csv
For pattern group MYNEWSRC_D:
MYSRC_BANK_D_01.csv
MYSRC_BANK_D_02.csv
Data Integration crée des groupes dans la liste Sélectionner des entités de données source lorsque vous utilisez un modèle de fichier pour sélectionner plusieurs fichiers (par exemple, à partir d'Object Storage) en tant que groupe à inclure dans la source pour une tâche de programme de chargement de données.
- Accédez à l'étape Source, onglet Entités de données.
- Dans la liste Entités de données source sélectionnées, sélectionnez un nom de groupe.
- Dans le panneau Visualiser les détails du groupe de modèles, vous pouvez visualiser le modèle utilisé pour créer le groupe, ainsi que la liste des entités de données qui correspondent au modèle.
Data Integration ajoute des règles lorsque vous sélectionnez plusieurs entités de données à inclure dans la source pour une tâche de programme de chargement de données.
Une règle est ajoutée lorsque vous avez effectué des sélections d'entité de données individuelles ou, le cas échéant, que vous avez inclus les entités selon un modèle ou un groupe. Le nombre de règles est indiqué au-dessus de la table Entités de données source sélectionnées entre parenthèses en regard de Afficher les règles. Par exemple : Afficher les règles (3).
Avant de supprimer une règle de groupe, veillez à vérifier la liste des entités de données concernées par la suppression de la règle. Reportez-vous à Affichage de la liste des fichiers inclus dans un groupe.