Utilisation des paramètres de flux de données
Dans le service d'intégration de données, les types de paramètre que vous pouvez utiliser dans les flux de données sont définis par l'utilisateur ou générés par le système.
Le service d'intégration de données génère les paramètres de système lors de l'exécution, par exemple SYS.TASK_START_TIME. Les valeurs des paramètres du système peuvent être utilisées dans des expressions pour journaliser les informations sur le système. Actuellement, vous ne pouvez utiliser des paramètres générés par le système qu'avec l'opérateur Expression.
Les paramètres définis par l'utilisateur vous donnent la flexibilité d'utiliser des tâches avec différentes configurations de sources, de cibles et de transformations lors de la conception et de l'exécution. Pour utiliser des paramètres, commencez par créer des paramètres pour les opérateurs dans un flux de données. Par exemple, lors de la conception d'un flux de données, utilisez l'onglet Détails du panneau Propriétés d'un opérateur pour ajouter et affecter des paramètres pour les types de ressource suivants :
- Ressource de données (source et cible)
- Connexion (opérateurs Source et Cible)
- Schéma ou seau (source et cible)
- Entité de données (source et cible)
- Condition (filtre, jointure, consultation, fractionnement)
Avec une entité de données, au lieu de paramétrer le nom complet de l'entité, vous pouvez inclure un ou plusieurs paramètres dans le nom de l'entité de données. Voir À propos des paramètres dans les noms d'entité de données.
Pour les opérateurs de flux de données qui utilisent des expressions dans la configuration, tels que les opérateurs Expression et agréger, et les opérateurs Filtrer, Jointure, Consultation et fractionner, vous pouvez utiliser des paramètres dans les expressions (également appelés paramètres scalaires). Voir À propos des paramètres d'expression.
Lorsque vous utilisez des paramètres définis par l'utilisateur et des paramètres d'expression dans un flux de données, vous devez spécifier des valeurs par défaut pour ces paramètres. Ensuite, lorsque vous créez une tâche d'intégration pour le flux de données paramétré, vous pouvez modifier une ou plusieurs de ces valeurs par défaut dans la page Configurer les paramètres, ou vous pouvez modifier les valeurs au moment de l'exécution. Si vous ne modifiez pas un paramètre lors de la conception ou de l'exécution, la valeur par défaut définie dans le flux de données est utilisée lorsque vous exécutez la tâche.
Des paramètres peuvent également être affectés à des ressources dans des tâches telles que SQL, le service de flux de données OCI et des tâches REST. Pour utiliser des paramètres pour les ressources source et cible dans une tâche de chargement de données, voir Utilisation de paramètres pour la source et la cible.
Lorsque vous ajoutez une tâche paramétrée à un pipeline, vous pouvez reconfigurer les valeurs des paramètres entrants définis au niveau de la tâche ou au niveau du flux de données associé. Vous pouvez également reconfigurer les valeurs des paramètres d'expression. Voir Utilisation de paramètres dans les pipelines.
Éléments à considérer concernant l'utilisation des paramètres
L'utilisation de paramètres empêche les ressources d'intégration de données et les valeurs d'être liées en permanence à une tâche d'intégration. Si vous n'affectez pas de paramètres, les ressources et valeurs choisies sont utilisées chaque fois que vous exécutez la tâche. Les paramètres vous permettent de réutiliser une conception de flux de données avec différentes ressources d'intégration de données et valeurs. Pour modifier les valeurs lors de la conception, utilisez le panneau Paramètres ou la page Configurer les paramètres lorsque vous configurez le flux de données dans une tâche d'intégration.
Bien que les paramètres soient conçus pour vous donner de la flexibilité lorsque vous exécutez le flux de données dans une tâche d'intégration, ils peuvent rapidement devenir complexes et créer de la confusion. Par exemple, lorsque vous ajoutez un opérateur Source à un flux de données, vous sélectionnez la ressource de données, la connexion, le schéma, puis l'entité de données qui sert de source de données du flux de données. Ces quatre valeurs sont les valeurs par défaut de l'opérateur. Des paramètres peuvent être affectés à chacune de ces valeurs. Lorsque vous affectez des paramètres, vous devez agir avec prudence et porter une attention particulière aux valeurs que vous affectez.
Supposons que vous affectez des paramètres aux valeurs d'entité de données et de ressource de données, mais pas aux valeurs de connexion ou de schéma, des erreurs risquent alors de se produire si vous modifiez la valeur d'un paramètre. Par exemple, si vous modifiez la valeur de la ressource de données, la nouvelle ressource peut avoir des valeurs de connexion, de schéma ou d'entité de données différentes des valeurs initiales. Le service d'intégration de données vous avertit lorsque vous modifiez une valeur, mais vous devez vérifier vous-même les relations et vous assurer que le flux de données fonctionne toujours avec les valeurs modifiées. Lors de la conception du flux de données, dans une tâche d'intégration et lorsque vous exécutez la tâche, gardez à l'esprit les valeurs des paramètres partout.
Les paramètres sont propres au flux de données auquel vous les ajoutez. Vous ne pouvez pas les partager ou les réutiliser entre flux de données.
Soyez également attentif lorsque vous ajoutez un paramètre pour une nouvelle entité de données cible. Les nouvelles entités de données n'ont pas de forme, ce qui signifie qu'elles ne contiennent pas encore d'attributs. Pour éviter des erreurs au moment de la conception ou de l'exécution, soyez prudent lorsque vous réutilisez des paramètres affectés à de nouveaux objets. Par exemple, n'affectez pas à une entité de données source ou à une entité de données cible existante un paramètre dont la valeur par défaut est une nouvelle entité de données cible.
À propos des paramètres d'expression
Les paramètres vous donnent la flexibilité de réutiliser des expressions avec différentes valeurs au moment de la conception ou de l'exécution.
Vous ajoutez des paramètres aux expressions au niveau du flux de données lorsque vous configurez des opérateurs qui utilisent des expressions. Les paramètres d'expression (également connus sous le nom de paramètres scalaires) s'appliquent aux opérateurs Filtrer, joindre, rechercher, fractionner, expression et agréger. Selon l'opérateur, utilisez le générateur d'expressions ou le générateur de conditions pour ajouter des paramètres d'expression.
Les paramètres d'expression que vous ajoutez à un opérateur sont enregistrés dans le flux de données et sont disponibles pour d'autres opérateurs applicables dans le flux de données.
Un paramètre d'expression a un nom et une valeur par défaut, et il est associé à un type de données. Les types suivants sont pris en charge :
NUMERICVARCHARDATEDATETIMEDECIMALDOUBLEFLOATINTEGERTIMESTAMPTINYINTBOOLEANLONGSTRING
Après avoir créé un paramètre d'expression, vous ne pouvez pas en modifier le nom ou le type, ni toute autre propriété correspondant à son type. Seule la valeur par défaut peut être modifiée. Vous pouvez modifier la valeur par défaut tant au moment de la conception et que de l'exécution.
Prenons, par exemple, l'expression suivante pour un filtre de condition dans un flux de données :
FILTER_1.COUNTRIES.CITY='Redwood Shores'Au lieu d'indiquer une valeur explicite pour CITY, vous pouvez utiliser un paramètre dans l'expression. Supposons que vous ayez créé un paramètre d'expression VARCHAR, par exemple P_VARCHAR, et que vous définissiez la valeur par défaut à Redwood Shores. Vous pouvez ensuite modifier le filtre de condition pour utiliser le paramètre d'expression :
FILTER_1.COUNTRIES.CITY=$P_VARCHARÀ la conception, vous pouvez modifier la valeur par défaut de P_VARCHAR lorsque vous créez une tâche d'intégration qui utilise ce flux de données. Puis, lors de l'exécution, vous pouvez utiliser la valeur par défaut définie dans la tâche d'intégration ou modifier la valeur.
Tous les paramètres d'expression que vous ajoutez à un flux de données sont disponibles dans le panneau Paramètres.
À propos des paramètres du système
Un paramètre de système a un nom et un type. Vous pouvez lier la valeur d'un paramètre du système, mais vous ne pouvez pas la modifier.
Lors de l'ajout d'une expression à un opérateur Expression dans un flux de données, vous utilisez l'onglet Paramètres dans le générateur d'expressions pour voir la liste des paramètres de système. Vous pouvez utiliser les paramètres de système dans les expressions pour enregistrer les informations système.
Le tableau suivant présente les paramètres de système que vous pouvez utiliser.
| Nom | Type | Description |
|---|---|---|
| SYS.TASK_START_TIME | TIMESTAMP | Heure de début de la tâche (UTC). |
| SYS.TASK_RUN_KEY |
OCID |
Identificateur interne de l'exécution de la tâche. |
| SYS.TASK_RUN_NAME |
STRING |
Nom de l'exécution de tâche. |
| SYS.TASK_SCHEDULE_TRIGGER_TIME | TIMESTAMP | Temps de déclenchement du programme (pour une exécution de tâche lancée à partir d'un programme). L'heure programmée peut être différente de l'heure de début de la tâche. |
| SYS.TASK_SCHEDULE_TIMEZONE | STRING | Fuseau horaire correspondant à l'heure programmée, qui représente l'heure du fuseau horaire définie dans le programme de la tâche. |
| SYS.RETRY_ATTEMPT | INTEGER | Nombre de tentatives d'exécution d'une tâche configurées pour les nouvelles tentatives en cas d'échec d'une exécution. |
Note : La valeur d'un OCID est une chaîne.
À propos des paramètres dans les noms d'entité de données
Lors de la configuration d'un opérateur Source ou Cible dans un flux de données, vous pouvez inclure un ou plusieurs paramètres dans le nom de l'entité de données, à l'aide de la syntaxe ${PARAMETER_NAME}.
Un nom de paramètre est sensible à la casse et chaque paramètre que vous utilisez doit avoir une valeur par défaut.
Par exemple, CUSTOMERS_${COUNTRY} peut retourner la table de base de données CUSTOMERS_USA et BANK_${COUNTRY}/* peut retourner les fichiers du service de stockage d'objets dans BANK_EU.
Pour utiliser des paramètres dans les noms d'entité de données, vous pouvez les ajouter au flux de données avant d'ajouter l'opérateur de données. Vous pouvez également ajouter les paramètres lors de la configuration de l'entité de données pour l'opérateur.
-
Pour ajouter des paramètres à un flux de données, dans le flux de données, sélectionnez Paramètres dans le menu Voir de la barre d'outils du canevas pour ouvrir le panneau Paramètres.
Dans le panneau des paramètres, sélectionnez Configuration, puis Ajouter.
Dans le panneau Ajouter un paramètre, configurez un paramètre du type de données approprié, par exemple VARCHAR ou NUMERIC, et ajoutez une valeur par défaut.
-
Pour ajouter un paramètre lors de la configuration de l'entité de données, dans le panneau Parcourir les entités de données :
-
Dans le menu Actions supplémentaires, sélectionnez Ajouter un paramètre de flux de données.
-
Dans le champ de recherche, commencez à entrer
${suivi de n'importe quel caractère. Si la première partie du nom du paramètre correspond à des paramètres existants dans le flux de données, une liste des noms suggérés s'affiche. Pour sélectionner un paramètre dans la liste, sélectionnez le nom du paramètre, complétez la syntaxe en ajoutant}, puis appuyez sur Entrée. -
Dans le champ de recherche, entrez le nom du paramètre. Si le nom du paramètre n'existe pas encore dans le flux de données et que vous appuyez sur Entrée, le service d'intégration de données affiche le panneau Ajouter un paramètre de flux de données. Sinon, après avoir entré le nom du paramètre, sélectionnez Ajouter un paramètre de flux de données dans le menu Actions supplémentaires.
Dans le panneau Ajouter un paramètre de flux de données, spécifiez le type de données, la valeur par défaut et d'autres propriétés pour le paramètre à ajouter et à utiliser.
Pour le service de stockage d'objets, pour un opérateur Source uniquement : Lors de la configuration de l'entité de données pour un opérateur Source qui utilise une ressource de données de stockage d'objets, vous pouvez utiliser des paramètres et des modèles de fichier. Dans le panneau Parcourir les entités de données par modèle, entrez une expression en utilisant des paramètres et des modèles pour sélectionner une ou plusieurs entités. Par exemple :
ADDRESSES_${STATE}/* -
Pour une entité de données dont le nom contient un paramètre de flux de données, vous ne pouvez pas lier la ressource d'entité à un autre paramètre. L'option Affecter un paramètre n'est pas disponible.
À propos du panneau Paramètres
Le panneau Paramètres d'un flux de données affiche les paramètres qui ont été définis dans l'ensemble du flux de données.
Utilisez le panneau Paramètres pour afficher :
- Tous les paramètres créés pour les ressources de données, les connexions, les schémas ou les seaux et les entités de données utilisés dans le flux de données.
- Tous les paramètres créés pour les opérateurs de mise en forme tels que Filtrer, Jointure et Consultation.
- Tous les paramètres d'expression créés pour les opérateurs Expression et Agréger, ainsi que pour les opérateurs de mise en forme tels que Filtrer, Jointure, Consultation et Fractionner.
- Tous les paramètres de flux de données créés pour les noms d'entité de données dans un flux de données.
Pour accéder au panneau Paramètres lors de l'ouverture du flux de données dans le canevas du concepteur, sélectionnez Paramètres dans le menu Voir de la barre d'outils.
The Parameters panel has two tabs, View and Config. Dans les deux onglets, vous pouvez effectuer une recherche dans la liste en entrant le nom complet d'un paramètre.
Dans l'onglet Vue, vous pouvez :
- Voir les paramètres créés dans le flux de données, qu'ils soient affectés à un objet ou non. Un paramètre est affecté lorsque vous voyez une valeur dans le champ Utilisé dans.
- Réduire et développer les détails de chaque paramètre.
- Sélectionnez le lien Utilisé dans pour un paramètre affecté. L'opérateur référençant ce paramètre est mis en évidence sur le canevas et dans le panneau Propriétés (onglet Détails).
Dans l'onglet Configuration, vous pouvez :
- Ajoutez des paramètres d'expression et des paramètres de flux de données. Sélectionnez Ajouter, puis utilisez le panneau Ajouter un paramètre qui s'affiche pour définir le paramètre.
- Modifiez la valeur par défaut d'un paramètre. Dans le menu Actions (
) du paramètre, sélectionnez Modifier pour utiliser le panneau Modifier le paramètre pour modifier la valeur. - Supprimer un ou plusieurs paramètres. Voir Suppression d'un paramètre.
Ajout d'un paramètre
Vous ajoutez et définissez des paramètres pour des opérateurs associés à des sources de données dans un flux de données.
Un paramètre d'un flux de données peut être réutilisé pour représenter la valeur par défaut pour une autre ressource du même type dans le même flux de données.
La définition d'un paramètre dépend du type de ressource auquel vous ajoutez le paramètre. Pour tous les types de paramètres, vous fournissez un nom et une description facultative, et définissez une valeur par défaut pour le paramètre. Vous ne pouvez pas modifier le nom et la description du paramètre après sa création.
La procédure suivante ne s'applique pas à l'ajout de paramètres dans des expressions et des conditions. Voir Ajout d'un paramètre d'expression. Pour ajouter des paramètres de système à l'opérateur Expression, voir Ajout et configuration d'un opérateur Expression.
Pour ajouter un paramètre à un flux de données :
Affichage des paramètres définis par le système et l'utilisateur
Vous pouvez voir les paramètres de système disponibles dans un flux de données au moment de l'exécution, ainsi que les paramètres définis par l'utilisateur que vous avez créés.
Pour les paramètres définis par l'utilisateur, la liste inclut les paramètres affectés et non utilisés au niveau du flux de données pour les ressources de données, les connexions, les schémas ou les seaux et les entités de données. Dans le cas des paramètres affectés, vous pouvez voir où le paramètre est utilisé dans le flux de données.
La liste des paramètres définis par l'utilisateur comprend également les paramètres d'expression utilisés et inutilisés. Les paramètres d'expression sont des paramètres qui sont ajoutés au niveau du flux de données à l'aide du générateur de conditions (opérateurs Filtrer, Jointure, Consultation et Fractionner) ou du générateur d'expressions (opérateurs Expression et Agréger).
Utilisez l'onglet Paramètres du panneau Propriétés du flux de données pour voir les paramètres de système et définis par l'utilisateur.
Affectation d'un paramètre
Vous pouvez affecter des paramètres à différents types de ressource, tels que les entités de données dans les opérateurs Source et Cible, et les conditions dans les opérateurs Filtrer, Jointure et Consultation.
Dans un flux de données, vous pouvez sélectionner parmi les paramètres existants, ou en ajouter un, puis l'attribuer.
Utilisez l'onglet Détails du panneau Propriétés d'un opérateur de flux de données pour affecter des paramètres. La procédure suivante peut être utilisée pour affecter des paramètres aux opérateurs Source, Cible, Filtrer, Jointure et Consultation.
Pour affecter un paramètre à un opérateur dans un flux de données :
Modification d'un paramètre
Vous modifiez la valeur par défaut d'un paramètre affecté dans le flux de données où il est utilisé.
Vous pouvez également modifier la valeur du paramètre lorsque vous créez une tâche d'intégration à l'aide du flux de données ou lorsque vous exécutez la tâche. La procédure suivante décrit comment modifier une valeur de paramètre lors de la conception du flux de données.
La procédure suivante ne s'applique pas à la modification des paramètres d'expression dans des expressions ou des conditions.
Pour modifier un paramètre affecté :
Lorsque vous modifiez le paramètre d'une ressource de données, d'une connexion, d'un schéma ou d'une entité de données, assurez-vous de conserver les relations appropriées entre les valeurs. Par exemple, si vous modifiez la valeur du schéma, vérifiez que la nouvelle valeur contient l'entité de données que vous avez sélectionnée initialement. Si la valeur modifiée ne contient pas l'entité de données initiale, des erreurs risquent de survenir avec le flux de données lors de l'exécution. Le service d'intégration de données vous avertit des problèmes potentiels, mais vous êtes responsable de définir les valeurs appropriées pour les paramètres.
Retrait d'un paramètre
Le retrait d'un paramètre d'un opérateur supprime uniquement l'association entre l'opérateur et le paramètre.
Le paramètre n'est pas supprimé du flux de données lorsque vous le retirez. Vous pouvez toujours utiliser le paramètre pour un autre opérateur du même type de ressource.
Lorsque vous retirez un paramètre, la valeur affectée au paramètre devient la valeur par défaut de l'opérateur.
La procédure suivante ne s'applique pas au retrait ou à la suppression des paramètres d'expression dans des expressions ou des conditions.
Pour retirer un paramètre affecté :
- Sur le canevas d'un flux de données, sélectionnez l'opérateur dont vous souhaitez supprimer le paramètre.
- Dans l'onglet Détails du panneau Propriétés, pour le type de ressource de paramètre que vous souhaitez supprimer, sélectionnez Supprimer un paramètre.
- Dans la boîte de dialogue Supprimer un paramètre, vérifiez la liste des opérateurs touchés si vous retirez ce paramètre, puis sélectionnez Supprimer.
Suppression d'un paramètre
Lorsque vous supprimez un paramètre d'un flux de données, ce paramètre n'est plus disponible pour utilisation dans le flux de données.
Si le paramètre que vous supprimez est associé à un opérateur dans le flux de données, la valeur attribuée au paramètre devient alors la valeur par défaut de l'opérateur.
Pour supprimer un paramètre :
Ajout d'un paramètre d'expression
Utilisez le générateur d'expressions ou le générateur de conditions pour ajouter des paramètres d'expression dans un flux de données.
Un paramètre d'expression a un nom, un type et une valeur par défaut. Seule la valeur par défaut peut être modifiée après la création du paramètre.
Pour ajouter un paramètre d'expression :
- Selon l'opérateur que vous avez sélectionné, effectuez l'une des opérations suivantes :
- Pour un opérateur Expression ou agréger, sélectionnez Ajouter une expression ou sélectionnez Modifier dans le menu Actions () pour une expression existante.
- Pour un opérateur Filtrer, Jointure ou Consultation, sélectionnez Créer ou Modifier.
- Pour un opérateur Fractionner, sélectionnez Add (Ajouter) ou Edit (Modifier) dans le menu Actions () pour une condition existante.
- Pour un opérateur Expression ou agréger, sélectionnez Ajouter une expression ou sélectionnez Modifier dans le menu Actions (
Modification d'un paramètre d'expression
Vous pouvez seulement modifier les valeurs par défaut des paramètres d'expression. Vous ne pouvez pas modifier le nom, le type ou les autres propriétés propres au type d'un paramètre d'expression.
Vous pouvez utiliser le panneau Paramètres ou l'onglet Paramètres du panneau Propriétés du flux de données pour modifier les valeurs par défaut.
La procédure suivante utilise l'onglet Paramètres du panneau Propriétés du flux de données.
-
Dans la rangée du paramètre d'expression que vous souhaitez modifier, sélectionnez Modifier dans le menu Actions ().