Utilisation de paramètres dans les pipelines

Dans le service d'intégration de données, les paramètres des pipelines proviennent des paramètres affectés dans les flux de données et les tâches.

Pour les opérateurs de flux de données qui utilisent des expressions dans la configuration, les valeurs de tous les paramètres utilisés dans les expressions sont également disponibles pour une reconfiguration dans un pipeline.

Voir Utilisation des paramètres de flux de données et À propos des paramètres d'expression pour apprendre à utiliser des paramètres et des paramètres d'expression (également appelés paramètres scalaires) dans les flux de données.

Les paramètres et les paramètres d'expression utilisés dans les flux de données et les tâches ont des types et des valeurs par défaut. Si vous ne modifiez pas les valeurs des paramètres entrants pour les tâches et les flux de données associés dans un pipeline, les valeurs par défaut initiales sont utilisées lors de la conception du pipeline ou au moment de son exécution.

Les types de données de paramètre entrant pris en charge sont les suivants :

NUMERIC
VARCHAR
DATE
DATETIME
DECIMAL
DOUBLE
FLOAT
INTEGER
TIMESTAMP
TINYINT
BOOLEAN
LONG
STRING

Les paramètres des ressources source et cible d'une tâche de chargement de données peuvent également être reconfigurés lorsque la tâche est utilisée dans un pipeline. Pour savoir comment utiliser des paramètres dans les tâches de chargement de données, voir Utilisation de paramètres pour la source et la cible.

Façons de reconfigurer les paramètres dans un pipeline

Lorsque vous ajoutez une tâche paramétrée à un pipeline, vous pouvez utiliser l'onglet Configuration du panneau Propriétés pour reconfigurer une des valeurs de paramètre spécifiées dans cette tâche ou dans le flux de données associé qu'une tâche d'intégration enveloppe.

Pour reconfigurer une valeur de paramètre entrant pour une tâche dans un pipeline, vous pouvez affecter un des éléments suivants à l'entrée :

Une valeur particulière directement
La valeur de sortie d'un opérateur précédent. Par exemple, un paramètre de sortie.
Un paramètre défini par l'utilisateur, qui permet de définir la valeur au moment de l'exécution du pipeline ou au moment de la conception lorsque vous créez une tâche de pipeline qui encapsule le pipeline.
Un paramètre de système

Lorsque vous créez une tâche de pipeline pour un pipeline paramétré, vous pouvez utiliser la page Configurer les paramètres pour modifier les valeurs par défaut des paramètres définis par l'utilisateur, le cas échéant.

Types de paramètre de pipeline

Dans le service d'intégration de données, les types de paramètre que vous pouvez utiliser dans les pipeline sont définis par l'utilisateur ou générés par le système.

Les paramètres générés par le système peuvent être classés dans les types suivants :

Paramètres définis par l'utilisateur

Les paramètres définis par l'utilisateur sont des paramètres personnalisés que vous créez dans les pipelines pour les affecter aux entrées des paramètres entrants pour les opérateurs de tâche. Un paramètre défini par l'utilisateur est local au pipeline où vous l'avez créé, de sorte que vous ne pouvez pas le réutiliser d'un pipeline à l'autre.

Un paramètre défini par l'utilisateur a un nom, un type et une valeur. C'est vous qui fournissez un nom et une valeur lorsque vous créez un paramètre défini par l'utilisateur. Le type dépend du type de paramètre entrant auquel vous affectez le paramètre défini par l'utilisateur. Vous ne pouvez pas modifier le type d'un paramètre défini par l'utilisateur.

Les types de paramètres définis par l'utilisateur que vous pouvez créer dans un pipeline sont les suivants :

Ressource de données
Connexion
Schéma
Entité de données
Condition (à partir d'une condition de jointure ou de filtre paramétrée)
Expression

Vous pouvez également ajouter des paramètres des types de données comme NUMERIC, VARCHAR, DATE, DECIMAL et STRING.

Lors de la conception d'un pipeline, vous pouvez utiliser le panneau Paramètres ou l'onglet Paramètres du panneau Propriétés du pipeline pour voir les paramètres définis par l'utilisateur qui ont été ajoutés.

Les paramètres définis par l'utilisateur sont également disponibles dans le générateur d'expressions lorsque vous définissez une expression dans le pipeline à l'aide d'un opérateur Expression.

Paramètres de système

Le service d'intégration de données génère des paramètres de système que vous pouvez affecter au moment de l'exécution aux entrées des paramètres entrants pour les opérateurs de tâches. Un paramètre de système a un nom et un type. Vous pouvez lier la valeur d'un paramètre de système à un paramètre entrant du même type, mais vous ne pouvez pas modifier la valeur.

Le tableau suivant présente les paramètres de système que vous pouvez utiliser dans un pipeline.


Nom	Type	Description
SYS.TASK_START_TIME	TIMESTAMP	Heure de début de la tâche (UTC).
SYS.TASK_RUN_KEY	STRING	Clé d'exécution de tâche de l'exécution de tâche.
SYS.TASK_RUN_NAME	STRING	Nom d'exécution de tâche de l'exécution de tâche.
SYS.TASK_KEY	STRING	Clé de la tâche.
SYS.TASK_NAME	STRING	Nom de la tâche.
SYS.PARENT_TASK_RUN_KEY	STRING	Clé d'exécution de la tâche parent.
SYS.TASK_SCHEDULE_TRIGGER_TIME	TIMESTAMP	Temps de déclenchement du programme (pour une exécution de tâche lancée à partir d'un programme). L'heure programmée peut être différente de l'heure de début de la tâche.
SYS.TASK_SCHEDULE_TIMEZONE	STRING	Fuseau horaire correspondant à l'heure programmée, qui représente l'heure du fuseau horaire définie dans le programme de la tâche.
SYS.RETRY_ATTEMPT	INTEGER	Nombre de tentatives d'exécution d'une tâche configurées pour les nouvelles tentatives en cas d'échec d'une exécution.
SYS.PIPELINE_NAME	STRING	Nom du pipeline.
SYS.PIPELINE_IDENTIFIER	STRING	Identificateur du pipeline.
SYS.TIMEOUT	INTEGER	Valeur de temporisation (en minutes) du pipeline. L'exécution du pipeline échoue lorsque la valeur de temporisation est atteinte.
SYS.WORKSPACE_ID	STRING	Identificateur de l'espace de travail.
SYS.APPLICATION_KEY	STRING	Clé de l'application.
SYS.REGION	STRING	Nom de la région.

Lors de la conception d'un pipeline, vous pouvez utiliser l'onglet Paramètres du panneau Propriétés du pipeline pour voir les paramètres de système disponibles pour le pipeline. La colonne Utilisé dans indique où un paramètre est utilisé dans le pipeline.

Lors de l'ajout d'une expression à un opérateur Expression dans un pipeline, vous pouvez utiliser l'onglet Paramètres dans le générateur d'expressions pour voir la liste des paramètres de système. Vous pouvez utiliser les paramètres de système dans les expressions pour enregistrer les informations système.

Paramètres de sortie

Les paramètres de sortie sont des paramètres générés par le système pour les opérateurs, que vous pouvez utiliser pour transmettre les valeurs de sortie d'un opérateur dans un pipeline à un autre opérateur en aval.

Le tableau suivant présente certains paramètres de sortie que vous pouvez utiliser.


Nom	Type	Description
SYS.STATUS	STRING	Statut de l'opération (par exemple, une exécution de tâche)
SYS.ERROR_MESSAGE	STRING	Message erreur concernant l'opération
SYS.NO_OF_INSERTS	INTEGER	Nombre de rangées insérées et mises à jour
SYS.DATA_READ	INTEGER	Quantité de données lues
SYS.DATA_WRITTEN	INTEGER	Quantité de données écrites
SYS.DURATION	INTEGER	Durée de l'opération
SYS.START_TIME_TIMESTAMP	TIMESTAMP	Heure de début de l'exécution de la tâche au format Horodatage.
SYS.END_TIME_TIMESTAMP	TIMESTAMP	Heure de fin de l'exécution de la tâche au format Horodatage.
SYS.TASK_RUN_KEY	STRING	Clé d'exécution de tâche de l'exécution de tâche.
SYS.TASK_RUN_NAME	STRING	Nom d'exécution de tâche de l'exécution de tâche.
SYS.TASK_NAME	STRING	Nom de la tâche.
SYS.TASK_KEY	STRING	Clé de la tâche.

Lors de la conception d'un pipeline, vous pouvez utiliser l'onglet Sortie du panneau Propriétés d'un opérateur de tâche pour voir les sorties qui peuvent être utilisées comme entrées de l'opérateur suivant.

Notez ce qui suit :

Pour un opérateur Tâche SQL associé à une procédure stockée, les sorties comprennent tous les paramètres de sortie de la procédure stockée SQL.
Pour un opérateur Fusion, les sorties disponibles sont une combinaison de paramètres de sortie du système et des sorties de chaque opérateur connecté à l'opérateur Fusion.
- Seules les sorties système suivantes sont disponibles : SYS.STATUS, SYS.START_TIME_TIMESTAMP et SYS.END_TIME_TIMESTAMP
- Les sorties de tâche sont qualifiées par un nom d'opérateur de tâche. Par exemple : TASK_OPERATOR_1.SYS.STATUS, TASK_OPERATOR_2.SYS.STATUS
- Les sorties d'un opérateur Expression sont qualifiées par le nom et l'identificateur de l'opérateur Expression. Par exemple : EXPRESSION_1. EXPRESSION_ERROR_MESSAGE
- Les sorties d'un opérateur de fusion sont qualifiées par le nom de l'opérateur de fusion. Par exemple : MERGE_3. SYS.START_TIME_TIMESTAMP
Pour un opérateur de tâche de flux de données OCI associé à une application de flux de données OCI, les sorties incluent tous les paramètres de sortie de l'application et les types de données de sortie suivants :
- com.oracle.dos.task.model.customparameter.Arguments : arguments
- Variable :
  - bytesProcessed
  - bytesWritten
- Chaîne :
  - applicationId
  - displayName
Pour un opérateur Tâche REST, les types de données suivants de sortie de réponse REST sont disponibles :
- JSON ou JSON_TEXT : SYS.RESPONSE_PAYLOAD_JSON et SYS.RESPONSE_HEADERS_JSON
- Chaîne : SYS.RESPONSE_STATUS
Note
- Pour utiliser une sortie de réponse REST dans des opérations en aval, transmettez la sortie au moyen d'un opérateur Expression dans lequel vous pouvez appliquer des opérations de chaîne et d'expression rationnelle. Utilisez ensuite le résultat dans les opérateurs de tâche en aval suivants.
- Les sorties String SYS.RESPONSE_PAYLOAD et SYS.RESPONSE_HEADERS sont obsolètes. Nous vous recommandons de convertir toute utilisation existante en équivalents de type de données JSON SYS.RESPONSE_PAYLOAD_JSON et SYS.RESPONSE_HEADERS_JSON, respectivement.

À propos du panneau Paramètres

Le panneau Paramètres affiche tous les paramètres de pipeline définis par l'utilisateur qui ont été créés dans un pipeline.

Pour accéder au panneau Paramètres lorsque le pipeline est ouvert sur le canevas du concepteur, sélectionnez Paramètres dans le menu Voir de la barre d'outils du canevas.

Utilisez l'onglet Voir pour voir les paramètres définis par l'utilisateur dans le pipeline. Les paramètres utilisés et inutilisés sont affichés. Lorsque vous sélectionnez le lien Utilisé dans pour un paramètre utilisé dans le pipeline, l'opérateur de tâche référençant ce paramètre est concentré sur le canevas.

Utilisez l'onglet Configuration du panneau Paramètres pour supprimer un paramètre défini par l'utilisateur ou en modifier la valeur par défaut.

Note

Lorsque vous supprimez un paramètre de pipeline défini par l'utilisateur, toutes les valeurs configurées dans les opérateurs associés au paramètre sont supprimées. Pour reconfigurer une valeur d'entrée, voir Configuration de paramètres entrants pour des tâches.

Ajout d'un paramètre dans un pipeline

Vous pouvez ajouter et configurer des paramètres définis par l'utilisateur sur les paramètres entrants des opérateurs de tâche dans un pipeline.

La configuration d'un paramètre défini par l'utilisateur dépend du type de paramètre entrant. Pour tous les types de paramètre, vous fournissez un nom et une description facultative, et définissez une valeur par défaut pour le paramètre défini par l'utilisateur. Vous ne pouvez pas modifier le type et vous ne pouvez pas modifier le nom et la description après la création du paramètre.

Un paramètre défini par l'utilisateur peut être réutilisé dans le même pipeline pour représenter la valeur configurée pour un autre paramètre entrant du même type.

Sur le canevas d'un pipeline, sélectionnez un opérateur de tâche ayant un ou plusieurs paramètres entrants.
Dans le panneau Propriétés de la tâche sélectionnée, sélectionnez Configuration.
À côté de Paramètres entrants configurés, vérifiez le nombre de paramètres entrants configurés et disponibles.
Par exemple, 0/4 signifie que quatre paramètres entrants sont disponibles dans la tâche et qu'ils n'ont pas été configurés de nouveau.
Sélectionnez Configurer à côté des paramètres entrants configurés.
Dans la page Configurer les paramètres entrants, vérifiez les valeurs d'entrée pouvant être configurées. Dans la rangée du type et de la valeur du paramètre à ajouter et auquel affecter un paramètre de pipeline défini par l'utilisateur, sélectionnez Configurer.
Dans la page Configurer le paramètre entrant pour <type> qui s'affiche pour le paramètre sélectionné, sélectionnez Affecter un paramètre.
Sélectionnez Utiliser les paramètres définis par l'utilisateur, puis Ajouter un paramètre pour créer un paramètre défini par l'utilisateur.
Dans le panneau Ajouter un paramètre, entrez un nom pour le paramètre dans le champ Identificateur.
(Facultatif) Entrez une description pour aider les autres utilisateurs à identifier la fonction du paramètre défini par l'utilisateur.
Le champ Type indique le type du paramètre entrant, qui ne peut pas être modifié.
Définissez la valeur par défaut pour le paramètre.
La façon de définir la valeur par défaut dépend du type de paramètre entrant. Par exemple, pour une entité de données, vous utilisez des menus pour sélectionner une ressource de données, une connexion et un schéma, puis vous sélectionnez l'entité.
Pour créer le paramètre, sélectionnez Ajouter.
Par défaut, le nouveau paramètre défini par l'utilisateur créé est sélectionné dans la page Configurer le paramètre entrant pour <type>.
Répétez les étapes pour ajouter d'autres paramètres définis par l'utilisateur du même type, si nécessaire.

Affichage des paramètres dans un pipeline

Vous pouvez voir les paramètres de système disponibles dans un pipeline, ainsi que les paramètres définis par l'utilisateur que vous avez créés dans un pipeline.

Vous pouvez également utiliser cette procédure pour voir où un paramètre est utilisé dans un pipeline.

Sur le canevas d'un pipeline, cliquez sur n'importe quelle zone vide.
Dans le panneau Propriétés du pipeline, sélectionnez Paramètres.
Sélectionnez Définie par l'utilisateur ou Définie par le système.
Vérifiez la liste.
La colonne Utilisé dans indique où le paramètre est utilisé dans le pipeline.

Affectation d'un paramètre dans un pipeline

Vous pouvez affecter des paramètres définis par l'utilisateur et des paramètres de système existants aux paramètres entrants des opérateurs de tâche dans un pipeline.

Sur le canevas d'un pipeline, sélectionnez un opérateur de tâche ayant un ou plusieurs paramètres entrants.
Dans le panneau Propriétés de la tâche sélectionnée, sélectionnez Configuration.
À côté de Paramètres entrants configurés, vérifiez le nombre de paramètres entrants configurés et disponibles.
Par exemple, 0/4 signifie que quatre paramètres entrants sont disponibles dans la tâche et qu'ils n'ont pas été configurés de nouveau.
Sélectionnez Configurer à côté des paramètres entrants configurés.
Dans la page Configurer les paramètres entrants, vérifiez les valeurs d'entrée pouvant être configurées. Dans la rangée du type et de la valeur du paramètre auquel affecter un paramètre de système ou défini par l'utilisateur, sélectionnez Configurer.
Dans la page Configurer le paramètre entrant pour <type> qui s'affiche pour le paramètre sélectionné, sélectionnez Affecter un paramètre.
Sélectionnez Utiliser les paramètres définis par l'utilisateur ou Utiliser les paramètres de système.
Sélectionnez un paramètre existant dans la liste des paramètres de système ou définis par l'utilisateur, puis sélectionnez Done (Terminé).

Seuls les paramètres du même type que le paramètre entrant peuvent être sélectionnés. Si aucun n'est disponible, sélectionnez Annuler.

Pour un paramètre défini par l'utilisateur, vous pouvez également sélectionner Ajouter pour créer un paramètre, puis sélectionnez-le. Voir Ajout d'un paramètre dans un pipeline.

Modification de la valeur par défaut d'un paramètre défini par l'utilisateur

Lors de la conception du pipeline, vous pouvez rapidement modifier la valeur par défaut d'un paramètre défini par l'utilisateur.

Sur le canevas d'un pipeline, sélectionnez Paramètres dans le menu Voir de la barre d'outils du canevas.
Dans le panneau Paramètres, sélectionnez l'onglet Configuration.
Vérifiez les paramètres répertoriés par nom.
Vous pouvez effectuer une recherche dans la liste en entrant le nom complet d'un paramètre.
Dans la rangée de la valeur du paramètre que vous souhaitez modifier, sélectionnez Modifier dans le menu Actions ().
Les types de données de paramètre que vous pouvez modifier sont les suivants : NUMERIC, VARCHAR, DATE, DECIMAL, DOUBLE, FLOAT, INTEGER, TIMESTAMP, TINYINT, BOOLEAN, LONG et STRING.

Annulation de l'affectation d'un paramètre dans un pipeline

L'annulation de l'affectation d'un paramètre supprime uniquement la valeur reconfigurée du paramètre entrant. Il ne supprime pas le paramètre entrant de la tâche ou supprime le paramètre défini par l'utilisateur.

Sur le canevas d'un pipeline, sélectionnez un opérateur de tâche ayant un ou plusieurs paramètres entrants.
Dans le panneau Propriétés de la tâche sélectionnée, sélectionnez Configuration.
À côté de Paramètres entrants configurés, vérifiez le nombre de paramètres entrants configurés et disponibles.
Par exemple, 2/4 signifie que quatre paramètres entrants sont disponibles dans la tâche, et deux ont été reconfigurés.
Sélectionnez Configurer à côté des paramètres entrants configurés.
Dans la page Configurer les paramètres entrants, vérifiez les entrées configurées.
Une entrée a une valeur par défaut. Si le paramètre entrant est configuré de nouveau, l'entrée a une valeur configurée. Une valeur configurée peut être le nom d'un paramètre défini par l'utilisateur avec la valeur reconfigurée indiquée entre parenthèses.
Pour annuler l'affectation d'un paramètre entrant, sélectionnez Effacer.

Suppression d'un paramètre dans un pipeline

Vous pouvez supprimer les paramètres de pipeline définis par l'utilisateur dont vous n'avez plus besoin dans un pipeline.

Les paramètres de système d'un pipeline ne peuvent pas être supprimés.

Sur le canevas d'un pipeline, sélectionnez Paramètres dans le menu Voir de la barre d'outils du canevas.
L'onglet Voir du panneau Paramètres affiche les paramètres définis par l'utilisateur qui ont été créés dans ce pipeline. Si un paramètre est utilisé dans une tâche, le lien Utilisé dans indique le nom de cette tâche.
Dans le panneau Paramètres, sélectionnez Configuration.
Sélectionnez un ou plusieurs paramètres à supprimer, puis sélectionnez Supprimer.

Note

Lorsque vous supprimez un paramètre défini par l'utilisateur dans un pipeline, toutes les valeurs configurées dans les opérateurs de tâche associés à ce paramètre dans le pipeline sont supprimées. Pour reconfigurer une valeur d'entrée, voir Configuration de paramètres entrants pour des tâches.

Documentation sur Oracle Cloud Infrastructure