Utilisation des paramètres dans les pipelines

Dans Data Integration, les paramètres des pipelines proviennent des paramètres affectés dans les flux de données et les tâches.

Pour les opérateurs de flux de données qui utilisent des expressions dans la configuration, les valeurs des paramètres utilisés dans les expressions sont également disponibles pour reconfiguration dans un pipeline.

Pour en savoir plus sur l'utilisation de paramètres et de paramètres d'expression (également appelés paramètres scalaires) dans les flux de données, reportez-vous à Utilisation de paramètres de flux de données et à A propos des paramètres d'expression.

Les paramètres et les paramètres d'expression utilisés dans les flux de données et les tâches ont des types et des valeurs par défaut. Si vous ne modifiez pas les valeurs de paramètre entrantes pour les tâches et les flux de données associés dans un pipeline, les valeurs par défaut d'origine sont utilisées lors de la conception du pipeline, ou lors de l'exécution du pipeline.

Les types de données de paramètre entrants pris en charge sont les suivants :

NUMERIC
VARCHAR
DATE
DATETIME
DECIMAL
DOUBLE
FLOAT
INTEGER
TIMESTAMP
TINYINT
BOOLEAN
LONG
STRING

Les paramètres des ressources source et cible dans une tâche de programme de chargement de données peuvent également être reconfigurés lorsque la tâche est utilisée dans un pipeline. Pour savoir comment utiliser des paramètres dans les tâches du programme de chargement de données, reportez-vous à Utilisation des paramètres pour la source et la cible.

Méthodes de reconfiguration des paramètres dans un pipeline

Lorsque vous ajoutez une tâche paramétrée à un pipeline, vous pouvez utiliser l'onglet Configuration du panneau Propriétés pour reconfigurer les valeurs de paramètre spécifiées dans cette tâche ou dans le flux de données associé encapsulé par une tâche d'intégration.

Afin de reconfigurer une valeur de paramètre entrante pour une tâche dans un pipeline, vous pouvez affecter à l'entrée les éléments suivants :

Une valeur spécifique directement.
La valeur d'une sortie d'un opérateur précédent. Par exemple : paramètre de sortie.
Un paramètre défini par l'utilisateur, qui permet de définir la valeur lors de l'exécution du pipeline, ou lors de la conception si vous créez une tâche de pipeline qui encapsule le pipeline.
Un paramètre système.

Lorsque vous créez une tâche de pipeline pour un pipeline paramétré, vous pouvez utiliser la page Configurer les paramètres pour modifier les valeurs par défaut des paramètres définis par l'utilisateur, le cas échéant.

Types de paramètre de pipeline

Dans Data Integration, les types de paramètre que vous pouvez utiliser dans les pipelines sont définis par l'utilisateur ou générés par le système.

Les paramètres générés par le système peuvent être classés dans les types suivants :

Paramètres définis par l'utilisateur

Les paramètres définis par l'utilisateur sont des paramètres personnalisés que vous créez dans les pipelines afin de les affecter aux entrées des paramètres entrants pour les opérateurs de tâche. Un paramètre défini par l'utilisateur est local par rapport au pipeline dans lequel vous l'avez créé. Vous ne pouvez donc pas réutiliser un paramètre défini par l'utilisateur dans d'autres pipelines.

Un paramètre défini par l'utilisateur possède un nom, un type et une valeur. Vous indiquez un nom et une valeur lorsque vous créez un paramètre défini par l'utilisateur. Le type dépend du type du paramètre entrant auquel vous affectez le paramètre défini par l'utilisateur. Vous ne pouvez pas modifier le type d'un paramètre défini par l'utilisateur.

Les types de paramètre défini par l'utilisateur que vous pouvez créer dans un pipeline sont les suivants :

Ressource de données
Connexion
Schéma
Entité de données
Condition (à partir d'une condition de filtre ou de jointure paramétrée)
Expression

Vous pouvez également ajouter des paramètres pour des types de données tels que NUMERIC, VARCHAR, DATE, DECIMAL et STRING.

Lors de la conception d'un pipeline, vous pouvez utiliser le panneau Paramètres ou l'onglet Paramètres du panneau Propriétés du pipeline pour afficher les paramètres définis par l'utilisateur qui ont été ajoutés.

Les paramètres définis par l'utilisateur sont également disponibles dans le générateur d'expressions lorsque vous définissez une expression dans le pipeline à l'aide d'un opérateur d'expression.

Paramètres système

Data Integration génère des paramètres système que vous pouvez utiliser pour les affecter aux entrées des paramètres entrants pour les opérateurs de tâche. Un paramètre système possède un nom et un type. Vous pouvez lier la valeur d'un paramètre système à un paramètre entrant du même type, mais vous ne pouvez pas modifier la valeur.

Le tableau suivant présente les paramètres système que vous pouvez utiliser dans un pipeline.


Nom	Type	Description
SYS.TASK_START_TIME	TIMESTAMP	Heure de début de la tâche (UTC).
SYS.TASK_RUN_KEY	STRING	Clé d'exécution de tâche de l'exécution de tâche.
SYS.TASK_RUN_NAME	STRING	Nom de l'exécution de tâche.
SYS.TASK_KEY	STRING	Clé de la tâche.
SYS.TASK_NAME	STRING	Nom de la tâche.
SYS.PARENT_TASK_RUN_KEY	STRING	Clé d'exécution de tâche parent.
SYS.TASK_SCHEDULE_TRIGGER_TIME	TIMESTAMP	Heure de déclenchement de la programmation (pour une exécution de tâche lancée à partir d'une programmation). L'heure de programmation peut être différente de l'heure de début de la tâche.
SYS.TASK_SCHEDULE_TIMEZONE	STRING	Fuseau horaire correspondant à l'heure de programmation, qui représente l'heure définie dans la programmation de la tâche.
SYS.RETRY_ATTEMPT	INTEGER	Nombre de tentatives d'exécution d'une tâche configurée pour les nouvelles tentatives en cas d'échec d'une exécution.
SYS.PIPELINE_NAME	STRING	Nom du pipeline.
SYS.PIPELINE_IDENTIFIER	STRING	Identificateur du pipeline.
SYS.TIMEOUT	INTEGER	Valeur de délai d'expiration (en minutes) du pipeline. L'exécution du pipeline échoue lorsque la valeur de délai d'expiration est atteinte.
SYS.WORKSPACE_ID	STRING	Identifiant de l'espace de travail.
SYS.APPLICATION_KEY	STRING	Clé de l'application.
SYS.REGION	STRING	Nom de région.

Lors de la conception d'un pipeline, vous pouvez utiliser l'onglet Paramètres du panneau Propriétés du pipeline afin de connaître les paramètres de pipeline système disponibles. La colonne Utilisé dans indique où le paramètre est utilisé dans le pipeline.

Lorsque vous ajoutez une expression à un opérateur d'expression dans un pipeline, vous pouvez utiliser l'onglet Paramètres du générateur d'expressions pour afficher la liste des paramètres système. Vous pouvez utiliser les paramètres système dans des expressions pour journaliser les informations système.

Paramètres de sortie

Les paramètres de sortie sont des paramètres générés par le système pour les opérateurs que vous pouvez utiliser pour transmettre les valeurs de sortie d'un opérateur d'un pipeline à un autre opérateur en aval.

Le tableau suivant présente certains paramètres de sortie que vous pouvez utiliser.


Nom	Type	Description
SYS.STATUS	STRING	Statut de l'opération (par exemple, exécution de tâche)
SYS.ERROR_MESSAGE	STRING	Message d'erreur pour l'opération
SYS.NO_OF_INSERTS	INTEGER	Nombre de lignes insérées et mises à jour
SYS.DATA_READ	INTEGER	Quantité de données lues
SYS.DATA_WRITTEN	INTEGER	Quantité de données écrites
SYS.DURATION	INTEGER	Durée de l'opération
SYS.START_TIME_TIMESTAMP	TIMESTAMP	Heure de début de l'exécution de la tâche au format d'horodatage.
SYS.END_TIME_TIMESTAMP	TIMESTAMP	Heure de fin de l'exécution de la tâche au format d'horodatage.
SYS.TASK_RUN_KEY	STRING	Clé d'exécution de tâche de l'exécution de tâche.
SYS.TASK_RUN_NAME	STRING	Nom de l'exécution de tâche.
SYS.TASK_NAME	STRING	Nom de la tâche.
SYS.TASK_KEY	STRING	Clé de la tâche.

Lors de la conception d'un pipeline, vous pouvez utiliser l'onglet Sortie du panneau Propriétés d'un opérateur de tâche pour afficher les sorties qui peuvent être utilisées comme entrées pour l'opérateur suivant.

Remarque :

Pour un opérateur de tâche SQL associé à une procédure stockée, les sorties incluent tous les paramètres de sortie de la procédure SQL stockée.
Pour un opérateur de fusion, les sorties disponibles sont la combinaison de paramètres de sortie du système et des sorties de chaque opérateur connecté à l'opérateur de fusion.
- Seules les sorties suivantes du système sont disponibles : SYS.STATUS, SYS.START_TIME_TIMESTAMP et SYS.END_TIME_TIMESTAMP.
- Les sorties de tâche sont désignées par un nom d'opérateur de tâche. Par exemple : TASK_OPERATOR_1.SYS.STATUS, TASK_OPERATOR_2.SYS.STATUS.
- Les sorties d'un opérateur d'expression sont qualifiées par le nom de l'opérateur d'expression et l'identificateur de l'expression. Par exemple : EXPRESSION_1. EXPRESSION_ERROR_MESSAGE
- Les sorties d'un opérateur de fusion sont qualifiées par le nom de l'opérateur de fusion. Par exemple : MERGE_3. SYS.START_TIME_TIMESTAMP
Pour un opérateur de tâche OCI Data Flow associé à une application OCI Data Flow, les sorties incluent tous les paramètres de sortie de l'application et les types de données de sortie suivants :
- com.oracle.dos.task.model.customparameter.Arguments : arguments
- Float :
  - bytesProcessed
  - bytesWritten
- Chaîne :
  - applicationId
  - displayName
Pour un opérateur de tâche REST, les types de données de sortie de réponse REST suivants sont disponibles :
- JSON ou JSON_TEXT : SYS.RESPONSE_PAYLOAD_JSON et SYS.RESPONSE_HEADERS_JSON
- Chaîne : SYS.RESPONSE_STATUS
Remarque
- Pour utiliser une sortie de réponse REST dans les opérations en aval, transmettez la sortie via un opérateur d'expression dans lequel vous pouvez appliquer des opérations de chaîne et d'expression régulière. Utilisez ensuite le résultat dans les opérateurs de tâche en aval suivants.
- Les sorties de chaîne SYS.RESPONSE_PAYLOAD et SYS.RESPONSE_HEADERS sont en phase d'abandon. Nous vous recommandons de convertir toute utilisation existante en équivalents de type de données JSON de SYS.RESPONSE_PAYLOAD_JSON et SYS.RESPONSE_HEADERS_JSON, respectivement.

A propos du panneau Paramètres

Le panneau Paramètres affiche tous les paramètres de pipeline définis par l'utilisateur qui ont été créés dans un pipeline.

Pour accéder au panneau Paramètres lorsque le pipeline est ouvert dans le tableau de bord du concepteur, sélectionnez Paramètres dans le menu Visualiser de la barre d'outils.

Utilisez l'onglet Visualiser pour connaître les paramètres définis par l'utilisateur dans le pipeline. Les paramètres utilisés et non utilisés sont affichés. Lorsque vous sélectionnez le lien Utilisé d'un paramètre utilisé dans le pipeline, l'opérateur de tâche référençant ce paramètre est mis en évidence sur le canevas.

Utilisez l'onglet Configuration du panneau Paramètres pour supprimer un paramètre défini par l'utilisateur ou modifier la valeur par défaut.

Remarque

Lorsque vous supprimez un paramètre de pipeline défini par l'utilisateur, toutes les valeurs configurées dans les opérateurs associés au paramètre sont enlevées. Pour reconfigurer une valeur d'entrée, reportez-vous à Configuration des paramètres entrants pour les tâches.

Ajout d'un paramètre dans un pipeline

Vous pouvez ajouter et définir des paramètres définis par l'utilisateur pour les paramètres entrants des opérateurs de tâche dans un pipeline.

La façon dont vous définissez un paramètre défini par l'utilisateur dépend du type du paramètre entrant. Pour tous les types de paramètre, vous indiquez un nom et une description (facultative), et définissez une valeur par défaut pour le paramètre défini par l'utilisateur. Vous ne pouvez pas modifier le type et vous ne pouvez pas modifier le nom et la description une fois le paramètre créé.

Un paramètre défini par l'utilisateur peut être réutilisé dans le même pipeline afin de représenter la valeur configurée pour un autre paramètre entrant du même type.

Sur le canevas d'un pipeline, sélectionnez un opérateur de tâche comportant des paramètres entrants.
Dans le panneau Propriétés de la tâche sélectionnée, sélectionnez Configuration.
En regard de Paramètres entrants configurés, vérifiez le nombre de paramètres entrants configurés et disponibles.
Par exemple, 0/4 signifie que quatre paramètres entrants sont disponibles dans la tâche et qu'aucun n'a été reconfiguré.
Sélectionnez Configurer en regard de Paramètres entrants configurés.
Sur la page Configurer les paramètres entrants, vérifiez les valeurs d'entrée pouvant être configurées. Sur la ligne du type et de La valeur de paramètre à ajouter et à laquelle affecter un paramètre de pipeline défini par l'utilisateur, sélectionnez Configurer.
Sur la page Configurer un paramètre entrant pour <type> qui apparaît pour le paramètre sélectionné, sélectionnez Affecter un paramètre.
Sélectionnez Utiliser un paramètre défini par l'utilisateur, puis cliquez sur Ajouter le paramètre pour créer un paramètre défini par l'utilisateur.
Dans le panneau Ajouter un paramètre, entrez le nom du paramètre dans le champ Identificateur.
(Facultatif) Entrez une description afin d'identifier l'objectif du paramètre défini par l'utilisateur pour les autres utilisateurs.
Le champ Type affiche le type du paramètre entrant, qui ne peut pas être modifié.
Définissez la valeur par défaut du paramètre.
La définition de la valeur par défaut dépend du type de paramètre entrant. Par exemple, pour une entité de données, utilisez les menus pour sélectionner une ressource de données, une connexion et un schéma, puis sélectionnez l'entité.
Pour créer le paramètre, sélectionnez Ajouter.
Par défaut, le nouveau paramètre défini par l'utilisateur est sélectionné sur la page Configurer un paramètre entrant pour <type>.
Répétez les étapes pour ajouter d'autres paramètres définis par l'utilisateur du même type, si nécessaire.

Affichage des paramètres dans un pipeline

Vous pouvez afficher les paramètres système disponibles dans un pipeline et les paramètres définis par l'utilisateur que vous avez créés dans un pipeline.

Vous pouvez également suivre cette procédure pour savoir où un paramètre est utilisé dans un pipeline.

Sur le canevas d'un pipeline, cliquez sur une zone vide.
Dans le panneau Propriétés du pipeline, sélectionnez Paramètres.
Sélectionnez Définition par l'utilisateur ou Définition par le système.
Vérifiez la liste.
La colonne Utilisé dans indique où le paramètre est utilisé dans le pipeline.

Affectation d'un paramètre dans un pipeline

Vous pouvez affecter des paramètres système et des paramètres définis par l'utilisateur existants aux paramètres entrants des opérateurs de tâche dans un pipeline.

Sur le canevas d'un pipeline, sélectionnez un opérateur de tâche comportant des paramètres entrants.
Dans le panneau Propriétés de la tâche sélectionnée, sélectionnez Configuration.
En regard de Paramètres entrants configurés, vérifiez le nombre de paramètres entrants configurés et disponibles.
Par exemple, 0/4 signifie que quatre paramètres entrants sont disponibles dans la tâche et qu'aucun n'a été reconfiguré.
Sélectionnez Configurer en regard de Paramètres entrants configurés.
Sur la page Configurer les paramètres entrants, vérifiez les valeurs d'entrée pouvant être configurées. Sur la ligne du type et de La valeur de paramètre à laquelle affecter un paramètre système ou défini par l'utilisateur, sélectionnez Configurer.
Sur la page Configurer un paramètre entrant pour <type> qui apparaît pour le paramètre sélectionné, sélectionnez Affecter un paramètre.
Sélectionnez Utiliser les paramètres définis par l'utilisateur ou Utiliser les paramètres système.
Sélectionnez un paramètre existant dans la liste des paramètres système ou définis par l'utilisateur, puis cliquez sur Terminé.

Seuls les paramètres du même type que le paramètre entrant peuvent être sélectionnés. Si aucun n'est disponible, sélectionnez Annuler.

Pour un paramètre défini par l'utilisateur, vous pouvez également sélectionner Ajouter afin de créer un paramètre, puis le sélectionner. Reportez-vous à Ajout d'un paramètre dans un pipeline.

Modification de la valeur par défaut d'un paramètre défini par l'utilisateur

Lors de la conception du pipeline, vous pouvez modifier rapidement la valeur par défaut d'un paramètre défini par l'utilisateur affecté.

Sur le tableau de bord d'un pipeline, sélectionnez Paramètres dans le menu Visualiser de la barre d'outils du tableau de bord.
Dans le panneau Paramètres, sélectionnez l'onglet Configuration.
Vérifiez les paramètres répertoriés par nom.
Vous pouvez effectuer une recherche dans la liste en saisissant le nom complet d'un paramètre.
Sur la ligne de la valeur de paramètre à modifier, sélectionnez Modifier dans le menu Actions ().
Les types de données de paramètre que vous pouvez modifier sont NUMERIQUE, VARCHAR, DATE, DECIMAL, DOUBLE, FLOAT, INTEGER, TIMESTAMP, TINYINT, BOOLEAN, LONG et STRING.

Annulation de l'affectation d'un paramètre dans un pipeline

L'annulation de l'affectation d'un paramètre enlève uniquement la valeur reconfigurée du paramètre entrant. Elle ne supprime ni le paramètre entrant de la tâche ni le paramètre défini par l'utilisateur.

Sur le canevas d'un pipeline, sélectionnez un opérateur de tâche comportant des paramètres entrants.
Dans le panneau Propriétés de la tâche sélectionnée, sélectionnez Configuration.
En regard de Paramètres entrants configurés, vérifiez le nombre de paramètres entrants configurés et disponibles.
Par exemple, 2/4 signifie que quatre paramètres entrants sont disponibles dans la tâche et que deux ont été reconfigurés.
Sélectionnez Configurer en regard de Paramètres entrants configurés.
Sur la page Configurer les paramètres entrants, vérifiez les entrées configurées.
Une entrée possède une valeur par défaut. Si le paramètre entrant est reconfiguré, l'entrée possède une valeur configurée. Une valeur configurée peut être un nom de paramètre défini par l'utilisateur avec la valeur reconfigurée indiquée entre parenthèses.
Pour annuler l'affectation d'un paramètre entrant, sélectionnez Effacer.

Suppression d'un paramètre dans un pipeline

Vous pouvez supprimer les paramètres de pipeline définis par l'utilisateur dont vous n'avez plus besoin dans un pipeline.

Les paramètres système dans un pipeline ne peuvent pas être supprimés.

Sur le tableau de bord d'un pipeline, sélectionnez Paramètres dans le menu Visualiser de la barre d'outils du tableau de bord.
L'onglet Visualiser du panneau Paramètres affiche les paramètres définis par l'utilisateur qui ont été créés dans ce pipeline. Si un paramètre est utilisé dans une tâche, le lien Utilisé dans affiche le nom de cette tâche.
Dans le panneau Paramètres, sélectionnez Configuration.
Sélectionnez les paramètres à supprimer, puis cliquez sur Supprimer.

Remarque

Lorsque vous supprimez un paramètre défini par l'utilisateur dans un pipeline, toutes les valeurs configurées dans les opérateurs tâche associés à ce paramètre dans le pipeline sont enlevées. Pour reconfigurer une valeur d'entrée, reportez-vous à Configuration des paramètres entrants pour les tâches.

Documentation Oracle Cloud Infrastructure