Utilisation des paramètres dans les pipelines
Dans Data Integration, les paramètres des pipelines proviennent des paramètres affectés dans les flux de données et les tâches.
Pour les opérateurs de flux de données qui utilisent des expressions dans la configuration, les valeurs des paramètres utilisés dans les expressions sont également disponibles pour reconfiguration dans un pipeline.
Pour en savoir plus sur l'utilisation de paramètres et de paramètres d'expression (également appelés paramètres scalaires) dans les flux de données, reportez-vous à Utilisation de paramètres de flux de données et à A propos des paramètres d'expression.
Les paramètres et les paramètres d'expression utilisés dans les flux de données et les tâches ont des types et des valeurs par défaut. Si vous ne modifiez pas les valeurs de paramètre entrantes pour les tâches et les flux de données associés dans un pipeline, les valeurs par défaut d'origine sont utilisées lors de la conception du pipeline, ou lors de l'exécution du pipeline.
Les types de données de paramètre entrants pris en charge sont les suivants :
NUMERIC
VARCHAR
DATE
DATETIME
DECIMAL
DOUBLE
FLOAT
INTEGER
TIMESTAMP
TINYINT
BOOLEAN
LONG
STRING
Les paramètres des ressources source et cible dans une tâche de programme de chargement de données peuvent également être reconfigurés lorsque la tâche est utilisée dans un pipeline. Pour savoir comment utiliser des paramètres dans les tâches du programme de chargement de données, reportez-vous à Utilisation des paramètres pour la source et la cible.
Méthodes de reconfiguration des paramètres dans un pipeline
Lorsque vous ajoutez une tâche paramétrée à un pipeline, vous pouvez utiliser l'onglet Configuration du panneau Propriétés pour reconfigurer les valeurs de paramètre spécifiées dans cette tâche ou dans le flux de données associé encapsulé par une tâche d'intégration.
Afin de reconfigurer une valeur de paramètre entrante pour une tâche dans un pipeline, vous pouvez affecter à l'entrée les éléments suivants :
- Une valeur spécifique directement.
- La valeur d'une sortie d'un opérateur précédent. Par exemple : paramètre de sortie.
- Un paramètre défini par l'utilisateur, qui permet de définir la valeur lors de l'exécution du pipeline, ou lors de la conception si vous créez une tâche de pipeline qui encapsule le pipeline.
- Un paramètre système.
Lorsque vous créez une tâche de pipeline pour un pipeline paramétré, vous pouvez utiliser la page Configurer les paramètres pour modifier les valeurs par défaut des paramètres définis par l'utilisateur, le cas échéant.
Types de paramètre de pipeline
Dans Data Integration, les types de paramètre que vous pouvez utiliser dans les pipelines sont définis par l'utilisateur ou générés par le système.
Les paramètres générés par le système peuvent être classés dans les types suivants :
Paramètres définis par l'utilisateur
Les paramètres définis par l'utilisateur sont des paramètres personnalisés que vous créez dans les pipelines afin de les affecter aux entrées des paramètres entrants pour les opérateurs de tâche. Un paramètre défini par l'utilisateur est local par rapport au pipeline dans lequel vous l'avez créé. Vous ne pouvez donc pas réutiliser un paramètre défini par l'utilisateur dans d'autres pipelines.
Un paramètre défini par l'utilisateur possède un nom, un type et une valeur. Vous indiquez un nom et une valeur lorsque vous créez un paramètre défini par l'utilisateur. Le type dépend du type du paramètre entrant auquel vous affectez le paramètre défini par l'utilisateur. Vous ne pouvez pas modifier le type d'un paramètre défini par l'utilisateur.
Les types de paramètre défini par l'utilisateur que vous pouvez créer dans un pipeline sont les suivants :
- Ressource de données
- Connexion
- Schéma
- Entité de données
- Condition (à partir d'une condition de filtre ou de jointure paramétrée)
- Expression
Vous pouvez également ajouter des paramètres pour des types de données tels que NUMERIC, VARCHAR, DATE, DECIMAL et STRING.
Lors de la conception d'un pipeline, vous pouvez utiliser le panneau Paramètres ou l'onglet Paramètres du panneau Propriétés du pipeline pour afficher les paramètres définis par l'utilisateur qui ont été ajoutés.
Les paramètres définis par l'utilisateur sont également disponibles dans le générateur d'expressions lorsque vous définissez une expression dans le pipeline à l'aide d'un opérateur d'expression.
Paramètres système
Data Integration génère des paramètres système que vous pouvez utiliser pour les affecter aux entrées des paramètres entrants pour les opérateurs de tâche. Un paramètre système possède un nom et un type. Vous pouvez lier la valeur d'un paramètre système à un paramètre entrant du même type, mais vous ne pouvez pas modifier la valeur.
Le tableau suivant présente les paramètres système que vous pouvez utiliser dans un pipeline.
Nom | Type | Description |
---|---|---|
SYS.TASK_START_TIME | TIMESTAMP | Heure de début de la tâche (UTC). |
SYS.TASK_RUN_KEY | STRING | Clé d'exécution de tâche de l'exécution de tâche. |
SYS.TASK_RUN_NAME |
STRING |
Nom de l'exécution de tâche. |
SYS.TASK_KEY |
STRING |
Clé de la tâche. |
SYS.TASK_NAME |
STRING |
Nom de la tâche. |
SYS.PARENT_TASK_RUN_KEY | STRING | Clé d'exécution de tâche parent. |
SYS.TASK_SCHEDULE_TRIGGER_TIME | TIMESTAMP | Heure de déclenchement de la programmation (pour une exécution de tâche lancée à partir d'une programmation). L'heure de programmation peut être différente de l'heure de début de la tâche. |
SYS.TASK_SCHEDULE_TIMEZONE | STRING | Fuseau horaire correspondant à l'heure de programmation, qui représente l'heure définie dans la programmation de la tâche. |
SYS.RETRY_ATTEMPT | INTEGER | Nombre de tentatives d'exécution d'une tâche configurée pour les nouvelles tentatives en cas d'échec d'une exécution. |
SYS.PIPELINE_NAME | STRING | Nom du pipeline. |
SYS.PIPELINE_IDENTIFIER | STRING | Identificateur du pipeline. |
SYS.TIMEOUT | INTEGER | Valeur de délai d'expiration (en minutes) du pipeline. L'exécution du pipeline échoue lorsque la valeur de délai d'expiration est atteinte. |
SYS.WORKSPACE_ID | STRING | Identifiant de l'espace de travail. |
SYS.APPLICATION_KEY | STRING | Clé de l'application. |
SYS.REGION | STRING | Nom de région. |
Lors de la conception d'un pipeline, vous pouvez utiliser l'onglet Paramètres du panneau Propriétés du pipeline afin de connaître les paramètres de pipeline système disponibles. La colonne Utilisé dans indique où le paramètre est utilisé dans le pipeline.
Lorsque vous ajoutez une expression à un opérateur d'expression dans un pipeline, vous pouvez utiliser l'onglet Paramètres du générateur d'expressions pour afficher la liste des paramètres système. Vous pouvez utiliser les paramètres système dans des expressions pour journaliser les informations système.
Paramètres de sortie
Les paramètres de sortie sont des paramètres générés par le système pour les opérateurs que vous pouvez utiliser pour transmettre les valeurs de sortie d'un opérateur d'un pipeline à un autre opérateur en aval.
Le tableau suivant présente certains paramètres de sortie que vous pouvez utiliser.
Nom | Type | Description |
---|---|---|
SYS.STATUS | STRING | Statut de l'opération (par exemple, exécution de tâche) |
SYS.ERROR_MESSAGE | STRING | Message d'erreur pour l'opération |
SYS.NO_OF_INSERTS | INTEGER | Nombre de lignes insérées et mises à jour |
SYS.DATA_READ | INTEGER | Quantité de données lues |
SYS.DATA_WRITTEN | INTEGER | Quantité de données écrites |
SYS.DURATION | INTEGER | Durée de l'opération |
SYS.START_TIME_TIMESTAMP | TIMESTAMP | Heure de début de l'exécution de la tâche au format d'horodatage. |
SYS.END_TIME_TIMESTAMP | TIMESTAMP | Heure de fin de l'exécution de la tâche au format d'horodatage. |
SYS.TASK_RUN_KEY |
STRING |
Clé d'exécution de tâche de l'exécution de tâche. |
SYS.TASK_RUN_NAME |
STRING |
Nom de l'exécution de tâche. |
SYS.TASK_NAME |
STRING |
Nom de la tâche. |
SYS.TASK_KEY |
STRING |
Clé de la tâche. |
Lors de la conception d'un pipeline, vous pouvez utiliser l'onglet Sortie du panneau Propriétés d'un opérateur de tâche pour afficher les sorties qui peuvent être utilisées comme entrées pour l'opérateur suivant.
Remarque :
-
Pour un opérateur de tâche SQL associé à une procédure stockée, les sorties incluent tous les paramètres de sortie de la procédure SQL stockée.
-
Pour un opérateur de fusion, les sorties disponibles sont la combinaison de paramètres de sortie du système et des sorties de chaque opérateur connecté à l'opérateur de fusion.
- Seules les sorties suivantes du système sont disponibles : SYS.STATUS, SYS.START_TIME_TIMESTAMP et SYS.END_TIME_TIMESTAMP.
- Les sorties de tâche sont désignées par un nom d'opérateur de tâche. Par exemple : TASK_OPERATOR_1.SYS.STATUS, TASK_OPERATOR_2.SYS.STATUS.
- Les sorties d'un opérateur d'expression sont qualifiées par le nom de l'opérateur d'expression et l'identificateur de l'expression. Par exemple : EXPRESSION_1. EXPRESSION_ERROR_MESSAGE
- Les sorties d'un opérateur de fusion sont qualifiées par le nom de l'opérateur de fusion. Par exemple : MERGE_3. SYS.START_TIME_TIMESTAMP
-
Pour un opérateur de tâche OCI Data Flow associé à une application OCI Data Flow, les sorties incluent tous les paramètres de sortie de l'application et les types de données de sortie suivants :
- com.oracle.dos.task.model.customparameter.Arguments : arguments
- Float :
- bytesProcessed
- bytesWritten
- Chaîne :
- applicationId
- displayName
-
Pour un opérateur de tâche REST, les types de données de sortie de réponse REST suivants sont disponibles :
- JSON ou JSON_TEXT : SYS.RESPONSE_PAYLOAD_JSON et SYS.RESPONSE_HEADERS_JSON
- Chaîne : SYS.RESPONSE_STATUS
Remarque
- Pour utiliser une sortie de réponse REST dans les opérations en aval, transmettez la sortie via un opérateur d'expression dans lequel vous pouvez appliquer des opérations de chaîne et d'expression régulière. Utilisez ensuite le résultat dans les opérateurs de tâche en aval suivants.
- Les sorties de chaîne SYS.RESPONSE_PAYLOAD et SYS.RESPONSE_HEADERS sont en phase d'abandon. Nous vous recommandons de convertir toute utilisation existante en équivalents de type de données JSON de SYS.RESPONSE_PAYLOAD_JSON et SYS.RESPONSE_HEADERS_JSON, respectivement.
A propos du panneau Paramètres
Le panneau Paramètres affiche tous les paramètres de pipeline définis par l'utilisateur qui ont été créés dans un pipeline.
Pour accéder au panneau Paramètres lorsque le pipeline est ouvert dans le tableau de bord du concepteur, sélectionnez Paramètres dans le menu Visualiser de la barre d'outils.
Utilisez l'onglet Visualiser pour connaître les paramètres définis par l'utilisateur dans le pipeline. Les paramètres utilisés et non utilisés sont affichés. Lorsque vous sélectionnez le lien Utilisé d'un paramètre utilisé dans le pipeline, l'opérateur de tâche référençant ce paramètre est mis en évidence sur le canevas.
Utilisez l'onglet Configuration du panneau Paramètres pour supprimer un paramètre défini par l'utilisateur ou modifier la valeur par défaut.
Lorsque vous supprimez un paramètre de pipeline défini par l'utilisateur, toutes les valeurs configurées dans les opérateurs associés au paramètre sont enlevées. Pour reconfigurer une valeur d'entrée, reportez-vous à Configuration des paramètres entrants pour les tâches.
Ajout d'un paramètre dans un pipeline
Vous pouvez ajouter et définir des paramètres définis par l'utilisateur pour les paramètres entrants des opérateurs de tâche dans un pipeline.
La façon dont vous définissez un paramètre défini par l'utilisateur dépend du type du paramètre entrant. Pour tous les types de paramètre, vous indiquez un nom et une description (facultative), et définissez une valeur par défaut pour le paramètre défini par l'utilisateur. Vous ne pouvez pas modifier le type et vous ne pouvez pas modifier le nom et la description une fois le paramètre créé.
Un paramètre défini par l'utilisateur peut être réutilisé dans le même pipeline afin de représenter la valeur configurée pour un autre paramètre entrant du même type.
Affichage des paramètres dans un pipeline
Vous pouvez afficher les paramètres système disponibles dans un pipeline et les paramètres définis par l'utilisateur que vous avez créés dans un pipeline.
Vous pouvez également suivre cette procédure pour savoir où un paramètre est utilisé dans un pipeline.
Affectation d'un paramètre dans un pipeline
Vous pouvez affecter des paramètres système et des paramètres définis par l'utilisateur existants aux paramètres entrants des opérateurs de tâche dans un pipeline.
Modification de la valeur par défaut d'un paramètre défini par l'utilisateur
Lors de la conception du pipeline, vous pouvez modifier rapidement la valeur par défaut d'un paramètre défini par l'utilisateur affecté.
Annulation de l'affectation d'un paramètre dans un pipeline
L'annulation de l'affectation d'un paramètre enlève uniquement la valeur reconfigurée du paramètre entrant. Elle ne supprime ni le paramètre entrant de la tâche ni le paramètre défini par l'utilisateur.
Suppression d'un paramètre dans un pipeline
Vous pouvez supprimer les paramètres de pipeline définis par l'utilisateur dont vous n'avez plus besoin dans un pipeline.
Les paramètres système dans un pipeline ne peuvent pas être supprimés.