Utilisation de paramètres de flux de données
Dans Data Integration, les types de paramètre que vous pouvez utiliser dans les flux de données sont définis par l'utilisateur ou générés par le système.
Data Integration génère les paramètres système lors de l'exécution, comme SYS.TASK_START_TIME. Les valeurs des paramètres système peuvent être utilisées dans les expressions pour journaliser les informations système. Actuellement, vous pouvez utiliser les paramètres générés par le système uniquement avec l'opérateur d'expression.
Les paramètres définis par l'utilisateur vous permettent d'utiliser des tâches avec différentes configurations de sources, de cibles et de transformations lors de la conception et de l'exécution. Afin d'utiliser les paramètres, commencez par créer des paramètres pour les opérateurs dans un flux de données. Par exemple, lors de la conception d'un flux de données, utilisez l'onglet Détails du panneau Propriétés d'un opérateur pour ajouter et affecter des paramètres aux types de ressource suivants :
- Ressource de données (source et cible)
- Connexion (source et cible)
- Schéma ou bucket (source et cible)
- Entité de données (source et cible)
- Condition (filtre, jointure, recherche, fractionnement)
Avec une entité de données, au lieu de paramétrer le nom complet de l'entité, vous pouvez inclure des paramètres dans le nom de l'entité de données. Reportez-vous à A propos des paramètres dans les noms d'entité de données.
Pour les opérateurs de flux de données qui utilisent des expressions dans la configuration, tels que les opérateurs d'expression et d'agrégation, ainsi que les opérateurs de filtre, de jointure, de recherche et de fractionnement, vous pouvez utiliser des paramètres dans les expressions (également appelés paramètres scalaires). Reportez-vous à A propos des paramètres d'expression.
Lorsque vous employez des paramètres d'expression et des paramètres définis par l'utilisateur dans un flux de données, vous devez indiquer des valeurs par défaut pour ces paramètres. Lorsque vous créez ensuite une tâche d'intégration pour le flux de données paramétré, vous pouvez modifier des valeurs par défaut sur la page Configurer les paramètres ou lors de l'exécution. Si vous ne modifiez pas un paramètre lors de la conception ou de l'exécution, la valeur par défaut définie dans le flux de données est utilisée lorsque vous exécutez la tâche.
Les paramètres peuvent également être affectés à des ressources dans des tâches telles que SQL, OCI Data Flow et REST. Afin d'utiliser des paramètres pour les ressources source et cible dans une tâche de programme de chargement de données, reportez-vous à Utilisation des paramètres pour la source et la cible.
Lorsque vous ajoutez une tâche paramétrée à un pipeline, vous pouvez reconfigurer n'importe quelle valeur des paramètres entrants définis au niveau de la tâche ou au niveau du flux de données associé. Vous pouvez également reconfigurer les valeurs des paramètres d'expression. Reportez-vous à Utilisation des paramètres dans les pipelines.
Remarques concernant l'utilisation des paramètres
L'utilisation de paramètres évite l'association permanente des ressources et des valeurs d'intégration de données à une tâche d'intégration. Si vous n'affectez aucun paramètre, les ressources et les valeurs choisies sont utilisées à chaque exécution de la tâche. Les paramètres vous permettent de réutiliser une conception de flux de données avec différentes ressources et valeurs d'intégration de données. Pour modifier les valeurs lors de la conception, utilisez le panneau Paramètres ou la page Configurer les paramètres lorsque vous configurez le flux de données dans une tâche d'intégration.
Bien que les paramètres soient conçus pour vous donner de la flexibilité lors de l'exécution du flux de données dans une tâche d'intégration, ils peuvent rapidement devenir complexes et source de confusion. Par exemple, lorsque vous ajoutez un opérateur source à un flux de données, vous sélectionnez la ressource de données, la connexion, le schéma, puis l'entité de données qui sert de source de données au flux de données. Ces quatre valeurs sont les valeur par défaut de l'opérateur. Des paramètres peuvent être affectés à chacune de ces valeurs. Si vous affectez des paramètres, vous devez prêter une attention particulière aux valeurs attribuées.
Supposons que vous affectez des paramètres aux valeurs d'entité de données et de ressource de données, mais pas aux valeurs de connexion et de schéma. Vous risquez de rencontrer des erreurs lorsque vous modifiez une valeur de paramètre. Par exemple, si vous modifiez la valeur de ressource de données, la nouvelle ressource de données peut ne pas disposer des mêmes valeurs de connexion, de schéma et d'entité de données que vous avez définies à l'origine. Data Integration vous avertit lorsque vous modifiez une valeur, mais vous devez vérifier vous-même les relations et vous assurer que le flux de données fonctionne toujours avec les valeurs modifiées. Lorsque vous concevez le flux de données, au sein d'une tâche d'intégration et lorsque vous exécutez la tâche, gardez à l'esprit les valeurs de paramètre partout.
Les paramètres sont locaux par rapport au flux de données pour lequel vous les ajoutez. Par conséquent, vous ne pouvez pas partager ou réutiliser des paramètres entre les flux de données.
Soyez également attentif lorsque vous ajoutez un paramètre pour une nouvelle entité de données cible. Les nouvelles entités de données ne présentent aucune forme, ce qui signifie qu'elles ne contiennent pas encore d'attributs. Pour éviter de rencontrer des erreurs lors de la conception ou de l'exécution, réutilisez les paramètres affectés aux nouveaux objets avec attention. Par exemple, n'affectez pas le paramètre dont la valeur par défaut est une nouvelle entité de données cible à une entité de données source ou à une entité de données cible existante.
A propos des paramètres d'expression
Dans les expressions, les paramètres permettent de réutiliser des expressions avec différentes valeurs lors de la conception ou de l'exécution.
Vous ajoutez des paramètres aux expressions au niveau du flux de données lorsque vous configurez des opérateurs qui utilisent des expressions. Les paramètres d'expression (également appelés paramètres scalaires) s'appliquent aux opérateurs de filtre, de jointure, de recherche, de fractionnement, d'expression et d'agrégation. Selon l'opérateur, utilisez le générateur d'expressions ou de conditions pour ajouter des paramètres d'expression.
Les paramètres d'expression que vous ajoutez à un opérateur sont enregistrés dans le flux de données et sont disponibles pour les autres opérateurs applicables dans le flux de données.
Un paramètre d'expression possède un nom et une valeur par défaut, et est associé à un type de données. Les types suivants sont pris en charge :
NUMERICVARCHARDATEDATETIMEDECIMALDOUBLEFLOATINTEGERTIMESTAMPTINYINTBOOLEANLONGSTRING
Une fois que vous avez créé un paramètre d'expression, vous ne pouvez plus modifier son nom ou son type, ni aucune autre propriété du paramètre en fonction de son type. Seule la valeur par défaut peut être modifiée. Vous pouvez modifier la valeur par défaut au moment de la conception et de l'exécution.
Par exemple, prenons l'expression suivante pour un filtre de condition dans un flux de données :
FILTER_1.COUNTRIES.CITY='Redwood Shores'Au lieu de spécifier une valeur explicite pour CITY, vous pouvez utiliser un paramètre dans l'expression. Supposons que vous créez un paramètre d'expression VARCHAR, par exemple P_VARCHAR, et que vous définissez la valeur par défaut sur Redwood Shores. Vous pouvez modifier le filtre de condition pour utiliser le paramètre d'expression :
FILTER_1.COUNTRIES.CITY=$P_VARCHARLors de la conception, vous pouvez modifier la valeur par défaut de P_VARCHAR lorsque vous créez une tâche d'intégration qui utilise ce flux de données. Ensuite, lors de l'exécution, vous pouvez utiliser la valeur par défaut définie dans la tâche d'intégration ou modifier la valeur.
Tous les paramètres d'expression que vous ajoutez à un flux de données sont disponibles dans le panneau Paramètres.
A propos des paramètres système
Un paramètre système possède un nom et un type. Vous pouvez lier la valeur d'un paramètre système, mais vous ne pouvez pas la modifier.
Lorsque vous ajoutez une expression à un opérateur d'expression dans un flux de données, vous utilisez l'onglet Paramètres du générateur d'expressions pour afficher la liste des paramètres système. Vous pouvez utiliser les paramètres système dans des expressions pour journaliser les informations système.
Le tableau suivant présente les paramètres système que vous pouvez utiliser.
| Nom | Type | Description |
|---|---|---|
| SYS.TASK_START_TIME | TIMESTAMP | Heure de début de la tâche (UTC). |
| SYS.TASK_RUN_KEY |
OCID |
Identificateur interne de l'exécution de tâche. |
| SYS.TASK_RUN_NAME |
STRING |
Nom de l'exécution de tâche. |
| SYS.TASK_SCHEDULE_TRIGGER_TIME | TIMESTAMP | Heure de déclenchement de la programmation (pour une exécution de tâche lancée à partir d'une programmation). L'heure de programmation peut être différente de l'heure de début de la tâche. |
| SYS.TASK_SCHEDULE_TIMEZONE | STRING | Fuseau horaire correspondant à l'heure de programmation, qui représente l'heure définie dans la programmation de la tâche. |
| SYS.RETRY_ATTEMPT | INTEGER | Nombre de tentatives d'exécution d'une tâche configurée pour les nouvelles tentatives en cas d'échec d'une exécution. |
Remarque : une valeur d'OCID est de type STRING.
A propos des paramètres dans les noms d'entité de données
Lors de la configuration d'un opérateur source ou cible dans un flux de données, vous pouvez inclure des paramètres dans le nom d'entité de données, à l'aide de la syntaxe ${PARAMETER_NAME}.
Un nom de paramètre est sensible à la casse et chaque paramètre que vous utilisez doit avoir une valeur par défaut.
Par exemple, CUSTOMERS_${COUNTRY} peut renvoyer la table de base de données CUSTOMERS_USA et BANK_${COUNTRY}/* peut renvoyer les fichiers Object Storage dans BANK_EU.
Pour utiliser des paramètres dans les noms d'entité de données, vous pouvez ajouter le paramètre au flux de données avant d'ajouter l'opérateur de données. Vous pouvez également ajouter le paramètre lors de la configuration de l'entité de données pour l'opérateur.
-
Pour ajouter des paramètres à un flux de données, dans le flux de données, sélectionnez Paramètres dans le menu Visualiser de la barre d'outils du canevas pour ouvrir le panneau Paramètres.
Dans le panneau Paramètres, sélectionnez Configuration, puis Ajouter.
Dans le panneau Ajouter un paramètre, configurez un paramètre du type de données approprié, par exemple VARCHAR ou NUMERIC, et ajoutez une valeur par défaut.
-
Pour ajouter un paramètre au moment de la configuration d'entité de données, dans le panneau Parcourir les entités de données :
-
Dans le menu Actions supplémentaires, sélectionnez Ajouter un paramètre de flux de données.
-
Dans le champ de recherche, commencez à saisir
${, suivi de n'importe quel caractère. Si la première partie du nom de paramètre correspond à des paramètres existants dans le flux de données, la liste des noms suggérés apparaît. Pour sélectionner un paramètre dans la liste, sélectionnez son nom, complétez la syntaxe en ajoutant}, puis appuyez sur Entrée. -
Dans le champ de recherche, entrez le nom du paramètre. Si le nom du paramètre n'existe pas encore dans le flux de données et que vous appuyez sur Entrée, Data Integration affiche le panneau Ajouter un paramètre de flux de données. Après avoir saisi le nom du paramètre, vous pouvez également sélectionner Ajouter un paramètre de flux de données dans le menu Actions supplémentaires.
Dans le panneau Ajouter un paramètre de flux de données, indiquez le type de données, la valeur par défaut et les autres propriétés du paramètre à ajouter et à utiliser.
Pour Object Storage uniquement sur un opérateur source : lorsque vous configurez l'entité de données sur un opérateur source qui utilise une ressource de données Object Storage, vous pouvez utiliser des paramètres et des modèles de fichier. Dans le panneau Parcourir les entités de données par modèle, entrez une expression avec des paramètres et des modèles pour sélectionner des entités. Par exemple :
ADDRESSES_${STATE}/* -
Pour une entité de données qui inclut un paramètre de flux de données dans son nom, vous ne pouvez pas lier la ressource d'entité à un autre paramètre. L'option Affecter un paramètre n'est pas disponible.
A propos du panneau Paramètres
Le panneau Paramètres d'un flux de données affiche les paramètres qui ont été définis dans l'ensemble du flux de données.
Utilisez le panneau Paramètres pour visualiser les éléments suivants :
- Tous les paramètres créés pour les ressources de données, les connexions, les schémas ou les buckets, ainsi que les entités de données utilisées dans le flux de données
- Tous les paramètres créés pour les opérateurs de mise en forme (filtre, jointure, recherche).
- Tous les paramètres d'expression créés pour les opérateurs d'agrégation et d'expression, ainsi que les opérateurs de mise en forme tels que les opérateurs de filtre, de jointure, de recherche et de fractionnement
- Tous les paramètres de flux de données créés pour les noms d'entité de données dans un flux de données.
Pour accéder au panneau Paramètres lorsque le flux de données est ouvert dans le tableau de bord du concepteur, sélectionnez Paramètres dans le menu Visualiser de la barre d'outils du tableau de bord.
Le panneau Paramètres comporte deux onglets : Visualiser et Configuration. Dans les deux onglets, vous pouvez effectuer une recherche dans la liste en saisissant le nom complet d'un paramètre.
Dans l'onglet Visualiser, vous pouvez effectuer les opérations suivantes :
- Afficher les paramètres créés dans le flux de données, qu'un paramètre soit affecté ou non à un objet. Un paramètre est affecté lorsqu'une valeur est présente en regard de Utilisé dans.
- Réduire et développer les détails de chaque paramètre.
- Cliquez sur le lien Utilisé dans pour un paramètre affecté. L'opérateur référençant ce paramètre est mis en évidence sur le canevas et dans le panneau Propriétés (onglet Détails).
Dans l'onglet Configuration, vous pouvez :
- Ajoutez des paramètres d'expression et de flux de données. Sélectionnez Ajouter, puis utilisez le panneau Ajouter des paramètres qui apparaît pour définir le paramètre.
- Modifier la valeur par défaut d'un paramètre Dans le menu Actions (
) du paramètre, sélectionnez Modifier pour utiliser le panneau Modifier le paramètre afin de modifier la valeur. - Supprimer des paramètres. Reportez-vous à Suppression d'un paramètre.
Ajout d'un paramètre
Vous ajoutez et définissez des paramètres sur les opérateurs associés aux sources de données dans un flux de données.
Un paramètre dans un flux de données peut être réutilisé pour représenter la valeur par défaut d'une autre ressource du même type dans le même flux de données.
La façon dont vous définissez un paramètre dépend du type de ressource auquel vous ajoutez le paramètre. Pour tous les types de paramètre, indiquez un nom et une description facultative, puis définissez la valeur par défaut du paramètre. Vous ne pouvez pas modifier le nom et la description après la création du paramètre.
La procédure suivante ne s'applique pas à l'ajout de paramètres dans des expressions et des conditions. Reportez-vous à Ajout d'un paramètre d'expression. Pour ajouter des paramètres système à l'opérateur d'expression, reportez-vous à Ajout et configuration d'un opérateur d'expression.
Pour ajouter un paramètre à un flux de données, procédez comme suit :
Afficher les paramètres système et définis par l'utilisateur
Vous pouvez afficher les paramètres système disponibles dans un flux de données lors de l'exécution et les paramètres définis par l'utilisateur que vous avez créés.
Pour les paramètres définis par l'utilisateur, la liste inclut les paramètres affectés et non utilisés au niveau du flux de données pour les ressources de données, les connexions, les schémas ou les buckets, et les entités de données. Pour les paramètres affectés, vous pouvez voir où le paramètre est utilisé dans le flux de données.
La liste définie par l'utilisateur inclut également les paramètres d'expression utilisés et non utilisés. Les paramètres d'expression sont des paramètres ajoutés au niveau du flux de données à l'aide du générateur de conditions (opérateurs de filtre, de jointure, de recherche et de fractionnement) ou du générateur d'expressions (opérateurs d'expression et d'agrégation).
Utilisez l'onglet Parameters du panneau Properties du flux de données pour afficher les paramètres système et définis par l'utilisateur.
Affectation d'un paramètre
Vous pouvez affecter des paramètres à différents types de ressource, tels que des entités de données dans les opérateurs source et cible, et des conditions dans les opérateurs de filtre, de jointure et de recherche.
Dans un flux de données, vous pouvez sélectionner l'un des paramètres existants, ou ajouter, puis affecter un paramètre.
L'onglet Détails du panneau Propriétés d'un opérateur de flux de données permet d'affecter des paramètres. La procédure suivante peut être utilisée pour affecter des paramètres à des opérateurs source, cible, de filtre, de jointure et de recherche.
Pour affecter un paramètre à un opérateur dans un flux de données, procédez comme suit :
Modification d'un paramètre
Vous modifiez la valeur par défaut d'un paramètre affecté dans le flux de données dans lequel ce paramètre est utilisé.
Vous pouvez également modifier la valeur du paramètre lorsque vous créez une tâche d'intégration à l'aide du flux de données ou lorsque vous exécutez la tâche. La procédure suivante explique comment modifier une valeur de paramètre lors de la conception du flux de données.
La procédure suivante ne s'applique pas à la modification de paramètres d'expression dans des expressions ou des conditions.
Pour modifier un paramètre affecté, procédez comme suit :
Lorsque vous modifiez le paramètre pour une ressource de données, une connexion, un schéma ou une entité de données, veillez à maintenir les relations appropriées entre les valeurs. Par exemple, si vous modifiez la valeur du schéma, vérifiez que la nouvelle valeur contient l'entité de données sélectionnée à l'origine. Si la valeur modifiée ne contient pas l'entité de données d'origine, vous risquez de rencontrer des erreurs avec le flux de données lors de l'exécution. Data Integration vous avertit des problèmes potentiels, mais vous êtes responsable de la définition des valeurs appropriées pour les paramètres.
Retrait d'un paramètre
Le retrait d'un paramètre d'un opérateur enlève uniquement l'association de l'opérateur au paramètre.
Le paramètre n'est pas supprimé du flux de données lorsque vous l'enlevez. Vous pouvez toujours utiliser ce paramètre pour un autre opérateur du même type de ressource.
Lorsque vous enlevez un paramètre, la valeur affectée au paramètre devient la valeur par défaut de l'opérateur.
La procédure suivante ne s'applique pas au retrait ou à la suppression de paramètres d'expression dans des expressions ou des conditions.
Pour enlever un paramètre affecté, procédez comme suit :
- Sur le tableau de bord d'un flux de données, sélectionnez l'opérateur dont vous voulez enlever le paramètre.
- Dans l'onglet Détails du panneau Propriétés, pour le type d'une ressource de paramètre à enlever, sélectionnez Enlever le paramètre.
- Dans la boîte de dialogue Enlever un paramètre, vérifiez la liste des opérateurs concernés si vous en enlevez ce paramètre, puis sélectionnez Enlever.
Suppression d'un paramètre
Lorsque vous supprimez un paramètre d'un flux de données, ce paramètre n'est plus disponible pour utilisation dans le flux de données.
Si le paramètre que vous supprimez est associé à un opérateur dans le flux de données, la valeur affectée au paramètre devient la valeur par défaut de l'opérateur.
Pour supprimer un paramètre, procédez comme suit :
Ajout d'un paramètre d'expression
Utilisez le générateur d'expressions ou de conditions pour ajouter des paramètres d'expression dans un flux de données.
Un paramètre d'expression possède un nom, un type et une valeur par défaut. Seule la valeur par défaut peut être modifiée après la création du paramètre.
Pour ajouter un paramètre d'expression, procédez comme suit :
- En fonction de l'opérateur sélectionné, effectuez l'une des opérations suivantes :
- Pour un opérateur d'expression ou d'agrégation, sélectionnez Ajouter une expression ou Modifier pour une expression existante dans le menu Actions ().
- Pour un opérateur de filtre, de jointure ou de recherche, sélectionnez Créer ou Modifier.
- Pour un opérateur de fractionnement, sélectionnez Ajouter ou Modifier dans le menu Actions () d'une condition existante.
- Pour un opérateur d'expression ou d'agrégation, sélectionnez Ajouter une expression ou Modifier pour une expression existante dans le menu Actions (
Modification d'un paramètre d'expression
Vous pouvez uniquement modifier les valeurs par défaut des paramètres d'expression. Vous ne pouvez pas modifier le nom, le type ou d'autres propriétés propres au type d'un paramètre d'expression.
Vous pouvez utiliser le panneau Paramètres ou l'onglet Paramètres du panneau Propriétés du flux de données pour modifier les valeurs par défaut.
La procédure suivante s'appuie sur l'onglet Paramètres du panneau Propriétés du flux de données.
-
Sur la ligne du paramètre d'expression à modifier, sélectionnez Modifier dans le menu Actions ().