Utilisation des opérateurs de pipeline
Dans le service d'intégration de données, les opérateurs de pipeline représentent différentes tâches et différentes activités qui peuvent être utilisées dans un pipeline.
Les types d'opérateur de tâche que vous pouvez utiliser dans un pipeline sont les suivants :
- Opérateurs de tâches d'intégration et de chargement de données qui permettent d'exécuter des solutions d'intégration de données dans un pipeline. Vous pouvez configurer les entrées des opérateurs. Les entrées de l'opérateur de tâche sont similaires aux paramètres définis au niveau d'une tâche ou d'un flux de données.
- Opérateurs de tâche SQL qui permettent d'exécuter des procédures stockées SQL dans un pipeline. Vous pouvez configurer des valeurs pour les paramètres dans les procédures stockées.
- Opérateurs de tâche du service de flux de données OCI qui vous permettent d'exécuter des applications de flux de données OCI dans un pipeline.
- Opérateurs de tâche REST qui vous permettent d'exécuter des points d'extrémité d'API REST dans un pipeline. Vous pouvez reconfigurer les valeurs des paramètres utilisés dans la tâche REST.
- Opérateurs de tâche de pipeline qui permettent d'exécuter un autre pipeline dans un pipeline.
Vérifiez les informations et considérations relatives à la prise en charge lors de l'utilisation des pipelines avant de créer ou de modifier un pipeline. Par exemple, faites attention au niveau de profondeur imbriqué et à la limite de tâche par niveau.
Pour tous les opérateurs de tâche, vous pouvez sélectionner des tâches de conception à partir de projets dans l'espace de travail courant et des tâches publiées à partir de n'importe quelle application dans l'espace de travail courant. Avec les tâches REST publiées et les tâches de flux de données OCI, vous pouvez également sélectionner une tâche dans n'importe quelle application d'un autre espace de travail du même compartiment ou d'un autre compartiment.
Pour les tâches exécutées en parallèle, vous pouvez utiliser un opérateur Fusion et indiquer une condition pour gérer les opérations subséquentes en aval. Pour prendre la sortie de n'importe quel opérateur et la transmettre à l'opérateur suivant, vous pouvez utiliser un opérateur Expression.
Vous utilisez un concepteur similaire au concepteur de flux de données pour créer un pipeline. Le concepteur s'ouvre avec un opérateur Démarrer et un opérateur Fin déjà placés sur le canevas pour vous. Il ne peut y avoir qu'un seul opérateur Démarrer et un seul opérateur Fin dans un pipeline. Un pipeline doit comporter au moins un opérateur de tâche pour être valide. Vous pouvez ajouter n'importe quel nombre de tâches, puis les connecter dans une séquence entre l'opérateur de début et l'opérateur de fin. À partir du panneau Opérateurs, faites glisser des opérateurs sur le canevas pour concevoir le pipeline. Utilisez ensuite le panneau Propriétés pour configurer les propriétés de chaque opérateur.
Les tâches qui sont connectées directement à l'opérateur Démarrer sont toujours exécutées. Les tâches suivantes de la séquence peuvent être configurées pour s'exécuter en fonction de l'état de l'opérateur précédent. Par exemple, considérez un pipeline qui a la séquence Démarrer > Tâche A > Tâche B > Fin. La tâche A est toujours exécutée. Pour la tâche B, vous pouvez utiliser la propriété Condition de lien entrant dans le panneau Propriétés pour que la tâche soit toujours exécutée ou seulement lorsque le statut de la tâche A satisfait à une condition d'exécution spécifique.
Pour connecter des opérateurs, survolez le premier avec le pointeur de la souris jusqu'à ce que le symbole de connexion (petit cercle) apparaisse sur son côté droit. Puis faites glisser le connecteur vers l'opérateur suivant auquel vous souhaitez le connecter. La connexion est valide lorsqu'une ligne relie les deux opérateurs.
En général, un opérateur n'a qu'un seul port entrant et un ou plusieurs ports sortants pour la circulation des processus dans le pipeline. Par exemple, vous pouvez connecter le même port sortant de l'opérateur Tâche SQL aux ports entrants de deux opérateurs d'expression distincts. Seuls l'opérateur Fin et l'opérateur Fusion peuvent avoir plusieurs ports entrants.
Vous pouvez rapidement dupliquer un opérateur Tâche ou Expression qui a été ajouté à un pipeline. Pour dupliquer l'opérateur, cliquez avec le bouton droit de la souris sur l'icône de l'opérateur dans le canevas et sélectionnez Dupliquer dans le menu qui s'affiche. Renommez ensuite l'identificateur de l'opérateur dupliqué dans le panneau Propriétés. Si l'opérateur initial est connecté à d'autres opérateurs, les connexions et toute référence aux sorties d'un opérateur précédent ne sont pas copiées vers l'opérateur dupliqué.
Opérateur Démarrer et opérateur Fin
Lorsque vous commencez à créer un pipeline, le concepteur s'ouvre avec un opérateur Démarrer et un opérateur Fin déjà placés sur le canevas. Il ne peut y avoir qu'un seul opérateur Démarrer et un seul opérateur Fin dans un pipeline.
L'opérateur Démarrer n'a aucune propriété configurable.
Pour ce qui est de l'opérateur Fin, vous pouvez configurer la propriété Condition de lien entrant afin d'indiquer l'une des règles d'exécution suivantes pour une tâche de pipeline :
- Tous terminés : Le statut de tâche du pipeline est Réussite même si une des tâches du pipeline échoue.
- Tous réussis : Le statut de tâche du pipeline est Réussite si toutes les tâches du pipeline sont terminées avec succès.
- Tout a échoué : Le statut de tâche du pipeline est Réussite si toutes les tâches du pipeline ont échoué.
Opérateur Fusion
Pour les tâches qui s'exécutent en parallèle, vous pouvez utiliser l'opérateur Fusion et spécifier une condition pour décider comment gérer les opérations suivantes en aval.
Un opérateur Fusion peut avoir plusieurs liaisons d'entrée (en amont) et plusieurs liaisons de sortie (en aval).
Opérateur Expression
Un opérateur Expression de pipeline permet de créer de nouveaux champs dérivés dans un pipeline, de manière similaire à l'opérateur Expression dans un flux de données.
Contrairement à un opérateur Expression pour flux de données, un opérateur Expression pour pipeline ne s'applique pas sur des données. Un opérateur Expression de pipeline permet d'appliquer une expression à la sortie de l'opérateur précédent, aux paramètres de pipeline et à la sortie générée par le système.
Utilisez le générateur d'expressions pour sélectionner visuellement des éléments afin de créer une expression pour un opérateur Expression dans un pipeline. Vous pouvez également entrer une expression manuellement dans l'éditeur.
Le générateur d'expressions est une section du panneau Ajouter une expression.
Vous pouvez supprimer des expressions lorsque vous n'en avez plus besoin.
- Sur le canevas d'un pipeline, sélectionnez un opérateur Expression.
- Avec l'opérateur Expression en évidence, dans l'onglet Détails du panneau Propriétés, sélectionnez l'expression à supprimer, puis sélectionnez Supprimer.
- Dans la boîte de dialogue Supprimer l'expression, assurez-vous que vous voulez supprimer cette expression, puis sélectionnez Supprimer.
Opérateur de décision
Utilisez l'opérateur de décision pour écrire une condition booléenne qui détermine le flux de branchement dans le pipeline. Le branchement est basé sur trois résultats possibles, à savoir TRUE, FALSE et ERROR.
Un opérateur de décision a une liaison d'entrée (en amont) et trois liaisons de sortie (en aval).
Opérateur Tâche de chargement de données
Un opérateur Tâche de chargement de données permet d'exécuter une tâche de chargement de données dans un pipeline.
Un opérateur Tâche de chargement de données qui est connecté directement à l'opérateur Démarrer est toujours exécuté.
Pour un opérateur de tâche qui n'est pas connecté directement à l'opérateur Démarrer, vous pouvez utiliser la propriété Condition de lien entrant pour configurer la tâche afin qu'elle soit toujours exécutée ou qu'elle ne s'exécute que lorsque le statut de l'opérateur précédent satisfait à une condition d'exécution spécifique.
Opérateur Tâche d'intégration
Un opérateur Tâche d'intégration permet d'exécuter un flux de données configuré pour un contexte spécifique. Le flux de données doit être enveloppé dans une tâche d'intégration.
Un opérateur Tâche d'intégration connecté directement à l'opérateur Démarrer est toujours exécuté.
Pour un opérateur de tâche qui n'est pas connecté directement à l'opérateur Démarrer, vous pouvez utiliser la propriété Condition de lien entrant pour configurer la tâche afin qu'elle soit toujours exécutée ou qu'elle ne s'exécute que lorsque le statut de l'opérateur précédent satisfait à une condition d'exécution spécifique.
Opérateur Tâche de pipeline
Un opérateur Tâche de pipeline permet d'exécuter un pipeline dans un autre pipeline.
Un opérateur Tâche de pipeline connecté directement à l'opérateur Démarrer est toujours exécuté.
Pour un opérateur de tâche qui n'est pas connecté directement à l'opérateur Démarrer, vous pouvez utiliser la propriété Condition de lien entrant pour configurer la tâche afin qu'elle soit toujours exécutée ou qu'elle ne s'exécute que lorsque le statut de l'opérateur précédent satisfait à une condition d'exécution spécifique.
Opérateur Tâche SQL
Un opérateur Tâche SQL permet d'exécuter un objet SQL tel qu'une procédure stockée.
Un opérateur Tâche SQL connecté directement à l'opérateur Démarrer est toujours exécuté.
Pour un opérateur de tâche qui n'est pas connecté directement à l'opérateur Démarrer, vous pouvez utiliser la propriété Condition de lien entrant pour configurer la tâche afin qu'elle soit toujours exécutée ou qu'elle ne s'exécute que lorsque le statut de l'opérateur précédent satisfait à une condition d'exécution spécifique.
Opérateur de tâche de flux de données OCI
Un opérateur de tâche de flux de données OCI vous permet d'exécuter une application de flux de données OCI dans un pipeline.
Un opérateur de tâche connecté directement à l'opérateur Démarrer est toujours exécuté.
Pour un opérateur de tâche qui n'est pas connecté directement à l'opérateur Démarrer, vous pouvez utiliser la propriété Condition de lien entrant pour configurer la tâche afin qu'elle soit toujours exécutée ou qu'elle ne s'exécute que lorsque le statut de l'opérateur précédent satisfait à une condition d'exécution spécifique.
Opérateur de tâche REST
Un opérateur de tâche REST vous permet d'exécuter un point d'extrémité d'API REST dans un pipeline.
Un opérateur de tâche connecté directement à l'opérateur Démarrer est toujours exécuté.
Pour un opérateur de tâche qui n'est pas connecté directement à l'opérateur Démarrer, vous pouvez utiliser la propriété Condition de lien entrant pour configurer la tâche afin qu'elle soit toujours exécutée ou qu'elle ne s'exécute que lorsque le statut de l'opérateur précédent satisfait à une condition d'exécution spécifique.