Utilisation d'opérateurs de pipeline
Dans Data Integration, les opérateurs de pipeline représentent différentes tâches et activités pouvant être utilisées dans un pipeline.
Les types d'opérateur de tâche que vous pouvez utiliser dans un pipeline sont les suivants :
- Opérateurs de tâche d'intégration et de programme de chargement de données qui vous permettent d'exécuter des solutions d'intégration de données dans un pipeline. Vous pouvez configurer des entrées pour les opérateurs. Les entrées d'opérateur de tâche sont semblables aux paramètres définis au niveau d'une tâche ou d'un flux de données.
- Opérateurs de tâche SQL qui vous permettent d'exécuter des procédures SQL stockées dans un pipeline. Vous pouvez configurer des valeurs pour les paramètres dans les procédures stockées.
- Opérateurs de tâche OCI Data Flow qui vous permettent d'exécuter des applications OCI Data Flow dans un pipeline.
- Opérateurs de tâche REST qui vous permettent d'exécuter des adresses d'API REST dans un pipeline. Vous pouvez reconfigurer les valeurs des paramètres utilisés dans la tâche REST.
- Opérateurs de tâche de pipeline qui vous permettent d'exécuter un autre pipeline dans un pipeline.
Veillez à consulter les informations de support et considérations relatives à l'utilisation des pipelines avant de créer ou de modifier un pipeline. Par exemple, faites attention au niveau de profondeur imbriqué et à la limite de tâche par niveau.
Pour tous les opérateurs de tâche, vous pouvez sélectionner des tâches de conception à partir des projets de l'espace de travail en cours et des tâches publiées à partir de n'importe quelle application de l'espace de travail en cours. Avec les tâches REST publiées et les tâches OCI Data Flow, vous pouvez également sélectionner une tâche à partir de n'importe quelle application dans un autre espace de travail du même compartiment ou d'un autre compartiment.
Pour les tâches exécutées en parallèle, vous pouvez utiliser un opérateur de fusion et indiquer une condition pour gérer les opérations en aval ultérieures. Pour utiliser la sortie d'un opérateur et la transmettre à l'opérateur suivant, vous pouvez recourir à un opérateur d'expression.
Vous utilisez un concepteur semblable au concepteur de flux de données pour créer un pipeline. Le concepteur est ouvert avec un opérateur de début et un opérateur de fin déjà placés sur le canevas. Un pipeline ne peut comporter qu'un seul opérateur de début et un seul opérateur de fin. Un pipeline doit inclure au moins un opérateur de tâche pour être valide. Vous pouvez ajouter le nombre de tâches de votre choix, puis les connecter dans une séquence entre l'opérateur de début et l'opérateur de fin. A partir du panneau Opérateurs, faites glisser les opérateurs vers le canevas pour concevoir le pipeline. Utilisez ensuite le panneau Propriétés pour configurer les propriétés de chaque opérateur.
Les tâches connectées directement à l'opérateur de début sont toujours exécutées. Les tâches suivantes dans la séquence peuvent être configurées pour être exécutées en fonction de la condition de l'opérateur précédent. Par exemple, prenons un pipeline dont la séquence est Début > Tâche A > Tâche B > Fin. La tâche A est toujours exécutée. Pour la tâche B, vous pouvez utiliser la propriété Condition de lien entrante dans le panneau Propriétés pour configurer la tâche de sorte qu'elle soit toujours exécutée, ou exécutée uniquement lorsque le statut de la tâche A répond à une condition d'exécution spécifique.
Pour connecter des opérateurs, positionnez le curseur de la souris sur un opérateur jusqu'à ce que le connecteur (petit cercle) apparaisse à droite de l'opérateur. Ensuite, faites glisser le connecteur vers l'opérateur suivant auquel vous souhaitez vous connecter. La connexion est valide lorsqu'une ligne connecte les opérateurs une fois que vous avez déposé le connecteur.
En général, un opérateur ne comporte qu'un seul port entrant, et des ports sortants permettant aux processus de parcourir le pipeline. Par exemple, vous pouvez connecter le même port sortant d'opérateur de tâche SQL aux ports entrants de deux opérateurs d'expression distincts. Seuls l'opérateur de fin et l'opérateur de fusion peuvent comporter plusieurs ports entrants.
Vous pouvez rapidement dupliquer une tâche ou un opérateur d'expression qui a été ajouté à un pipeline. Pour dupliquer l'opérateur, cliquez avec le bouton droit de la souris sur l'icône de l'opérateur sur le canevas et sélectionnez Duplicate dans le menu qui apparaît. Renommez ensuite l'identificateur de l'opérateur dupliqué dans le panneau Propriétés. Si l'opérateur d'origine est connecté à d'autres opérateurs, les connexions et les références aux sorties d'un opérateur précédent ne sont pas copiées vers l'opérateur dupliqué.
Opérateur de début et opérateur de fin
Lorsque vous commencez à créer un pipeline, le concepteur est ouvert avec un opérateur de début et un opérateur de fin déjà placés sur le canevas. Un pipeline ne peut comporter qu'un seul opérateur de début et un seul opérateur de fin.
L'opérateur de début ne possède aucune propriété que vous pouvez configurer.
Avec l'opérateur de fin, vous pouvez configurer la propriété condition de lien entrante afin de spécifier l'une des règles suivantes pour le statut d'une exécution de tâche de pipeline :
- Tous terminés : le statut de tâche de pipeline affiché est Succès, même en cas d'échec de l'une des tâches du pipeline.
- Tous les éléments réussis : le statut de tâche de pipeline affiché est Terminé lorsque toutes les tâches du pipeline sont réussies.
- Tous les échecs : le statut de tâche de pipeline affiché est Succès en cas d'échec de toutes les tâches du pipeline.
Opérateur de fusion
Pour les tâches exécutées en parallèle, vous pouvez utiliser l'opérateur de fusion et indiquer une condition pour décider comment gérer les opérations en aval ultérieures.
Un opérateur de fusion peut comporter plusieurs liens d'entrée (en amont) et plusieurs liens de sortie (en aval).
Opérateur d'expression
Un opérateur d'expression de pipeline permet de créer des champs dérivés dans un pipeline, comme un opérateur d'expression dans un flux de données.
Contrairement à un opérateur d'expression de flux de données, un opérateur d'expression de pipeline n'agit pas sur les données. Un opérateur d'expression de pipeline vous permet d'agir sur la sortie de l'opérateur précédent, les paramètres de pipeline et la sortie générée par le système.
Utilisez le générateur d'expressions pour sélectionner visuellement des éléments afin de créer une expression pour un opérateur d'expression dans un pipeline. Vous pouvez également entrer une expression manuellement dans l'éditeur.
Le générateur d'expressions est une section du panneau Ajouter une expression.
Vous pouvez supprimer des expressions lorsque vous n'en avez plus besoin.
- Sur le canevas d'un pipeline, sélectionnez un opérateur d'expression.
- Avec le focus sur l'opérateur d'expression, dans l'onglet Détails du panneau Propriétés, sélectionnez l'expression à supprimer, puis cliquez sur Supprimer.
- Dans la boîte de dialogue Supprimer l'expression, vérifiez que vous voulez supprimer cette expression, puis cliquez sur Supprimer.
Opérateur de décision
Utilisez l'opérateur de décision pour écrire une condition booléenne qui détermine le flux de branchement dans le pipeline. Le branchement est basé sur trois résultats possibles, à savoir TRUE, FALSE et ERROR.
Un opérateur de décision possède une liaison d'entrée (en amont) et trois liaisons de sortie (en aval).
Opérateur de tâche de programme de chargement de données
Un opérateur de tâche de programme de chargement de données permet d'exécuter une tâche de programme de chargement de données dans un pipeline.
Un opérateur de tâche de programme de chargement de données connecté directement à l'opérateur de début est toujours exécuté.
Pour un opérateur de tâche qui n'est pas directement connecté à l'opérateur de début, vous pouvez utiliser la propriété Condition de lien entrante afin de configurer la tâche de sorte qu'elle soit toujours exécutée, ou exécutée uniquement lorsque le statut de l'opérateur précédent répond à une condition d'exécution spécifique.
Opérateur de tâche d'intégration
Un opérateur de tâche d'intégration permet d'exécuter un flux de données configuré pour un contexte spécifique. Le flux de données doit être encapsulé dans une tâche d'intégration.
Un opérateur de tâche d'intégration connecté directement à l'opérateur de début est toujours exécuté.
Pour un opérateur de tâche qui n'est pas directement connecté à l'opérateur de début, vous pouvez utiliser la propriété Condition de lien entrante afin de configurer la tâche de sorte qu'elle soit toujours exécutée, ou exécutée uniquement lorsque le statut de l'opérateur précédent répond à une condition d'exécution spécifique.
Opérateur de tâche de pipeline
Un opérateur de tâche de pipeline permet d'exécuter un pipeline dans un autre pipeline.
Un opérateur de tâche de pipeline connecté directement à l'opérateur de début est toujours exécuté.
Pour un opérateur de tâche qui n'est pas directement connecté à l'opérateur de début, vous pouvez utiliser la propriété Condition de lien entrante afin de configurer la tâche de sorte qu'elle soit toujours exécutée, ou exécutée uniquement lorsque le statut de l'opérateur précédent remplit une condition d'exécution spécifique.
Opérateur de tâche SQL
Un opérateur de tâche SQL permet d'exécuter un objet SQL, tel qu'une procédure stockée.
Un opérateur de tâche SQL connecté directement à l'opérateur de début est toujours exécuté.
Pour un opérateur de tâche qui n'est pas directement connecté à l'opérateur de début, vous pouvez utiliser la propriété Condition de lien entrante afin de configurer la tâche de sorte qu'elle soit toujours exécutée, ou exécutée uniquement lorsque le statut de l'opérateur précédent remplit une condition d'exécution spécifique.
Opérateur de tâche OCI Data Flow
Un opérateur de tâche OCI Data Flow permet d'exécuter une application OCI Data Flow dans un pipeline.
Un opérateur de tâche connecté directement à l'opérateur de début est toujours exécuté.
Pour un opérateur de tâche qui n'est pas directement connecté à l'opérateur de début, vous pouvez utiliser la propriété Condition de lien entrante afin de configurer la tâche de sorte qu'elle soit toujours exécutée, ou exécutée uniquement lorsque le statut de l'opérateur précédent remplit une condition d'exécution spécifique.
Opérateur de tâche REST
Un opérateur de tâche REST permet d'exécuter une adresse d'API REST dans un pipeline.
Un opérateur de tâche connecté directement à l'opérateur de début est toujours exécuté.
Pour un opérateur de tâche qui n'est pas directement connecté à l'opérateur de début, vous pouvez utiliser la propriété Condition de lien entrante afin de configurer la tâche de sorte qu'elle soit toujours exécutée, ou exécutée uniquement lorsque le statut de l'opérateur précédent remplit une condition d'exécution spécifique.