Documentation Oracle Cloud Infrastructure

Création d'un pipeline

Créez un pipeline dans un projet ou un dossier dans Data Integration. Un pipeline est une ressource de conception permettant de connecter des tâches et des activités dans des séquences ou en parallèle du début à la fin pour orchestrer le traitement des données.

Data Integration inclut un projet par défaut pour vous lancer. Pour créer d'autres projets ou dossiers, reportez-vous à la rubrique Projets et dossiers.

Vous pouvez ajouter des tâches publiées et des tâches de conception dans un pipeline. Les tâches publiées peuvent provenir de n'importe quelle application de l'espace de travail en cours ou d'un autre espace de travail du même compartiment ou d'un autre compartiment.

Veillez à consulter les informations de support et considérations relatives à l'utilisation des pipelines avant de créer ou de modifier un pipeline. Par exemple, faites attention au niveau de profondeur imbriqué et à la limite de tâche par niveau.

    1. Ouvrez le projet ou le dossier dans lequel créer le pipeline.

      Pour connaître les étapes d'ouverture de la page de détails d'un projet ou d'un dossier, reportez-vous à la rubrique Affichage des détails d'un projet ou Affichage des détails d'un dossier.

    2. Sur la page de détails de projet ou de dossier, cliquez sur Pipelines.
    3. Dans la section Pipelines, cliquez sur Créer un pipeline.

      Data Integration affiche le concepteur dans un onglet. Les panneaux Opérateurs et Propriétés sont ouverts et un opérateur de début et un opérateur de fin sont placés sur le canevas pour vous. Pour plus d'informations sur ces opérateurs, reportez-vous à Opérateur de début et opérateur de fin.

    4. Dans l'onglet Détails du panneau Propriétés, entrez un nom et éventuellement une description pour le pipeline.

      L'identificateur est une valeur générée par le système en fonction du nom. Vous pouvez modifier la valeur, mais une fois que vous avez créé et enregistré le pipeline, vous ne pouvez plus mettre à jour l'identificateur.

    5. (Facultatif) Dans le champ Projet ou dossier, cliquez sur Sélectionner, puis sélectionnez un autre projet ou dossier dans lequel enregistrer le pipeline.
    6. Faites glisser les opérateurs de pipeline du panneau Opérateurs vers le canevas pour concevoir le pipeline.

      Pour dupliquer un opérateur de tâche ou d'expression, cliquez avec le bouton droit de la souris sur l'icône de l'opérateur et sélectionnez Dupliquer. Sélectionnez ensuite l'opérateur dupliqué et renommez l'identificateur dans le panneau Propriétés.

      Tenez compte des restrictions suivantes lorsque vous utilisez l'action de duplication :

      • L'action de doublon n'est pas disponible pour les opérateurs de début, de fin et de fusion.

      • Si l'opérateur d'origine est connecté à d'autres opérateurs, les connexions ne sont pas copiées vers l'opérateur dupliqué.

      • Si l'opérateur d'origine a configuré les sorties de l'opérateur précédent, les configurations de sortie ne sont pas copiées dans l'opérateur dupliqué.

    7. Pour enregistrer le pipeline pour la première fois, cliquez sur l'un des boutons suivants :
      • Créer : crée et enregistre le pipeline. Vous pouvez poursuivre la création et la modification du pipeline dans le concepteur.
      • Créer et fermer : permet de créer et d'enregistrer le pipeline, de fermer le concepteur et de revenir à la liste Pipelines sur la page de détails du projet ou du dossier.

      Enregistrez régulièrement pendant que vous travaillez dans le concepteur en cliquant sur l'un des boutons suivants :

      • Enregistrer : valide les modifications apportées depuis le dernier enregistrement. Vous pouvez poursuivre la modification après l'enregistrement.
      • Enregistrer et fermer : valide les modifications, ferme le concepteur et retourne à la liste Pipelines sur la page de détails du projet ou du dossier.
      • Enregistrer sous : valide les modifications (depuis le dernier enregistrement) et les enregistre dans une copie au lieu d'écraser le pipeline en cours. Vous pouvez fournir un nom pour la copie et sélectionner un autre projet ou dossier pour la copie, ou enregistrer la copie dans le même projet ou dossier que le pipeline en cours.
    8. Dans l'onglet Configuration du panneau Propriétés, effectuez la configuration d'un opérateur de tâche et de la règle de l'opérateur de fin.
    9. Dans l'onglet Paramètres du panneau Propriétés du pipeline, visualisez et modifiez les paramètres de pipeline.
    10. Validez le pipeline pour rechercher les avertissements ou les erreurs susceptibles de causer des problèmes lors de l'exécution. Dans la barre d'outils du concepteur, cliquez sur Valider.

      Data Integration affiche le panneau Validation globale. Si des avertissements ou des erreurs sont détectés, cliquez sur un nom d'identificateur dans la liste des problèmes pour mettre l'opérateur avec cet avertissement ou cette erreur au centre du canevas.

    11. Lorsque vous avez terminé de travailler dans le pipeline, cliquez sur Créer et fermer ou sur Enregistrer et fermer.
    Pour exécuter le pipeline, créez une tâche de pipeline. Reportez-vous à Création d'une tâche de pipeline.

  • Utilisez la commande oci data-integration pipeline create et les paramètres requis pour créer un pipeline :

    oci data-integration pipeline create [OPTIONS]

    Afin d'obtenir la liste complète des indicateurs et des options de variable pour les commandes d'interface de ligne de commande, reportez-vous à Référence de ligne de commande.

  • Exécutez l'opération CreatePipeline pour créer un pipeline.