Documentation sur Oracle Cloud Infrastructure

Création d'un pipeline

Créez un pipeline dans un projet ou dossier du service d'intégration de données. Un pipeline est une ressource de conception qui sert à connecter des tâches et des activités dans une ou plusieurs séquences ou en parallèle du début à la fin pour orchestrer le traitement des données.

Data Integration inclut un projet par défaut pour vous aider à démarrer. Pour créer d'autres projets ou dossiers, voir Projets et dossiers.

Vous pouvez ajouter des tâches publiées et des tâches de conception dans un pipeline. Les tâches publiées peuvent provenir de n'importe quelle application de l'espace de travail courant ou d'un autre espace de travail du même compartiment ou d'un autre compartiment.

Vérifiez les informations et considérations relatives à la prise en charge lors de l'utilisation des pipelines avant de créer ou de modifier un pipeline. Par exemple, faites attention au niveau de profondeur imbriqué et à la limite de tâche par niveau.

    1. Dans la section Pipelines du projet ou du dossier dans lequel vous voulez créer un pipeline, sélectionnez Créer un pipeline. Si vous avez besoin d'aide pour trouver la section Pipelines dans la page des détails d'un projet ou d'un dossier, voir Liste des pipelines.

      Data Integration affiche le concepteur dans un onglet. Le panneau Opérateurs et le panneau Propriétés sont ouverts, et un opérateur Démarrer et un opérateur Fin sont placés sur le canevas pour vous. Pour plus d'informations sur ces opérateurs, voir Opérateur Démarrer et opérateur Fin.

    2. Dans l'onglet Détails du panneau Propriétés, entrez un nom et une description facultative pour le pipeline.

      L'identificateur est une valeur générée par le système en fonction du nom. Vous pouvez modifier la valeur mais, après avoir créé et enregistré le pipeline, vous ne pouvez pas mettre à jour l'identificateur.

    3. (Facultatif) Pour le champ Projet ou dossier, cliquez sur Sélectionner et sélectionnez un autre projet ou dossier dans lequel enregistrer le pipeline.
    4. Faites glisser les opérateurs de pipeline du panneau Opérateurs vers le canevas pour concevoir le pipeline.

      Pour dupliquer un opérateur Tâche ou Expression, cliquez avec le bouton droit de la souris sur l'icône de l'opérateur et sélectionnez Dupliquer. Sélectionnez ensuite l'opérateur dupliqué et renommez l'identificateur dans le panneau Propriétés.

      Tenez compte des restrictions suivantes lors de l'utilisation de l'action en double :

      • L'action en double n'est pas disponible pour les opérateurs de début, de fin et de fusion.

      • Si l'opérateur initial est connecté à d'autres opérateurs, les connexions ne sont pas copiées vers l'opérateur dupliqué.

      • Si l'opérateur initial a configuré les sorties de l'opérateur précédent, les configurations de sortie ne sont pas copiées vers l'opérateur dupliqué.

    5. Pour enregistrer le pipeline pour la première fois, sélectionnez l'un des boutons suivants :
      • Créer : Crée et enregistre le pipeline. Vous pouvez poursuivre la création et la modification du pipeline dans le concepteur.
      • Créer et fermer : Permet de créer et d'enregistrer le pipeline, de fermer le concepteur et de retourner à la liste Pipelines dans la page des détails du projet ou du dossier.

      Enregistrez périodiquement pendant que vous travaillez dans le concepteur en sélectionnant l'un des boutons suivants :

      • Enregistrer : Valide les modifications depuis le dernier enregistrement. Vous pouvez poursuivre la modification après l'enregistrement.
      • Enregistrer et fermer : Valide les modifications, ferme le concepteur et vous ramène à la liste Pipelines dans la page des détails du projet ou du dossier.
      • Enregistrer sous : Valide les modifications (depuis le dernier enregistrement) et enregistre une copie, au lieu de remplacer le pipeline courant. Vous pouvez indiquer un nom pour la copie et sélectionner un autre projet ou dossier pour celle-ci, ou l'enregistrer dans le même projet ou dossier que le pipeline courant.
    6. Dans l'onglet Configuration du panneau Propriétés, effectuez la configuration d'un opérateur Tâche et la règle de l'opérateur Fin.
    7. Dans l'onglet Paramètres du panneau Propriétés du pipeline, consultez et modifiez les paramètres du pipeline.
    8. Validez le pipeline pour rechercher les avertissements ou les erreurs qui pourraient causer des problèmes lors de l'exécution. Dans la barre d'outils du concepteur, sélectionnez Valider.

      Le service d'intégration de données affiche le panneau Validation globale. Si des avertissements ou des erreurs sont détectés, sélectionnez un nom d'identificateur dans la liste des problèmes pour mettre l'opérateur avec cet avertissement ou cette erreur en évidence sur le canevas.

    9. Lorsque vous avez terminé de travailler dans le pipeline, sélectionnez Créer et fermer ou Enregistrer et fermer.
    Pour exécuter le pipeline, créez une tâche de pipeline. Voir Création d'une tâche de pipeline.

  • Utilisez la commande oci data-integration pipeline create et les paramètres requis pour créer un pipeline :

    oci data-integration pipeline create [OPTIONS]

    Pour la liste complète des indicateurs et des options de variable pour les commandes de l'interface de ligne de commande, voir Informations de référence sur la ligne de commande.

  • Exécutez l'opération CreatePipeline pour créer un pipeline.