Documentation Oracle Cloud Infrastructure

Création d'une tâche de pipeline

Créez une tâche de pipeline dans un projet ou un dossier dans Data Integration. Une tâche de pipeline vous permet de configurer les valeurs de paramètre à utiliser lors de l'exécution dans un pipeline Data Integration.

Data Integration inclut un projet par défaut pour vous lancer. Pour créer d'autres projets ou dossiers, reportez-vous à la rubrique Projets et dossiers.

Une tâche de pipeline dans un projet ou un dossier peut référencer un pipeline de n'importe quel projet ou dossier du même espace de travail.

Dans Data Integration, par défaut, vous pouvez avoir des exécutions de tâche simultanées ou parallèles d'une tâche à un moment donné. Pour interdire les exécutions de tâche simultanées lancées manuellement, cochez la case Désactiver l'exécution simultanée de la tâche lorsque vous créez la tâche. Lorsque les exécutions de tâche simultanées sont interdites, une demande d'exécution pour la tâche échoue si une exécution de tâche en cours est déjà dans un état non terminal.

Lors de la configuration des paramètres à partir des tâches configurées pour être exécutées dans le service OCI Data Flow, utilisez le format suivant si vous modifiez les valeurs de paramètre par défaut pour OCI_DF_LOG_BUCKET et OCI_DF_ARTIFACT_BUCKET : oci://<bucket-name>@<tenancy-name>

    1. Sur la page Tâches du projet ou du dossier dans lequel créer une tâche, sélectionnez Créer une tâche, puis Pipeline. Si vous avez besoin d'aide pour trouver la page Tâches dans un projet ou un dossier, reportez-vous à Liste des tâches.
    2. Sur la page Créer une tâche de pipeline, entrez les informations de base suivantes :
      1. Dans les champs Nom et Identificateur, entrez les valeurs souhaitées ou laissez Data Integration renseigner automatiquement les valeurs, en fonction du nom du pipeline que vous sélectionnez pour cette tâche (à l'étape suivante).

        Si vous souhaitez que Data Integration remplisse automatiquement les champs, ne modifiez pas ou n'entrez pas de valeurs avant de sélectionner un pipeline. Vous pouvez modifier les valeurs une fois que les champs sont remplis avec des valeurs basées sur le nom du pipeline sélectionné.

        Dans les deux cas, l'identificateur est une valeur générée par le système en fonction du nom. Vous pouvez modifier la valeur, mais une fois que vous avez créé et enregistré la tâche, vous ne pouvez plus mettre à jour l'identificateur.

      2. (Facultatif) Entrez la description de la tâche.
      3. Cochez la case Désactiver l'exécution simultanée de la tâche si vous souhaitez interdire les exécutions simultanées de cette tâche.
      4. (Facultatif) Dans Projet ou dossier, cliquez sur Sélectionner, puis sélectionnez un autre projet ou dossier dans lequel enregistrer la tâche.
    3. Dans la section Pipeline, cliquez sur Sélectionner et sélectionnez le pipeline exécuté par cette tâche en procédant comme suit :
      1. Dans le panneau Sélectionner un pipeline, effectuez l'une des actions suivantes :
        • Sélectionnez un pipeline enregistré dans le projet ou le dossier dans lequel vous travaillez actuellement.
        • Pour sélectionner un pipeline enregistré dans un autre projet ou dossier, cliquez sur Sélectionner en regard du nom de projet ou de dossier en cours. Dans le panneau Sélectionner un projet ou un dossier qui apparaît, sélectionnez le projet ou le dossier, puis sélectionnez le pipeline dans la nouvelle liste des pipelines disponibles.
      2. Cliquez sur Sélectionner.

        Data Integration commence à valider le pipeline sélectionné et vous revenez à la page Créer une tâche de pipeline.

        En cas d'erreur ou d'avertissement dans le pipeline, sélectionnez le nom du pipeline pour l'ouvrir dans un nouvel onglet. Résolvez les erreurs ou les avertissements et enregistrez le pipeline. Lorsque vous revenez à la page Créer une tâche de pipeline, Data Integration valide à nouveau automatiquement le pipeline.

    4. Pour enregistrer la tâche pour la première fois, sélectionnez l'un des boutons suivants :

      • Créer : crée et enregistre la tâche. Vous pouvez poursuivre la création et la modification de la tâche.

      • Créer et fermer : permet de créer et d'enregistrer la tâche, de fermer la page et de revenir à la liste des tâches sur la page des détails du projet ou du dossier.

    5. Enregistrez régulièrement pendant que vous travaillez en sélectionnant l'un des boutons suivants :

      • Enregistrer : valide les modifications apportées depuis le dernier enregistrement. Vous pouvez poursuivre la modification après l'enregistrement.

      • Enregistrer et fermer : valide les modifications, ferme la page et retourne à la liste des tâches sur la page des détails du projet ou du dossier.

      • Enregistrer sous : valide les modifications (depuis le dernier enregistrement) et les enregistre dans une copie au lieu d'écraser la tâche en cours. Vous pouvez fournir un nom pour la copie et sélectionner un autre projet ou dossier pour la copie, ou enregistrer la copie dans le même projet ou dossier que la tâche existante.

    6. (Facultatif) Si des paramètres sont affectés dans le pipeline sélectionné, affichez et modifiez les valeurs de paramètre par défaut en procédant comme suit :
      1. Dans la section Configurer les paramètres, sélectionnez Configurer.
      2. Sur la page Configurer les paramètres, modifiez les valeurs par défaut selon vos besoins.

        Lorsque vous modifiez les valeurs par défaut, tenez compte des restrictions suivantes :

        • Pour les propriétés d'exécution paramétrées dans les tâches configurées pour être exécutées dans le service OCI Data Flow, utilisez le format suivant si vous modifiez les valeurs de paramètre par défaut pour OCI_DF_LOG_BUCKET et OCI_DF_ARTIFACT_BUCKET : oci://<bucket-name>@<tenancy-name>

        • Si la stratégie d'extraction incrémentielle d'une source BICC est configurée pour utiliser une date gérée par le paramètre système Data Integration SYS.LAST_LOAD_DATE, vous n'êtes pas autorisé à modifier la valeur de date lors de la conception.

        • Si la stratégie d'extraction incrémentielle d'une source BICC est configurée pour utiliser une date de dernière extraction paramétrée que vous avez ajoutée, vous pouvez modifier la valeur de date lors de la conception et de l'exécution.

        • Si une entité de données cible paramétrée est configurée pour utiliser la stratégie Fusionner, vous pouvez modifier la sélection de la clé Fusionner.

        • Pour une ressource de données paramétrée nécessitant un emplacement de préparation : si vous sélectionnez une ressource de données pour laquelle aucun emplacement de préparation par défaut n'est indiqué dans cette ressource de données, Data Integration affiche une notification d'avertissement. Lorsque vous voyez la notification, choisissez l'une des options suivantes :
          • Mettez à jour cette ressource de données en ajoutant un emplacement de transfert par défaut.
          • Choisissez une autre ressource de données dotée d'un emplacement de préparation par défaut.

        • Pour une tâche OCI Data Flow paramétrée :

          • Avec une forme de pilote ou d'exécuteur paramétrée, les OCPU et les valeurs de mémoire sont ignorées si une forme non flexible est configurée dans le paramètre. Les OCPU et les valeurs de mémoire sont utilisées uniquement lorsque vous configurez une forme flexible en tant que valeur de paramètre.

          • Avec des OCPU paramétrées et des valeurs de mémoire pour une forme flexible, veillez à indiquer une valeur comprise dans la plage de valeurs acceptable pour cette propriété. Les valeurs acceptables pour les OCPU dépendent de la forme flexible. Les valeurs acceptables pour la mémoire dépendent de la valeur des OCPU.

      3. Sélectionnez Configurer ou Annuler.
        Vous revenez à la page Créer une tâche de pipeline.
    7. (Facultatif) Dans la section Valider la tâche, sélectionnez Valider pour vérifier les configurations de paramètre.

      En cas d'erreurs ou d'avertissements, sélectionnez Afficher les messages. Corrigez toutes les erreurs avant de publier la tâche.

    8. Lorsque vous avez terminé la configuration de la tâche, sélectionnez Créer et fermer ou Enregistrer et fermer.
    Publiez la tâche vers une application dans Data Integration avant d'exécuter la tâche ou de programmer son exécution. Pour plus d'informations sur la publication, reportez-vous à Publication vers une application Data Integration.

  • Utilisez la commande oci data-integration task create-pipeline-task et les paramètres requis pour créer une tâche de pipeline :

    oci data-integration task create-pipeline-task [OPTIONS]

    Afin d'obtenir la liste complète des indicateurs et des options de variable pour les commandes d'interface de ligne de commande, reportez-vous à Référence de ligne de commande.

  • Exécutez l'opération CreateTask avec le sous-type de ressource approprié pour créer une tâche de pipeline.