Documentation sur Oracle Cloud Infrastructure

Création d'une tâche de pipeline

Créez une tâche de pipeline dans un projet ou dossier du service d'intégration de données. Une tâche de pipeline vous permet de configurer les valeurs de paramètre que vous souhaitez utiliser lors de l'exécution dans un pipeline d'intégration de données.

Data Integration inclut un projet par défaut pour vous aider à démarrer. Pour créer d'autres projets ou dossiers, voir Projets et dossiers.

Une tâche de pipeline dans un projet ou dossier peut référencer un pipeline de tout projet ou dossier dans le même espace de travail.

Dans le service d'intégration de données, vous pouvez avoir par défaut des exécutions de tâche simultanées ou parallèles à un moment donné. Pour interdire les exécutions de tâches concurrentes lancées manuellement, cochez la case Désactiver l'exécution simultanée de la tâche lorsque vous créez la tâche. Lorsque les exécutions de tâche simultanées ne sont pas autorisées, une demande d'exécution de tâche échoue s'il existe déjà une exécution de tâche en cours qui est à l'état non terminal.

Lors de la configuration de paramètres à partir de tâches configurées pour s'exécuter dans le service de flux de données OCI, utilisez le format suivant si vous modifiez les valeurs de paramètre par défaut pour OCI_DF_LOG_BUCKET et OCI_DF_ARTIFACT_BUCKET : oci://<bucket-name>@<tenancy-name>

    1. Dans la page Tâches du projet ou du dossier dans lequel vous voulez créer une tâche, sélectionnez Créer une tâche, puis sélectionnez Pipeline. Si vous avez besoin d'aide pour trouver la page Tâches d'un projet ou d'un dossier, voir Liste des tâches.
    2. Dans la page Créer une tâche de pipeline, entrez les informations de base suivantes :
      1. Dans les champs Nom et Identificateur, entrez les valeurs voulues ou laissez le service d'intégration de données les remplir automatiquement, en fonction du nom du pipeline que vous sélectionnez pour cette tâche (à l'étape suivante).

        Si vous voulez que le service d'intégration de données remplisse automatiquement les champs, ne modifiez pas ou n'entrez pas de valeurs avant de sélectionner un pipeline. Vous pouvez modifier les valeurs une fois que les champs sont alimentés avec des valeurs basées sur le nom du pipeline sélectionné.

        Dans les deux cas, l'identificateur est une valeur générée par le système en fonction du nom. Vous pouvez modifier la valeur mais, après avoir créé et enregistré la tâche, vous ne pouvez pas mettre à jour l'identificateur.

      2. (Facultatif) Entrez une description pour la tâche.
      3. Cochez la case Désactiver l'exécution simultanée de la tâche si vous souhaitez interdire les exécutions concurrentes de cette tâche.
      4. (Facultatif) Pour Projet ou dossier, cliquez sur Sélectionner et sélectionnez un autre projet ou dossier dans lequel enregistrer la tâche.
    3. Dans la section Pipeline, cliquez sur Sélectionner et sélectionnez le pipeline que cette tâche exécute en suivant les étapes suivantes :
      1. Dans le panneau Sélectionner un pipeline, effectuez l'une des actions suivantes :
        • Sélectionnez un pipeline enregistré dans le projet ou le dossier dans lequel vous travaillez actuellement.
        • Pour sélectionner un pipeline enregistré dans un autre projet ou dossier, cliquez sur Sélectionner à côté du nom du projet ou du dossier courant. Dans le panneau Sélectionner un projet ou un dossier qui s'affiche, sélectionnez le projet ou le dossier, puis sélectionnez le pipeline dans la nouvelle liste des pipelines disponibles.
      2. Cliquez sur Sélectionner.

        Le service d'intégration de données commence à valider le pipeline sélectionné et vous êtes retourné à la page Créer une tâche de pipeline.

        S'il y a des erreurs ou des avertissements dans le pipeline, sélectionnez le nom du pipeline pour l'ouvrir dans un nouvel onglet. Résolvez les erreurs ou les avertissements et enregistrez le pipeline. Lorsque vous revenez à la page Créer une tâche de pipeline, le service d'intégration de données valide de nouveau automatiquement le pipeline.

    4. Pour enregistrer la tâche pour la première fois, sélectionnez l'un des boutons suivants :

      • Créer : Crée et enregistre la tâche. Vous pouvez continuer à créer et à modifier la tâche.

      • Créer et fermer : Crée et enregistre la tâche, ferme la page et vous ramène à la liste des tâches de la page des détails du projet ou du dossier.

    5. Enregistrez périodiquement pendant que vous travaillez en sélectionnant l'un des boutons suivants :

      • Enregistrer : Valide les modifications depuis le dernier enregistrement. Vous pouvez poursuivre la modification après l'enregistrement.

      • Enregistrer et fermer : Validation des modifications, fermeture de la page et retourne à la liste des tâches de la page des détails d'un projet ou d'un dossier.

      • Enregistrer sous : Valide les modifications (depuis le dernier enregistrement) et enregistre une copie, au lieu de remplacer la tâche courante. Vous pouvez indiquer un nom pour la copie et sélectionner un autre projet ou dossier pour celle-ci, ou l'enregistrer dans le même projet ou dossier que la tâche existante.

    6. (Facultatif) Si des paramètres sont affectés dans le pipeline sélectionné, consultez et modifiez les valeurs de paramètre par défaut en suivant les étapes suivantes :
      1. Dans la section Configurer les paramètres, sélectionnez Configurer.
      2. Dans la page Configurer les paramètres, modifiez les valeurs par défaut selon les besoins.

        Tenez compte des restrictions suivantes lors de la modification des valeurs par défaut :

        • Pour les propriétés d'exécution paramétrées dans les tâches configurées pour s'exécuter dans le service de flux de données OCI, utilisez le format suivant si vous modifiez les valeurs de paramètre par défaut pour OCI_DF_LOG_BUCKET et OCI_DF_ARTIFACT_BUCKET : oci://<bucket-name>@<tenancy-name>

        • Si la stratégie d'extraction incrémentielle d'une source BICC est configurée pour utiliser une date gérée par le paramètre de système du service d'intégration de données SYS.LAST_LOAD_DATE, vous n'êtes pas autorisé à modifier la valeur de date lors de la conception.

        • Si la stratégie d'extraction incrémentielle d'une source BICC est configurée pour utiliser une date de dernière extraction paramétrée que vous avez ajoutée, vous pouvez modifier la valeur de date lors de la conception et de l'exécution.

        • Si une entité de données cible paramétrée est configurée pour utiliser la stratégie de fusion, vous pouvez modifier la sélection de la clé de fusion.

        • Pour une ressource de données paramétrée qui nécessite un emplacement temporaire : Si vous sélectionnez une ressource de données qui n'a pas d'emplacement temporaire par défaut spécifié dans cette ressource de données, le service d'intégration de données affiche un avis d'avertissement. Lorsque l'avis s'affiche, sélectionnez l'une des options suivantes :
          • Mettez à jour cette ressource de données en ajoutant un emplacement temporaire par défaut.
          • Sélectionnez une ressource de données différente qui a un emplacement temporaire par défaut.

        • Pour une tâche de flux de données OCI paramétrée :

          • Avec une forme de pilote ou d'exécuteur paramétrée, les valeurs d'OCPU et de mémoire sont ignorées si une forme non flexible est configurée dans le paramètre. Les OCPU et les valeurs de mémoire ne sont utilisées que lorsque vous configurez une forme flexible en tant que valeur de paramètre.

          • Avec les OCPU paramétrées et les valeurs de mémoire pour une forme flexible, assurez-vous de spécifier une valeur comprise dans l'intervalle de valeurs acceptable pour cette propriété. Les valeurs acceptables pour les OCPU dépendent de la forme flexible. Les valeurs acceptables pour la mémoire dépendent de la valeur des OCPU.

      3. Sélectionnez Configurer ou Annuler.
        Vous êtes retourné à la page Créer une tâche de pipeline.
    7. (Facultatif) Dans la section Valider la tâche, sélectionnez Valider pour vérifier les configurations de paramètre.

      S'il y a des erreurs ou des avertissements, sélectionnez Voir les messages. Résoudre les erreurs avant de publier la tâche.

    8. Lorsque vous avez terminé la configuration de la tâche, sélectionnez Créer et fermer ou Enregistrer et fermer.
    Publiez la tâche dans une application du service d'intégration de données avant d'exécuter la tâche ou de programmer son exécution. Pour plus d'informations sur la publication, voir Publication dans une application d'intégration de données.

  • Utilisez la commande oci data-integration task create-pipeline-task et les paramètres requis pour créer une tâche de pipeline :

    oci data-integration task create-pipeline-task [OPTIONS]

    Pour la liste complète des indicateurs et des options de variable pour les commandes de l'interface de ligne de commande, voir Informations de référence sur la ligne de commande.

  • Exécutez l'opération CreateTask avec le sous-type de ressource approprié pour créer une tâche de pipeline.