Description du processus de pipeline

Voici le workflow de création et d'exécution d'un processus de pipeline :

  1. Sur la page d'accueil de l'intégration des données, cliquez sur Image représentant l'icône Ajouter. (Créer), puis sélectionnez Pipeline.

    Image représentant la sélection de l'option Pipeline dans la liste déroulante Créer.

  2. Sur la page Créer un pipeline, accédez à l'onglet Détails, puis dans Nom du pipeline, indiquez le nom du pipeline.

  3. Dans Code du pipeline, indiquez le code du pipeline.

    Le code doit contenir au moins 3 caractères alphanumériques et 30 au maximum. Ce code ne peut pas être mis à jour une fois le pipeline créé. Utilisez le code de pipeline pour exécuter le pipeline à l'aide d'une API REST.

  4. Si des jobs sont exécutés en mode Parallèle, indiquez le nombre maximal de jobs à exécuter en mode Parallèle pour chaque étape dans Nombre maximal de jobs parallèles.

    Lorsque des jobs sont exécutés en mode Parallèle, lors de l'exécution, le système exécute les jobs en même temps en parallèle (et non de manière séquentielle). Vous pouvez indiquer de 1 à 25 jobs à exécuter en mode Parallèle.

    Lorsque des jobs sont exécutés en mode Série, lors de l'exécution, le système exécute les jobs l'un après l'autre selon une séquence spécifique.

    Image représentant la page Créer un pipeline.

  5. Cliquez sur Enregistrer et continuer.

    Le nouveau pipeline est ajouté à la page d'accueil de l'intégration des données. Chaque pipeline est identifié par Image représentant l'icône Pipeline. sous l'en-tête Type.

    Vous pouvez rechercher des jobs de pipeline à l'aide du mot "pipeline" ou une partie du mot dans la zone de recherche.

    Pour afficher ou modifier un pipeline existant, cliquez sur Image représentant l'icône Sélectionner. à droite du pipeline, puis sélectionnez Détails du pipeline.

  6. Sur la page Variables, vous disposez d'un ensemble de variables prêtes à l'emploi (valeurs globales) pour le pipeline à partir desquelles vous pouvez définir les paramètres lors de l'exécution. Les variables peuvent être de type prédéfini, comme "Période", "Mode d'import", "Mode d'export", etc., ou des valeurs personnalisées utilisées en tant que paramètres de job.

    Par exemple, vous pouvez définir une variable de substitution (un nom de variable utilisateur précédé d'une ou de deux esperluettes (&)) pour la période de début.

    Image représentant l'onglet Variables de la page Créer un pipeline.

    Pour plus d'informations sur les variables d'exécution, reportez-vous à la section Modification des variables d'exécution.

  7. Cliquez sur Enregistrer.

  8. Sur la page Pipeline, cliquez sur Image représentant l'icône Créer une étape..

    Une carte d'étape est créée.

    Image représentant la page Pipeline.

    Une étape est un conteneur destiné aux jobs à exécuter dans le pipeline. Elle peut inclure des jobs de tout type pour plusieurs applications cible. Utilisez une carte d'étape comme point d'entrée pour ajouter, gérer et supprimer des jobs dans chaque étape. Chaque étape peut exécuter des jobs en mode Série ou Parallèle. Les étapes sont uniquement exécutées en série, autrement dit, si vous disposez de plusieurs étapes, le système attend la fin de l'étape avant d'exécuter les jobs de l'étape suivante.

    Un exemple de pipeline pourrait comprendre les étapes suivantes :

    Etape 1 : chargement de métadonnées (jobs exécutés en mode Série)

    • Chargement de la dimension Compte

    • Chargement de la dimension Entité

    Etape 2 : (jobs exécutés en mode Parallèle)

    • Chargement des données de la source 1

    • Chargement des données de la source 2

    Etape 3 : (jobs exécutés en mode Série)

    • Exécution de la règle métier pour effectuer le calcul

    • Exécution des variables de substitution

    Image représentant la page Pipeline.

  9. Dans l'éditeur d'étape, indiquez la définition de l'étape :

    • Nom de l'étape : indiquez le nom de l'étape.

    • Titre : indiquez le nom de l'étape qui apparaîtra sur la carte d'étape.

    • Séquence : indiquez le numéro d'ordre chronologique selon lequel exécuter l'étape.

    • Parallèle : activez Parallèle pour exécuter les jobs de manière simultanée.

      Le nombre de jobs parallèles exécutés est déterminé par le nombre indiqué dans le champ Nombre maximal de jobs parallèles sur la page Créer un pipeline.

    • Note:

      Les options En cas de succès et En cas d'échec ci-dessous déterminent le traitement des étapes suivantes dans le pipeline. Autrement dit, elles vous permettent d'indiquer si le processus de pipeline doit s'arrêter, continuer ou passer à une autre étape lorsqu'une étape aboutit ou échoue. Cette option ne détermine pas le traitement des jobs dans l'étape. Tous les jobs de l'étape sont toujours exécutés, peu importe si les autres jobs aboutissent ou échouent. Si le pipeline ne contient qu'une étape, cette option n'est pas utile.

      Les clients doivent donc organiser des types de job logiques dans l'étape. Par exemple, vous pouvez inclure tous les chargements de métadonnées dans une étape. En cas d'échec, les métadonnées ne sont pas chargées. Autre exemple, si une étape de chargement des données échoue, les jobs de calcul de l'étape ne sont pas exécutés.

      En cas de succès : sélectionnez la façon dont traiter une étape lorsque les sous-étapes de définition de pipeline sont exécutées avec succès.

      La liste déroulante contient les options suivantes :

      • Continuer : continue de traiter une étape lorsque les sous-étapes de l'étape de définition de pipeline sont exécutées avec succès.
      • Arrêter : ignore une étape exécutée uniquement en cas d'échec et passe à l'étape suivante de la définition de pipeline.

      En cas d'échec : indique comment traiter une étape lorsqu'une sous-étape échoue.

      La liste déroulante contient les options suivantes :

      • Continuer : continue de traiter les sous-étapes suivantes de l'étape de définition de pipeline lorsqu'une sous-étape échoue.

      • Arrêter : arrête le traitement de l'étape de définition de pipeline en cours lorsque le traitement d'une sous-étape échoue, et passe à l'exécution des étapes de nettoyage.

  10. Sur la carte d'étape, cliquez sur > pour y ajouter un nouveau job.

    Image représentant une carte d'étape.

  11. Sur la carte d'étape, cliquez sur Image représentant l'icône Créer un job. (icône Créer un job).

    Une nouvelle carte de job est affichée dans la carte d'étape.

    Image représentant la carte du nouveau job.

  12. Dans l'éditeur de job, sélectionnez le type de job à ajouter à la carte d'étape dans la liste déroulante Type.

    Les types de job sont les suivants :

    • Règle métier

    • Ensemble de règles métier

    • Effacer le cube

    • Copie à partir d'Object Storage

    • Copie vers Object Storage

    • Job EPM Platform pour Planning

    • Job EPM Platform pour Financial Consolidation and Close et Tax Reporting

    • Job EPM Platform pour Enterprise Profitability and Cost Management

    • Exporter une dimension en fonction du nom (EDMCS)

    • Exporter un mapping de dimension en fonction du nom (EDMCS)

    • Exporter le mapping

    • Exporter les métadonnées

    • Opérations de fichier

    • Importer le mapping

    • Importer les métadonnées

    • Intégration

    • Ouvrir le lot - Fichier

    • Ouvrir le lot - Emplacement

    • Ouvrir le lot - Nom

    • Mappe de type de plan

    • Définir la variable de substitution

  13. Dans la liste déroulante Connexion, sélectionnez le nom de la connexion à associer au type de job.

    La connexion peut être une connexion "locale" (sur le serveur hôte) ou "distante" (sur un autre serveur). Par défaut, la connexion est locale. Si un type de job prend en charge une opération distante (par exemple, une intégration visant à déplacer les données vers un processus métier distant), le système vous invite à indiquer le nom de la connexion.

    Prenez note des exceptions suivantes :

    Type de job Description
    Copie vers Object Storage

    Object Storage requiert une connexion de type Autre fournisseur de services Web. Vous devez avoir accès au service Web auquel vous vous connectez. Vous devez également disposer de l'URL du service Web et des informations de connexion, si nécessaire. Pour plus d'informations, reportez-vous à la section Connexion aux services Web externes du guide Administration de Planning.

    Vous devez en outre générer un jeton d'authentification à utiliser en tant que mot de passe d'utilisateur pour une connexion de type Autre fournisseur de services Web. Pour plus d'informations sur la création d'un jeton d'authentification, reportez-vous à la section Procédure de création d'un jeton d'authentification.
    Copie à partir d'Object Storage

    Object Storage requiert une connexion de type Autre fournisseur de services Web. Vérifiez que vous avez accès au service Web auquel vous vous connectez. Vous devez également disposer de l'URL du service Web et des informations de connexion, si nécessaire. Pour plus d'informations, reportez-vous à la section Connexion aux services Web externes du guide Administration de Planning.

    Vous devez en outre générer un jeton d'authentification à utiliser en tant que mot de passe d'utilisateur pour une connexion de type Autre fournisseur de services Web. Pour plus d'informations sur la création d'un jeton d'authentification, reportez-vous à la section Procédure de création d'un jeton d'authentification.

  14. Dans Nom, sélectionnez le nom du job.

    Le paramètre de job Nom n'est pas applicable aux jobs suivants :

    • Job de type Définir la variable de substitution
    • Jobs de type Copier vers et à partir d'Object Storage
    • Jobs de type Ouvrir le lot (par fichier, emplacement et nom)

  15. Dans Titre, indiquez le titre du nom de job qui apparaîtra sur la carte du job.

  16. Dans Séquence, sélectionnez l'ordre dans lequel exécuter le job lorsque l'étape contient plusieurs jobs.

  17. Dans Paramètres de job, sélectionnez les paramètres de job associés au job.

    Le paramètre de job peut être une valeur statique affectée au job ou il peut être affecté à partir d'une variable de pipeline.

    Les paramètres de job dépendent du type de job. Reportez-vous aux sections suivantes pour consulter les paramètres associés à chaque type de job :

    Image représentant la page Pipeline.

  18. Cliquez sur Image représentant le bouton Exécuter le pipeline. pour exécuter le pipeline.

  19. Sur la page Exécuter le pipeline, répondez aux invites d'exécution, puis cliquez sur Exécuter.

    Image représentant la page Exécuter le pipeline.

    Lorsque le pipeline est en cours d'exécution, le système affiche l'icône de statut suivante : Image représentant l'icône En cours d'exécution..

    Note:

    Le pipeline passe automatiquement au job suivant lorsque le job en cours est encore en cours d'exécution au bout de trente minutes. Dans ce cas, le job en cours et le job suivant sont exécutés simultanément.

    Vous pouvez cliquer dessus pour télécharger le journal. Les clients peuvent également voir le statut du pipeline dans les détails du processus. Chaque job individuel du pipeline est soumis séparément et crée un journal de job distinct dans les détails du processus.

  20. Vous pouvez éventuellement planifier une définition de pipeline à exécuter en fonction des paramètres et variables définis pour le pipeline dans l'interface utilisateur de l'intégration des données. Pour plus d'informations, reportez-vous à la section: Planification de jobs du guide Administration de Planning

    Image représentant la planification d'un job de pipeline.