Utiliser un pipeline

Un pipeline vous permet de connecter un jeu de tâches dans une séquence ou en parallèle pour orchestrer le traitement des données.

En créant un pipeline, vous pouvez créer un graphique de dépendance de tâche complexe et automatiser toute une charge de travail des tâches. Les tâches doivent être publiées et vous pouvez ajouter des tâches publiées à partir de n'importe quelle application qui se trouve dans l'espace de travail courant ou à partir d'un autre espace de travail.

Dans ce tutoriel, vous allez :

Créez deux tâches de chargement de données à exécuter en parallèle dans un pipeline.
Créer une tâche REST pour utiliser le service d'avis pour envoyer des avis par courriel.
Créer un pipeline et ajouter des opérateurs pour les tâches de chargement de données, de fusion, d'intégration et REST.
Créer une tâche de pipeline pour configurer un contexte d'exécution pour un pipeline.
Publier une tâche de pipeline et exécuter un pipeline.
Surveiller une exécution de pipeline.

Avant de commencer

Pour suivre ce tutoriel, vous devez avoir :

Vous avez terminé le tutoriel sur le flux de données.
Vous avez terminé le tutoriel sur la tâche d'intégration.
Vous avez terminé le tutoriel sur la tâche de chargement de données.
Sujet et abonnement au courriel créés dans le service Avis.
- Voir Créer un sujet.
- Voir Créer un abonnement par courriel.

1. Création d'une tâche de chargement de données pour les données de revenus

Dupliquez la tâche Load Revenue Data into Data Warehouse pour créer une nouvelle tâche qui charge et remplace les données de revenus.

Dans la page de détails du projet DI Lab, sélectionnez Tâches dans le sous-menu.
Dans la liste Tâches, recherchez Load Revenue Data into Data Warehouse.
Sélectionnez le menu Actions (trois points), puis sélectionnez Dupliquer.
Dans la boîte de dialogue Dupliquer la tâche, entrez Revenue Data Load pour le nouveau nom et sélectionnez Dupliquer.

La valeur de l'identificateur est générée automatiquement en fonction du nom que vous fournissez. Vous pouvez modifier la valeur générée, mais après avoir enregistré la nouvelle tâche, vous n'êtes pas autorisé à mettre à jour l'identificateur.
Dans la liste Tâches, sélectionnez Chargement des données de revenus.

La page de tâche de chargement de données en double s'ouvre dans un nouvel onglet.
Sélectionnez l'icône d'étape Cible.
Sous Paramètres de chargement des entités de données cibles, sélectionnez Utiliser des entités de données existantes.
Dans le menu Stratégie d'intégration, sélectionnez Remplacer.
Sous Entités de données disponibles, cochez la case REVENUE_TARGET, puis sélectionnez Définir comme cible.

Le nom REVENUE_TARGET s'affiche à côté de Entités de données sélectionnées.
Sélectionnez Enregistrer pour enregistrer la tâche et continuer de modifier.
Sélectionnez Suivant pour naviguer vers l'étape Transformation.

Ne supprimez pas la transformation de remplissage nulle qui a été précédemment appliquée à SRC_ORDER_NUMBER.
Sélectionnez Suivant pour naviguer jusqu'à l'étape Mappage d'attributs.

Tous les attributs source et cible sont automatiquement mappés.
Sélectionnez Suivant pour naviguer jusqu'à l'étape Vérifier et valider.

La validation de la tâche commence automatiquement.

Un sommaire des détails de configuration de chaque étape est présenté dans un bloc. Si vous modifiez la configuration d'une étape, naviguez jusqu'à l'étape Vérifier et valider pour valider de nouveau la tâche.

Le résultat de la validation de la tâche est affiché dans le dernier bloc, Validation.
Lorsque la validation a réussi, sélectionnez Enregistrer et fermer.

2. Création d'une tâche de chargement de données pour les données de client

Créez une tâche de chargement de données pour charger les données de client dans Data Warehouse en créant une nouvelle entité de données cible.

Dans la page de détails du projet DI Lab, sélectionnez Tâches dans le sous-menu.
Sélectionnez Créer une tâche, puis Chargeur de données.

La page Créer une tâche de chargement de données s'ouvre dans un nouvel onglet. Les étapes numérotées et nommées en haut vous guident tout au long de la configuration. Une coche s'affiche sur une icône d'étape une fois que vous avez configuré l'étape. Pour passer d'une étape à une autre, sélectionnez Suivant ou Précédent. Vous pouvez également naviguer directement jusqu'à une étape configurée en sélectionnant l'icône correspondante.
Dans la page Create data loader task (Créer une tâche de chargement de données), étape Basic information (Informations de base), sélectionnez les éléments suivants :
Pour cet élément Sélectionnez
Type de source Stockage de fichiers
Type de cible Base de données
Type de chargement Entité de données unique
Pour le nom de la tâche, entrez Customer Data Load. Sélectionnez ensuite Suivant pour naviguer jusqu'à l'étape suivante.

Une case à cocher s'affiche sur l'icône de l'étape informations de base une fois que vous avez configuré l'étape.

Pour cet élément	Sélectionnez
Type de source	Stockage de fichiers
Type de cible	Base de données
Type de chargement	Entité de données unique

À l'étape Source, sélectionnez les éléments suivants :

Pour cet élément	Sélectionnez
Ressource de données	Lac de données
Connexion	Connexion par défaut
Compartiment	compartiment contenant le seau dans lequel vous avez chargé le fichier de données-échantillons, `CUSTOMERS.JSON`
Seau	Seau de stockage d'objets qui contient l'exemple de fichier JSON

Sous Paramètres de fichier, sélectionnez les éléments suivants :
Pour cet élément Sélectionnez
Type de fichier JSON
Type de compression Auto (Valeur par défaut)
Encodage UTF-8

Vous pouvez laisser les paramètres par défaut tels quels dans les autres champs.
Sous Entités de données disponibles, cochez la case CUSTOMERS.JSON, puis sélectionnez Définir comme source.

Le nom CUSTOMERS.JSON s'affiche à côté de Entités de données sélectionnées.
Sélectionnez Créer pour enregistrer la tâche et continuer d'apporter des modifications.
Sélectionnez Suivant pour avancer à l'étape Cible, puis sélectionnez les éléments suivants :
Pour cet élément Sélectionnez
Ressource de données Entrepôt de données
Connexion Connexion par défaut
Schéma Bêta
Sous Emplacement temporaire, vous pouvez utiliser l'emplacement temporaire par défaut configuré lors de la création de la ressource de données cible.

Vous pouvez également désélectionner la case pour sélectionner un autre seau de stockage d'objets.
Sous Target data entity load settings (Paramètres de chargement des entités de données cibles), sélectionnez Create new data entity (Créer de nouvelles entités de données).
Sous Options de nom de l'entité de données cible, sélectionnez Indiquer le nom de l'entité. Dans le champ Nom d'entité, entrez CUSTOMER_JSON_TARGET.
Sélectionnez Enregistrer pour enregistrer la tâche et continuer de modifier.
Sélectionnez l'étape Vérifier et valider, en ignorant l'étape de transformation facultative.

La validation de la tâche commence automatiquement.

Un sommaire des détails de configuration de chaque étape est présenté dans un bloc. Si vous modifiez la configuration d'une étape, naviguez jusqu'à l'étape Vérifier et valider pour valider de nouveau la tâche.

Le résultat de la validation de la tâche est affiché dans le dernier bloc, Validation.
Lorsque la validation a réussi, sélectionnez Enregistrer et fermer.

Pour cet élément	Sélectionnez
Type de fichier	JSON
Type de compression	Auto (Valeur par défaut)
Encodage	UTF-8

Pour cet élément	Sélectionnez
Ressource de données	Entrepôt de données
Connexion	Connexion par défaut
Schéma	Bêta

3. Création d'une tâche REST pour l'envoi d'avis

Vous pouvez utiliser une tâche REST pour exécuter un point d'extrémité d'API REST dans un pipeline. Dans ce tutoriel, vous utiliserez l'API du service d'avis dans une tâche REST du service d'intégration de données pour publier un courriel à partir d'un pipeline.

Pour créer une tâche REST à cette étape, vous devez déjà disposer des éléments suivants :

Sujet et abonnement au courriel créés dans le service Avis.
- Voir Créer un sujet.
- Voir Créer un abonnement par courriel.
OCID du sujet que vous avez créé. L'OCID est disponible dans la section Informations sur le sujet de la page de détails du sujet du service d'avis.
L'énoncé de politique suivant vous permet d'exécuter les tâches d'intégration de données qui appellent l'API REST du service d'avis :
```
allow any-user to use notification-family in tenancy where ALL {request.principal.type='disworkspace'}
```

Puis, dans le service d'intégration de données, créez une tâche REST qui utilise l'API du service d'avis pour publier un courriel.

Dans la page de détails du projet DI Lab, sélectionnez Tâches dans le sous-menu.
Sélectionnez Créer une tâche, puis REST.

La page Créer une tâche REST s'ouvre dans un nouvel onglet.
Pour Nom, entrez Notify by Email.

La valeur de l'identificateur est générée automatiquement en fonction du nom que vous fournissez. Vous pouvez modifier la valeur générée, mais après avoir enregistré la nouvelle tâche, vous n'êtes pas autorisé à mettre à jour l'identificateur.
Dans la section Détails de l'API REST, sélectionnez Configurer.

La page Configurer les détails de l'API REST s'affiche. Les étapes numérotées et nommées en haut vous guident tout au long de la configuration. Une coche s'affiche sur une icône d'étape une fois que vous avez configuré l'étape. Pour passer d'une étape à une autre, sélectionnez Suivant ou Précédent. Vous pouvez également naviguer directement jusqu'à une étape configurée en sélectionnant l'icône correspondante.
Pour Méthode HTTP, sélectionnez POST.
Dans le champ URL, entrez ce qui suit et appuyez sur Entrée.
```
https://notification.us-ashburn-1.oci.oraclecloud.com/20181201/topics/${TOPICID}/messages
```
Note

Assurez-vous d'utiliser l'identificateur de région approprié pour le service d'avis.

Lorsque vous appuyez sur Entrée après avoir entré l'URL, le service d'intégration de données convertit la syntaxe du paramètre ${} en paramètre d'URL de chaîne.
Dans le tableau, dans la rangée du nouveau paramètre d'URL TOPICID, sélectionnez Modifier dans le menu Actions (trois points).
Dans le champ Valeur, entrez l'OCID du sujet d'avis que vous avez créé et sélectionnez Enregistrer.
Ajoutez ensuite un en-tête en procédant comme suit :
1. Sélectionnez En-tête.
2. Sélectionnez Ajouter un en-tête.
3. Dans le champ Clé, entrez con et sélectionnez Content-Type dans la liste.
4. Dans le champ Valeur, entrez app et sélectionnez application/json dans la liste.
5. Sélectionnez Ajouter.
Ajoutez un corps de demande en procédant comme suit :
1. Sélectionnez Demande.
2. Dans l'éditeur, entrez les informations suivantes.
```
{"title": "Put your title here", "body": "Put your email body here."}
```
3. Sélectionnez Ajouter.
Sélectionnez Suivant, puis Configurer.
Pour fournir l'authentification, procédez comme suit :
1. Dans la section Authentication (Authentification), sélectionnez Edit (Modifier) pour afficher le panneau Configure authentication (Configurer l'authentification).
2. Dans le menu Authentification, sélectionnez P principal de ressource OCI.
3. Sous Source d'authentification, sélectionnez Espace de travail.
4. Sélectionnez Configurer.
Dans la section facultative Valider la tâche, sélectionnez Valider.
Lorsque la validation réussit, sélectionnez Créer et fermer.

4. Publication du chargeur de données et des tâches REST

Dans la page de détails du projet DI_Lab, sélectionnez Tâches dans le sous-menu.
Dans la liste des tâches, cochez les cases à côté de Chargement des données de revenus, Chargement des données de client et Avis par courriel.
Sélectionnez Publier dans l'application.
Dans la boîte de dialogue Publier dans l'application, sélectionnez Application de laboratoire, puis Publier.

Un message d'avis s'affiche, avec un lien vers l'application pour voir les tâches publiées.
Dans l'avis, sélectionnez Voir l'application. Cliquez ensuite sur X pour fermer l'avis.

La liste Correctifs de la page Détails de l'application s'affiche. Une entrée de correctif est créée pour les tâches que vous publiez.
Dans la liste Correctifs, vous pouvez surveiller le statut des correctifs. Sélectionnez Actualiser pour obtenir les dernières mises à jour du statut.

Lorsque le statut d'un correctif passe à Réussite, trois entrées de tâche publiées sont créées dans la liste Tâches de la page Détails de l'application.
Dans la page des détails de l'application de laboratoire, sélectionnez Tâches.

Les tâches publiées pour le chargement de données sur les revenus, le chargement de données sur les clients et l'avis par courriel sont affichées dans la liste des tâches.

5. Création d'un pipeline

Dans la barre d'onglets, sélectionnez l'onglet Ouvrir (icône plus), puis Projets.
Dans la page Projets, sélectionnez DI_Lab.
Dans la page des détails du projet DI_Lab, sélectionnez Pipelines dans le sous-menu sur le côté gauche, puis sélectionnez Créer un pipeline.

Le concepteur de pipeline s'ouvre dans un nouvel onglet. Un opérateur Démarrer et un opérateur Fin sont placés sur le canevas pour vous.
Dans le panneau Propriétés du pipeline, entrez Analyze Revenue dans le champ Nom.

La valeur Identificateur est générée automatiquement en fonction de la valeur que vous entrez pour le nom du pipeline. Vous pouvez modifier la valeur générée, mais après avoir enregistré le pipeline, vous n'êtes pas autorisé à mettre à jour l'identificateur.
Sélectionnez Créer.

Le concepteur reste ouvert pour que vous puissiez continuer à apporter des modifications.

6. Ajout d'opérateurs de pipeline

Vous ajoutez des opérateurs de tâche pour spécifier les tâches publiées à orchestrer dans le pipeline.

Pour en savoir plus, sur les opérateurs de pipeline.

Dans le panneau Opérateurs, déposez un opérateur Chargeur de données sur le canevas, en le plaçant entre les opérateurs de début et de fin.

Le panneau Propriétés affiche maintenant les détails de l'opérateur de tâche de chargement de données non limité.
Dans l'onglet Détails du panneau Propriétés, cliquez sur Sélectionner.

Le panneau Sélectionner une tâche de chargement de données s'affiche pour vous permettre de sélectionner une tâche de chargement de données publiée.
Dans Application de main-d'oeuvre, sélectionnez Chargement des données de revenus (tâche qui charge les données de revenus dans un entrepôt de données), puis cliquez sur Sélectionner.

L'icône de l'opérateur prend le nom de la tâche sélectionnée.
Connectez l'opérateur Démarrer à la tâche de chargement des données de revenus.
Pour enregistrer le pipeline et continuer la modification, sélectionnez Enregistrer.
Répétez les étapes pour ajouter un deuxième opérateur Chargeur de données. Cette fois, sélectionnez Chargement des données de client (la tâche qui charge les données de client). Connectez ensuite l'opérateur Démarrer à la tâche de chargement de données client.
Ensuite, déposez l'opérateur Fusionner sur le canevas, en le plaçant après les deux tâches de chargement de données.
Connectez chaque tâche de chargement de données à l'opérateur Fusionner.
Dans l'onglet Détails du panneau Propriétés pour l'opérateur Fusion, sélectionnez Toute réussite dans le menu Condition de fusion.

Cela spécifie que les opérations parallèles liées en amont doivent se terminer et réussir avant que la prochaine opération en aval puisse se poursuivre.
Dans le panneau Opérateurs, déposez l'opérateur Intégration sur le canevas et placez-le après l'opérateur Fusion.
Dans l'onglet Détails du panneau Propriétés, cliquez sur Sélectionner.
Dans le panneau Sélectionner une tâche d'intégration, sélectionnez la tâche Charger le laboratoire des clients, puis cliquez sur Sélectionner.
Connectez l'opérateur de fusion à l'opérateur de tâche d'intégration.
Ensuite, déposez l'opérateur REST sur le canevas, en le plaçant après la tâche d'intégration.
Dans l'onglet Détails du panneau Propriétés, cliquez sur Sélectionner.
Dans le panneau Sélectionner une tâche REST, sélectionnez la tâche Avis par courriel, puis cliquez sur Sélectionner.
Dans l'onglet Détails du panneau Propriétés pour l'opérateur de tâche REST, sélectionnez Exécuter en cas de réussite de l'opérateur précédent dans le menu Condition de lien entrant.
Connectez la tâche REST à l'opérateur Fin.
Sélectionnez Valider dans la barre d'outils du canevas.

Le panneau Validation globale s'affiche pour vous permettre de vérifier les avertissements ou les erreurs.
Pour enregistrer le pipeline, sélectionnez Enregistrer et fermer.

7. Création d'une tâche de pipeline

Dans la barre d'onglets, sélectionnez l'onglet Ouvrir (icône plus), puis Projets.
Dans la page Projets, sélectionnez DI_Lab.
Dans la page de détails du projet DI_Lab, sélectionnez Tâches dans le sous-menu de gauche.
Sélectionnez Créer une tâche, puis Pipeline.

La page Créer une tâche de pipeline s'ouvre dans un nouvel onglet.
Dans la page Créer une tâche de pipeline, remplacez le nom par Analyze Revenue Lab.

La Description est facultative. La valeur du champ Identificateur est générée automatiquement en fonction de la valeur que vous entrez pour Nom. Vous pouvez modifier la valeur générée, mais après l'enregistrement de la tâche, vous n'êtes pas autorisé à mettre à jour l'identificateur.
Dans la section Pipeline, cliquez sur Sélectionner.
Dans le panneau Sélectionner un pipeline, sélectionnez Analyser les revenus, puis cliquez sur Sélectionner.

La validation du pipeline commence automatiquement.
Sélectionnez Créer et fermer.

8. Publication et exécution d'une tâche de pipeline

Dans la page de détails du projet DI_Lab, sélectionnez Tâches dans le sous-menu.
Dans la liste Tâches, dans le menu Actions (trois points) de Analyser le laboratoire de revenus, sélectionnez Publier dans l'application.
Dans la boîte de dialogue Publier dans l'application, sélectionnez Application de laboratoire, puis Publier.

Un message d'avis s'affiche, avec un lien vers l'application pour voir les tâches publiées.
Allez à la page des détails de l'application de laboratoire et sélectionnez Correctifs dans le sous-menu de gauche pour voir les détails du correctif de tâche.

Un correctif contient des mises à jour d'une tâche publiée dans une application. Lors de la publication d'une tâche, un correctif de publication est créé. En savoir plus sur les correctifs.
Dans la liste Correctifs, vous pouvez surveiller le statut des correctifs. Sélectionnez Actualiser pour obtenir les dernières mises à jour du statut.

Lorsque le statut d'un correctif change pour Réussite, une entrée de tâche publiée est créée dans la liste Tâches de la page Détails de l'application.
Dans la page des détails de l'application de laboratoire, sélectionnez Tâches.

La tâche publiée du pipeline Analyser le laboratoire des revenus est affichée dans la liste des tâches.
Sélectionnez le menu Actions (trois points) pour la tâche de pipeline, puis sélectionnez Exécuter.

Un message de réussite apparaît. Le fait d'exécuter une tâche crée une exécution de tâche. Vous accédez automatiquement à la page Exécutions, où vous pouvez voir toutes les exécutions de tâche et leur statut. Le statut initial d'une exécution de pipeline est Not started.
Dans la liste Exécutions de la page de détails de l'application de main-d'oeuvre, sélectionnez Actualiser pour obtenir les dernières mises à jour de statut d'exécution de tâche.

Notez que l'exécution d'un pipeline comprend des étapes de prétraitement, d'acceptation et de validation avant que le moteur d'exécution ne démarre l'exécution réelle du pipeline.

Sélectionnez Actualiser plusieurs fois jusqu'à ce que le statut En cours d'exécution s'affiche.
Lorsque la tâche de pipeline est en cours d'exécution, sélectionnez le nom d'exécution de la tâche.

La page Détails de l'exécution s'affiche, où vous pouvez surveiller la progression de l'exécution du pipeline sur le graphique de pipeline. Le statut de chaque noeud est indiqué par une icône et une étiquette. Par exemple, une coche verte pour un noeud terminé, l'étiquette Running pour les tâches en cours d'exécution et l'étiquette Waiting pour une tâche en aval en attente d'exécution.

Sélectionnez Actualiser plusieurs fois jusqu'à ce que vous voyiez Réussite pour le statut d'exécution global du pipeline.

Vous pouvez également sélectionner Aperçu pour voir plus de détails sur l'exécution du pipeline.
Une fois l'exécution du pipeline réussie, allez à la liste Exécutions de la page de détails de l'application de laboratoire et développez l'entrée d'exécution principale pour l'exécution de la tâche de pipeline.

Vous pouvez voir les détails d'exécution de quatre tâches individuelles dans le pipeline.

Vous auriez également reçu un courriel du service d'avis.

Ressources supplémentaires

Pour en savoir plus, voir :

Documentation sur Oracle Cloud Infrastructure