Présentation de la création de pipelines

Utilisez le concepteur de pipeline Data Integration pour créer un pipeline.

Le concepteur intuitif de pipeline d'interface utilisateur est semblable au concepteur que vous utilisez pour créer un flux de données. Pour concevoir un pipeline, vous utilisez des composants appelés opérateurs qui représentent les tâches publiées et les tâches de conception, ainsi que d'autres activités de traitement. Vous pouvez utiliser des fonctions intégrées Data Integration avec les opérateurs d'expression et de décision dans un pipeline pour créer des expressions qui traitent les données.

Si des paramètres sont affectés dans les tâches ou dans les flux de données associés encapsulés par des tâches d'intégration, vous pouvez remplacer les valeurs par défaut en configurant les valeurs de paramètre entrantes directement lors de la conception, ainsi que lors de l'exécution du pipeline à l'aide de paramètres système et définis par l'utilisateur.

En utilisant un pipeline, vous pouvez créer un graphique de données complexe et automatiser l'ensemble d'une charge de travail de processus et de tâches interdépendants. Par exemple, vous pouvez exploiter un pipeline pour charger des données à partir de plusieurs formats source en parallèle, appliquer des transformations de données et fusionner les tâches parallèles afin que les tâches en aval puissent traiter davantage les données en fonction des résultats des opérations en amont.

Veillez à consulter les informations de support et considérations relatives à l'utilisation des pipelines avant de créer ou de modifier un pipeline. Par exemple, faites attention au niveau de profondeur imbriqué et à la limite de tâche par niveau.

Créez des pipelines à partir de la page des détails d'un projet ou d'un dossier. Une fois le pipeline créé, créez une tâche de pipeline utilisée pour publier et exécuter l'orchestration.