Informations de soutien et points à considérer lors de l'utilisation des pipelines

Dans le service d'intégration de données, un pipeline est une ressource de conception permettant de créer un jeu de tâches connectées en séquence ou en parallèle pour faciliter le traitement des données. Il vous permet de gérer et d'orchestrer l'exécution d'un jeu de tâches et d'activités connexes pour une charge de travail au lieu d'exécuter les tâches individuellement et de gérer les résultats d'exécution séparément. Ces pipelines ne sont pas conçus pour les tâches à faible latence. Parfois, chaque étape peut connaître plusieurs minutes de retard en raison de problèmes de réseau ou de nuage. Entre ces étapes, des processus de rapprochement peuvent prendre une minute ou parfois encore plus de temps.

Assurez-vous de comprendre ce qui est pris en charge et les limites courantes avant de créer des pipelines dans le service d'intégration de données.

• Par défaut, un espace de travail a une limite de quatre exécutions de tâches concurrentes. Lorsque vous avez plus de quatre tâches dans un pipeline, les tâches d'intégration et les tâches de chargement de données sont mises en file d'attente en fonction de la limite de quatre exécutions concurrentes par espace de travail par défaut. Les tâches SQL, de flux de données OCI et REST ne sont pas en file d'attente.
• La limite de quatre exécutions concurrentes est entre les pipelines d'un espace de travail; la limite n'est pas seulement au sein d'un pipeline.
• Lors de la conception d'un pipeline, n'oubliez pas que si la simultanéité maximale prise en charge est de 16, seules quatre exécutions de tâche simultanées peuvent avoir lieu à la fois pendant l'exécution.
• L'imbrication des pipelines est prise en charge. La profondeur imbriquée maximale est de trois (3) niveaux.
• Un pipeline ne peut pas avoir plus de 100 tâches à un niveau quelconque.
• Dans un pipeline, lorsque les paramètres de sortie d'un opérateur sont utilisés dans l'opérateur suivant, évitez d'utiliser le même paramètre de sortie plusieurs fois, car cela peut entraîner un résultat indéterminé.