Informations et remarques relatives à la prise en charge lors de l'utilisation de pipelines

Dans Data Integration, un pipeline est une ressource de conception permettant de créer un ensemble de tâches connectées en séquence ou en parallèle pour faciliter le traitement des données. Il vous permet de gérer et d'orchestrer l'exécution d'un ensemble de tâches et d'activités associées pour une charge globale au lieu d'exécuter des tâches individuellement et de gérer les résultats d'exécution séparément. Ces pipelines ne sont pas conçus pour les tâches à faible latence. Parfois, chaque étape peut être retardée de plusieurs minutes en raison de problèmes de réseau ou de cloud. Entre ces étapes, les processus de rapprochement peuvent prendre une minute ou parfois même plus longtemps.

Avant de créer des pipelines dans Data Integration, assurez-vous de comprendre ce qui est pris en charge et les limites actuelles.

• Par défaut, un espace de travail est limité à quatre exécutions de tâche simultanées. Lorsque vous avez plus de quatre tâches dans un pipeline, les tâches d'intégration et les tâches de programme de chargement de données sont mises en file d'attente en fonction de la limite de quatre exécutions simultanées par espace de travail par défaut. Les tâches SQL, OCI Data Flow et REST ne sont pas mises en file d'attente.
• La limite de quatre exécutions simultanées est dans les pipelines d'un espace de travail ; la limite n'est pas seulement dans un pipeline.
• Lors de la conception d'un pipeline, n'oubliez pas que même si la simultanéité maximale prise en charge est de 16, seules quatre exécutions de tâche simultanées peuvent avoir lieu à la fois pendant l'exécution.
• L'imbrication de pipelines est prise en charge. La profondeur imbriquée maximale est de trois (3) niveaux.
• Un pipeline ne peut pas avoir plus de 100 tâches à un niveau quelconque.
• Dans un pipeline, lorsque les paramètres de sortie d'un opérateur sont utilisés dans l'opérateur suivant, évitez d'utiliser le même paramètre de sortie plusieurs fois, ce qui peut entraîner un résultat indéterminé.