Información de Soporte y Consideraciones al Utilizar Pipelines

En Data Integration, un pipeline es un recurso de tiempo de diseño para crear un juego de tareas conectadas en una secuencia o en paralelo para facilitar el procesamiento de datos. Le permite gestionar y orquestar la ejecución de un juego de tareas y actividades relacionadas para una carga de trabajo en lugar de ejecutar tareas de forma individual y manejar los resultados de ejecución por separado. Estos pipelines no están diseñados para tareas de baja latencia. En ocasiones, cada paso puede experimentar varios minutos de retraso debido a problemas de red o nube. Entre estos pasos se encuentran los procesos de conciliación que pueden tardar un minuto o, a veces, incluso más.

Asegúrese de comprender lo que está soportado y las limitaciones actuales antes de crear pipelines en Data Integration.

• Por defecto, un espacio de trabajo tiene un límite de cuatro ejecuciones de tareas simultáneas. Cuando tiene más de cuatro tareas en un pipeline, las tareas de integración y las tareas del cargador de datos se ponen en cola según el límite de cuatro ejecuciones simultáneas por espacio de trabajo por defecto. Las tareas de SQL, OCI Data Flow y REST no están en cola.
• El límite de cuatro ejecuciones simultáneas es en los pipelines de un espacio de trabajo; el límite no es solo dentro de un pipeline.
• Al diseñar un pipeline, recuerde que si bien la simultaneidad máxima soportada es 16, solo se pueden realizar cuatro ejecuciones de tareas simultáneas a la vez durante la ejecución.
• Está soportado el anidamiento de pipelines. La profundidad anidada máxima es de tres (3) niveles.
• Un pipeline no puede tener más de 100 tareas en ningún nivel.
• En un pipeline, cuando se utilizan los parámetros de salida de un operador en el siguiente operador, abstenerse de utilizar el mismo parámetro de salida varias veces, ya que hacerlo podría dar lugar a un resultado indeterminado.