12 Flujos de trabajo
Los flujos de trabajo de Oracle AI Data Platform Workbench proporcionan una forma potente y flexible de automatizar las tareas de procesamiento de datos. Con los flujos de trabajo, los usuarios pueden definir y orquestar pipelines de datos complejos que se pueden ejecutar a demanda y en función de un programa predefinido. Los flujos de trabajo pueden estar compuestos por varias tareas, cada una de las cuales realiza una acción específica, y pueden incluir funciones avanzadas como dependencias, disparadores y manejo de errores.
Funciones clave de los flujos de trabajo de AI Data Platform
- Automatización: automatiza tareas y procesos de datos complejos.
- Orquestación: defina la secuencia y las dependencias de las tareas de un pipeline.
- Programación: ejecutar flujos de trabajo en una programación o un disparador en función de eventos específicos.
- Supervisión: seguimiento del estado del flujo de trabajo, los logs y el historial de ejecución.
- Parametrización: Pasar parámetros para personalizar el comportamiento de los flujos de trabajo y las tareas.
Conceptos principales
- Trabajo: recopilación de tareas ejecutadas en secuencia o en paralelo para completar un trabajo de procesamiento de datos.
- Tarea: los pasos individuales que componen un flujo de trabajo. Las tareas pueden incluir acciones como la ejecución de código Python, la ejecución de un bloc de notas, la tarea if-else o la ejecución de otra tarea de trabajo.
- Ejecución de trabajo: instancia de una ejecución de trabajo. Un trabajo se puede disparar varias veces, cada vez que representa una nueva ejecución de trabajo.
- Disparador: define las condiciones en las que se ejecuta un flujo de trabajo, como en un programa, o si se dispara manualmente.
- Dependencias: Defina el orden de ejecución de la tarea o especifique las condiciones en las que se ejecutan determinadas tareas.
- Parámetros: valores transferidos a flujos de trabajo o tareas para personalizar su ejecución. Los parámetros se pueden definir en el nivel de trabajo, tarea o tiempo de ejecución.
Beneficios/Casos de Uso de Flujos de Trabajo
- Automatización optimizada: simplifica la ejecución de tareas de datos recurrentes al automatizarlas a través de flujos de trabajo.
- Procesamiento paralelo: acelera el procesamiento de datos ejecutando tareas en paralelo.
- Ejecución personalizable: modifique los flujos de trabajo en tiempo de ejecución con parámetros para satisfacer necesidades específicas.
- Eficiencia mejorada: reduce las intervenciones manuales y los errores, lo que permite operaciones más fluidas.
Los flujos de trabajo en un área de trabajo de plataforma de datos de IA permiten una amplia gama de casos de uso, incluidos pipelines ETL automatizados, integración de datos de múltiples fuentes y análisis avanzados. Los usuarios pueden automatizar el control de la calidad de los datos, el entrenamiento del modelo de aprendizaje automático y el despliegue. Estas capacidades impulsan la eficiencia y la escalabilidad de los flujos de trabajo modernos basados en datos.
Mejores prácticas
- Modularización de tareas: desglosa los flujos de trabajo en tareas reutilizables para simplificar la gestión y mejorar la capacidad de mantenimiento.
- Asignación eficiente de recursos: optimice los flujos de trabajo para obtener un mejor rendimiento mediante la ejecución de tareas en paralelo cuando corresponda.
- Manejo de errores: utilice reintentos, notificaciones de errores y mecanismos de reserva para garantizar que los flujos de trabajo se ejecuten de forma fiable.
- Asignación de recursos informáticos: asigne recursos informáticos específicos a cada tarea en función del tamaño de la carga de trabajo, optimizando el rendimiento y el costo.
Al seguir estas mejores prácticas, puedes diseñar flujos de trabajo escalables, fiables y eficientes, lo que garantiza un rendimiento óptimo y una gestión más sencilla en Oracle AI Data Platform.