12 Flux de travail
Les flux de travail dans Oracle AI Data Platform Workbench offrent un moyen puissant et flexible d'automatiser les tâches de traitement des données. Grâce aux flux de travail, les utilisateurs peuvent définir et orchestrer des pipelines de données complexes qui peuvent être exécutés sur demande et selon un calendrier prédéfini. Les flux de travail peuvent être composés de plusieurs tâches, chacune effectuant une action spécifique, et peuvent inclure des fonctionnalités avancées telles que les dépendances, les déclencheurs et le traitement des erreurs.
Principales caractéristiques des flux de travail de la plateforme de données d'IA
- Automatisation : Automatisation des tâches et des processus de données complexes.
- Orchestration : Définissez la séquence et les dépendances des tâches d'un pipeline.
- Programmation : Exécuter les flux de travail selon un programme ou un déclencheur en fonction d'événements spécifiques.
- Surveillance : Suivre le statut des flux de travail, les journaux et l'historique d'exécution.
- Paramétrage : Transmettez des paramètres pour personnaliser le comportement des flux de travail et des tâches.
Concepts de base
- Job (Tâche) : Ensemble de tâches exécutées en séquence ou en parallèle pour exécuter une tâche de traitement de données.
- Tâche : étapes individuelles qui composent un flux de travail. Les tâches peuvent inclure des actions telles que l'exécution de code Python, l'exécution d'un carnet, une tâche if-else ou l'exécution d'une autre tâche de travail.
- Job Run : Instance d'une exécution de travail. Un travail peut être déclenché plusieurs fois, représentant chaque fois une nouvelle exécution de travail.
- Déclencheur : Définit les conditions dans lesquelles un flux de travail est exécuté, par exemple sur une planification, ou s'il est déclenché manuellement.
- Dépendances : Définissez l'ordre d'exécution des tâches ou spécifiez les conditions d'exécution de certaines tâches.
- Paramètres : Valeurs transmises aux flux de travail ou aux tâches pour personnaliser leur exécution. Les paramètres peuvent être définis au niveau de la tâche, de la tâche ou de l'exécution.
Avantages/cas d'utilisation de flux de travail
- Automatisation rationalisée - Simplifiez l'exécution de tâches de données récurrentes en les automatisant au moyen de flux de travail.
- Traitement parallèle – accélère le traitement des données en exécutant des tâches en parallèle.
- Exécution personnalisable - Modifier les flux de travail au moment de l'exécution avec des paramètres pour répondre à des besoins spécifiques.
- Efficacité accrue - Réduire les interventions manuelles et les erreurs, permettant des opérations plus fluides.
Les flux de travail d'un atelier de plate-forme de données d'intelligence artificielle permettent un large éventail de cas d'utilisation, y compris les pipelines d'ETC automatisés, l'intégration de données provenant de plusieurs sources et les analyses avancées. Les utilisateurs peuvent automatiser la surveillance de la qualité des données, la formation sur les modèles d'apprentissage automatique et le déploiement. Ces capacités améliorent l'efficacité et l'extensibilité des flux de travail modernes axés sur les données.
Meilleures pratiques
- Modularisation des tâches - Répartissez les flux de travail en tâches réutilisables afin de simplifier la gestion et d'améliorer la maintenabilité.
- Affectation efficace des ressources - Optimisez les flux de travail pour une meilleure performance en exécutant des tâches en parallèle, le cas échéant.
- Traitement des erreurs - Utilisez les nouvelles tentatives, les avis d'erreur et les mécanismes de secours pour garantir une exécution fiable des flux de travail.
- Affectation de calcul - Affecter des ressources de calcul spécifiques à chaque tâche en fonction de la taille de la charge de travail, optimisant la performance et le coût.
En suivant ces meilleures pratiques, vous pouvez concevoir des flux de travail évolutifs, fiables et efficaces, qui garantissent une performance optimale et une gestion plus facile dans Oracle AI Data Platform.