12 Workflows
Os fluxos de trabalho no Oracle AI Data Platform Workbench fornecem uma maneira avançada e flexível de automatizar tarefas de processamento de dados. Com workflows, os usuários podem definir e orquestrar pipelines de dados complexos que podem ser executados sob demanda e com base em uma programação pré-definida. Os fluxos de trabalho podem ser compostos por várias tarefas, cada uma executando uma ação específica, e podem incluir recursos avançados, como dependências, acionadores e tratamento de erros.
Principais Recursos dos Workflows da AI Data Platform
- Automação: Automatize tarefas e processos de dados complexos.
- Orquestração: Defina a sequência e as dependências das tarefas em um pipeline.
- Agendamento: execute fluxos de trabalho em um agendamento ou acionador com base em eventos específicos.
- Monitoramento: Rastrear status do workflow, logs e histórico de execução.
- Parametrização: Passar parâmetros para personalizar o comportamento de fluxos de trabalho e tarefas.
Conceitos Básicos
- Job: Um conjunto de tarefas executadas em sequência ou em paralelo para concluir um job de processamento de dados.
- Tarefa: As etapas individuais que compõem um fluxo de trabalho. As tarefas podem incluir ações como executar código Python, executar um notebook, uma tarefa if-else ou executar outra tarefa de job.
- Execução de Job: uma instância de uma execução de job. Um job pode ser acionado várias vezes, cada vez que representa uma nova execução de job.
- Trigger: Define as condições sob as quais um workflow é executado, como em uma programação, ou se for acionado manualmente.
- Dependências: Defina a ordem de execução da tarefa ou especifique condições nas quais determinadas tarefas são executadas.
- Parâmetros: Valores transmitidos a workflows ou tarefas para personalizar sua execução. Os parâmetros podem ser definidos no nível de job, tarefa ou tempo de execução.
Benefícios/Casos de Uso do Uso de Workflows
- Automação simplificada - Simplifique a execução de tarefas de dados recorrentes automatizando-as por meio de fluxos de trabalho.
- Processamento Paralelo - Acelere o processamento de dados executando tarefas em paralelo.
- Execução personalizável - Modifique fluxos de trabalho em tempo de execução com parâmetros para atender a necessidades específicas.
- Eficiência aprimorada - Reduza as intervenções e erros manuais, permitindo operações mais suaves.
Os fluxos de trabalho em um AI Data Platform Workbench permitem uma ampla gama de casos de uso, incluindo pipelines ETL automatizados, integração de dados de várias fontes e análises avançadas. Os usuários podem automatizar o monitoramento da qualidade de dados, o treinamento do modelo de machine learning e a implementação. Esses recursos impulsionam a eficiência e a escalabilidade para fluxos de trabalho modernos orientados por dados.
Melhores Práticas
- Modularização de tarefas - Divida os fluxos de trabalho em tarefas reutilizáveis para simplificar o gerenciamento e melhorar a capacidade de manutenção.
- Alocação eficiente de recursos - Otimize fluxos de trabalho para melhor desempenho executando tarefas em paralelo quando apropriado.
- Tratamento de Erros - Use repetições, notificações de erro e mecanismos de fallback para garantir que os workflows sejam executados de forma confiável.
- Atribuição de Computação - Atribua recursos de computação específicos a cada tarefa com base no tamanho da carga de trabalho, otimizando o desempenho e o custo.
Seguindo essas melhores práticas, você pode projetar fluxos de trabalho escaláveis, confiáveis e eficientes, garantindo o desempenho ideal e o gerenciamento mais fácil na Oracle AI Data Platform.