Executar Aplicativos
Saiba como executar os aplicativos criados no serviço Data Flow, fornecer valores de argumento e parâmetro, revisar os resultados e diagnosticar e ajustar as execuções, incluindo o fornecimento de opções de JVM.
Importante
O serviço Data Flow interrompe automaticamente jobs em batch de longa execução usando tokens de delegação após 24 horas e jobs em batch de longa execução usando controladores de recursos após 30 dias. Nenhuma notificação é fornecida de que o job está prestes a ser interrompido.
Se o aplicativo não for concluído com o processamento dos dados, você poderá obter uma falha na execução e o job permanecerá inacabado. Para evitar isso, use as seguintes opções para limitar o tempo total que o aplicativo pode executar: O serviço Data Flow interrompe automaticamente jobs em batch de longa execução usando tokens de delegação após 24 horas e jobs em batch de longa execução usando controladores de recursos após 30 dias. Nenhuma notificação é fornecida de que o job está prestes a ser interrompido.
- Ao Criar Execuções usando a Console
- Em Opções Avançadas, especifique a duração em Minutos máximos de duração da execução.
- Ao Criar Execuções usando a CLI
- Opção de linha de comando de passagem de
--max-duration-in-minutes <number> - Ao Criar Execuções usando o SDK
- Forneça o argumento opcional
max_duration_in_minutes - Ao Criar Execuções usando a API
- Defina o argumento opcional
maxDurationInMinutes
Entender Execuções
Sempre que um aplicativo do serviço Data Flow é rund, uma Execução do serviço Data Flow é criada. A Execução do Fluxo de Dados captura e armazena de forma segura a saída, os logs e as estatísticas do aplicativo. A saída é salva para que possa ser exibida por qualquer pessoa com as permissões corretas usando a interface do usuário ou a API REST. As execuções também fornecem acesso seguro à Interface de usuário do Spark para depuração e diagnóstico.