Pools do Serviço Data Flow

Os Pools de Fluxo de Dados podem ser usados em muitas cargas de trabalho de batch, Streaming e Sessão do serviço Data Flow por vários usuários ao mesmo tempo no mesmo tenant.

Os pools fornecem um mecanismo avançado e flexível para gerenciar com eficiência cargas de trabalho em lote, streaming e sessão baseadas no Spark em vários usuários dentro do mesmo locatário. Projetados para suportar ambientes de produção sensíveis ao tempo e cenários de desenvolvimento dinâmico, os Pools reduzem os tempos de inicialização do aplicativo, mantendo a infraestrutura de computação pré-inicializada.

Elas permitem o isolamento da carga de trabalho de nível empresarial, garantindo que os trabalhos críticos de produção não sejam impactados pelas atividades de desenvolvimento por meio da segmentação de recursos dedicada. O controle de custos é simplificado com políticas de IAM refinadas que restringem o uso do pool a usuários autorizados ou ambientes específicos. Ao mesmo tempo, os mecanismos inteligentes de enfileiramento permitem o envio de tarefas de alto volume enquanto otimizam o uso de recursos.

Os pools podem ser programados para serem iniciados automaticamente dentro de intervalos de tempo definidos e, eventualmente, interrompidos após um tempo limite no uso, alinhando a disponibilidade de computação com processos de negócios e minimizando o custo ocioso. Além disso, a automação integrada lida com a aplicação de patches de segurança sem interromper os aplicativos em execução, tornando os Pools uma escolha ideal para execução de carga de trabalho Spark segura, escalável e econômica.

Os pools oferecem uma ampla gama de funcionalidades para vários casos de uso, como:

• Cargas de trabalho de produção grandes sensíveis ao tempo com muitos executores que precisam de tempo de inicialização mais rápido em segundos.
• As cargas de trabalho de produção críticas não são afetadas por cargas de trabalho de desenvolvimento dinâmico porque seus recursos podem ser separados em pools diferentes.
• Controle o custo e o uso para desenvolvimento com a política do serviço IAM que permite enviar execuções do serviço Data Flow para pools específicos.
• Um grande número de execuções do serviço Data Flow precisa ser processado com menos tempo de inicialização.
• O serviço Queueing Data Flow é executado em um pool para uso eficiente de recursos e controle de custos.
• As cargas de trabalho são executadas apenas em uma janela de tempo específica de um dia que precisa do início automático de um pool em uma programação e parada automática quando ocioso.
• Aplicação automática de patches de segurança sem afetar execuções ou recursos em um pool.

Outro caso de uso do serviço Data Flow é a capacidade de pré-alocar (ou reservar) nós com configuração especial. São recursos de tamanhos específicos (ou a relação entre CPU e memória) que são raros nos data centers que suportam a região. Os jobs que exigem essa configuração especial geralmente envolvem grandes volumes de dados e tamanhos de registros que não podem ser facilmente distribuídos alocando mais nós para a execução do job.

Para esses cenários, é prático interrogar os data centers da região para avaliar a disponibilidade desses recursos. As amostras da Oracle oferecem uma abordagem simples para examinar essa capacidade em vários contextos comerciais.