Pools de Data Flow

Los agrupaciones de Data Flow se pueden utilizar en muchos lotes de Data Flow, Streaming y cargas de trabajo de sesión por parte de varios usuarios al mismo tiempo en el mismo inquilino.

Los pools proporcionan un mecanismo potente y flexible para gestionar de forma eficaz las cargas de trabajo por lotes, de transmisión y de sesión basadas en Spark en varios usuarios del mismo inquilino. Diseñada para soportar tanto entornos de producción sensibles al tiempo como escenarios de desarrollo dinámico, las agrupaciones reducen los tiempos de inicio de las aplicaciones mediante el mantenimiento de una infraestructura informática preinicializada.

Permiten el aislamiento de cargas de trabajo empresariales, lo que garantiza que los trabajos de producción críticos no se vean afectados por las actividades de desarrollo mediante la segmentación de recursos dedicados. El control de costos se optimiza con políticas de IAM detalladas que restringen el uso del pool a usuarios autorizados o entornos específicos. Al mismo tiempo, los mecanismos de cola inteligentes permiten el envío de trabajos de gran volumen al tiempo que optimizan el uso de recursos.

Los grupos se pueden programar para que se inicien automáticamente en períodos de tiempo definidos y, finalmente, se detengan después de un timeout en el uso, alineando la disponibilidad de los recursos informáticos con los procesos de negocio y minimizando el costo inactivo. Además, la automatización incorporada gestiona la aplicación de parches de seguridad sin interrupciones en la ejecución de aplicaciones, lo que convierte a las agrupaciones en una opción ideal para la ejecución de cargas de trabajo de Spark seguras, escalables y rentables.

Las piscinas ofrecen una amplia gama de funcionalidades para diversos casos de uso, como:

• Grandes cargas de trabajo de producción sensibles al tiempo con muchos ejecutores que necesitan un tiempo de inicio más rápido en segundos.
• Las cargas de trabajo de producción críticas no se ven afectadas por las cargas de trabajo de desarrollo dinámico porque sus recursos se pueden separar en diferentes grupos.
• Controle el costo y el uso del desarrollo con la política de IAM que le permite ejecutar ejecuciones de Data Flow en pools específicos.
• Es necesario procesar un gran número de ejecuciones de Data Flow con menos tiempo de inicio.
• Poner en cola el flujo de datos se ejecuta en un pool para un uso eficaz de los recursos y el control de costos.
• Las cargas de trabajo se ejecutan solo en una ventana de tiempo específica de un día que necesita el inicio automático de un pool según un programa y la detención automática cuando están inactivas.
• Aplicación automática de parches de seguridad sin afectar a las ejecuciones ni a los recursos de un pool.

Otro caso de uso para Data Flow es la capacidad de preasignar (o reservar) nodos con una configuración especial. Estos son recursos de tamaños específicos (o la relación entre CPU y memoria) que son poco comunes en los centros de datos que soportan la región. Los trabajos que requieren una configuración especial suelen implicar grandes volúmenes de datos y tamaños de registro que no se pueden distribuir fácilmente asignando más nodos a la ejecución del trabajo.

Para estos escenarios, es práctico interrogar a los centros de datos de la región para evaluar la disponibilidad de estos recursos. Las muestras de Oracle ofrecen un enfoque sencillo para examinar dicha capacidad en varios contextos comerciales.