Pool di dati

I pool di flussi di dati possono essere utilizzati in molti batch di flussi di dati, flussi e carichi di lavoro di sessione da vari utenti contemporaneamente nello stesso tenant.

I pool offrono un meccanismo potente e flessibile per gestire in modo efficiente i carichi di lavoro batch, di streaming e di sessione basati su Spark tra più utenti all'interno dello stesso tenant. Progettati per supportare ambienti di produzione sensibili al tempo e scenari di sviluppo dinamici, i pool riducono i tempi di avvio delle applicazioni mantenendo un'infrastruttura di computazione preinizializzata.

Permettono l'isolamento dei carichi di lavoro di livello enterprise, garantendo che i lavori di produzione critici non siano influenzati dalle attività di sviluppo attraverso la segmentazione delle risorse dedicate. Il controllo dei costi è semplificato con criteri IAM capillari che limitano l'uso del pool agli utenti autorizzati o ad ambienti specifici. Allo stesso tempo, i meccanismi di accodamento intelligenti consentono l'invio di job a volumi elevati ottimizzando l'uso delle risorse.

I pool possono essere pianificati per l'avvio automatico entro finestre temporali definite e, infine, per l'arresto dopo un timeout sull'uso, allineando la disponibilità della computazione ai processi aziendali e riducendo al minimo i costi inattivi. Inoltre, l'automazione integrata gestisce perfettamente l'applicazione delle patch di sicurezza senza interrompere le applicazioni in esecuzione, rendendo i pool una scelta ideale per l'esecuzione sicura, scalabile e conveniente dei carichi di lavoro Spark.

I pool offrono una vasta gamma di funzionalità per vari casi d'uso, come ad esempio:

• Carichi di lavoro di produzione di grandi dimensioni sensibili al tempo con molti esecutori che richiedono tempi di avvio più rapidi in pochi secondi.
• I carichi di lavoro di produzione critici non vengono eseguiti dai carichi di lavoro di sviluppo dinamici perché le relative risorse possono essere separate in pool diversi.
• Controlla i costi e l'uso per lo sviluppo con il criterio IAM che ti consente di sottomettere le esecuzioni di Data Flow a pool specifici.
• È necessario elaborare un numero elevato di esecuzioni del flusso dati con un tempo di avvio inferiore.
• Il flusso di dati in coda viene eseguito in un pool per un uso efficiente delle risorse e un controllo dei costi.
• I carichi di lavoro vengono eseguiti solo in una finestra temporale specifica di un giorno che richiede l'avvio automatico di un pool in una pianificazione e l'arresto automatico in caso di inattività.
• Applicazione automatica di patch di sicurezza senza influire sulle esecuzioni o sulle risorse in un pool.

Un altro caso d'uso per il flusso di dati è la possibilità di preallocare (o riservare) i nodi con una configurazione speciale. Si tratta di risorse di dimensioni specifiche (o la relazione tra CPU e memoria) che sono rare nei data center che supportano la regione. I job che richiedono questa configurazione speciale in genere coinvolgono grandi volumi di dati e dimensioni di record che non possono essere facilmente distribuiti allocando più nodi all'esecuzione del job.

Per questi scenari, è pratico interrogare i data center nella regione per valutare la disponibilità di queste risorse. Gli esempi Oracle offrono un approccio semplice all'esame di tale capacità in vari contesti commerciali.