Groupes du service de flux de données

Les groupes de flux de données peuvent être utilisés dans de nombreuses charges de travail de flux de données par lots, de diffusion en continu et de session par divers utilisateurs en même temps dans le même locataire.

Les groupes fournissent un mécanisme puissant et flexible pour gérer efficacement les charges de travail par lots, en continu et de session basées sur Spark entre plusieurs utilisateurs du même locataire. Conçus pour prendre en charge à la fois les environnements de production sensibles au temps et les scénarios de développement dynamique, les groupes réduisent les temps de démarrage des applications en maintenant une infrastructure de calcul préinitialisée.

Elles permettent d'isoler les charges de travail de l'entreprise pour éviter que les tâches de production critiques ne soient affectées par les activités de développement au moyen d'une segmentation dédiée des ressources. Le contrôle des coûts est rationalisé avec des politiques IAM détaillées qui limitent l'utilisation du groupe aux utilisateurs autorisés ou à des environnements spécifiques. Dans le même temps, les mécanismes de mise en file d'attente intelligents permettent de soumettre des tâches à volume élevé tout en optimisant l'utilisation des ressources.

Il est possible de programmer le démarrage automatique des groupes dans les intervalles de temps définis, puis leur arrêt après une temporisation de l'utilisation, ce qui permet d'aligner la disponibilité du calcul sur les processus d'affaires et de réduire le coût d'inactivité. De plus, l'automatisation intégrée gère les correctifs de sécurité de façon transparente sans perturber les applications en cours d'exécution, ce qui fait des groupes le choix idéal pour une exécution sécurisée, évolutive et rentable de la charge de travail Spark.

Les piscines offrent un large éventail de fonctionnalités pour divers cas d'utilisation, tels que :

• Charges de travail de production volumineuses sensibles au temps avec de nombreux exécuteurs qui nécessitent un temps de démarrage plus rapide en quelques secondes.
• Les charges de travail de production critiques ne sont pas affectées par les charges de travail de développement dynamique, car leurs ressources peuvent être séparées en différents pools.
• Contrôler le coût et l'utilisation pour le développement à l'aide d'une politique IAM qui vous permet de soumettre des exécutions de flux de données à des groupes spécifiques.
• Un grand nombre d'exécutions de flux de données doivent être traitées avec moins de temps de démarrage.
• Le service de flux de données en file d'attente s'exécute dans un groupe pour une utilisation efficace des ressources et un contrôle des coûts.
• Les charges de travail s'exécutent uniquement dans une fenêtre temporelle spécifique d'une journée qui nécessite le démarrage automatique d'un groupe dans un programme et l'arrêt automatique lorsqu'elles sont inactives.
• Application automatique de correctifs de sécurité sans affecter les exécutions ou les ressources d'un groupe.

Un autre cas d'utilisation pour le service de flux de données est la possibilité de préallouer (ou de réserver) des noeuds avec une configuration spéciale. Ce sont des ressources de tailles spécifiques (ou la relation entre l'UC et la mémoire) qui sont rares dans les centres de données prenant en charge la région. Les travaux nécessitant une telle configuration spéciale impliquent généralement des volumes de données importants et des tailles d'enregistrement qui ne peuvent pas être facilement distribués en affectant plus de noeuds à l'exécution du travail.

Pour ces scénarios, il est pratique d'interroger les centres de données de la région pour évaluer la disponibilité de ces ressources. Les échantillons d'Oracle offrent une approche simple pour l'examen de cette capacité dans divers contextes commerciaux.