Gérer le service de calcul

Cette section traite des fonctions de base de création, de modification ou de suppression de grappes de calcul dans l'atelier Plate-forme de données AI.

Rubriques :

• À propos des grappes de calcul
• Créer une grappe de démarrage rapide
• Créer une grappe personnalisée
• Créer une grappe de processeurs graphiques NVIDIA
• Réglage de grappe de processeurs graphiques NVIDIA
• Modifier une grappe
• Supprimer une grappe
• Voir les détails de la grappe
• Mises à jour de maintenance pour les grappes de calcul

À propos des grappes de calcul

Les grappes de calcul polyvalentes vous fournissent les ressources de calcul nécessaires pour traiter vos charges de travail dans une instance AI Data Platform Workbench.

Vous gérez vos grappes de calcul à partir de la page Calcul de votre atelier de plate-forme de données Oracle AI.

Types de calcul

Il existe deux types de calcul dans AI Data Platform Workbench : les grappes de calcul polyvalentes et la grappe de calcul du catalogue principal par défaut.

Vous ne pouvez créer des grappes de calcul polyvalentes que dans AI Data Platform Workbench. Les grappes de calcul polyvalentes conviennent à une gamme polyvalente de charges de travail et peuvent être attachées à vos blocs-notes et utilisées dans les flux de travail. Sauf indication contraire, les références à la grappe de calcul ou à la grappe dans la documentation font référence aux grappes de calcul à usage général.

Lorsque vous créez une nouvelle grappe de calcul polyvalente, vous pouvez sélectionner Démarrage rapide ou Configuration personnalisée. La configuration de démarrage rapide est optimisée pour un démarrage rapide, tandis que la configuration personnalisée vous permet d'affiner votre grappe de calcul à toutes fins utiles en fonction des charges de travail spécifiques que vous devez traiter. Dans les options de configuration Démarrage rapide et Personnalisé, vous pouvez voir les projections de coûts et modifier les options de temporisation d'inactivité.

Note :

L'installation de bibliothèques personnalisées dans une grappe de calcul à usage général configurée par Quickstart la modifie automatiquement en configuration personnalisée. Cela peut avoir une incidence sur les performances de démarrage.

La grappe de calcul du catalogue principal par défaut est présente dans toutes les instances AI Data Platform Workbench. Cette grappe est responsable des fonctions essentielles de l'atelier Plate-forme de données d'intelligence artificielle, telles que les balayages de recherche, l'actualisation des objets de catalogue, la création, la modification et la suppression d'objets et le test des connexions.

Exécution de grappe

Des grappes de calcul polyvalentes peuvent être créées avec une plate-forme d'exécution Apache Spark 3.5. L'environnement d'exécution est compatible avec :

• Spark 3.5.0
• Delta 3.2.0 (pré-inclus)
• Python 3.11
• Scala 2.12
• Hadoop 3.3.4
• Java 17

Mises à jour de maintenance pour les grappes de calcul

AI Data Platform Workbench compute applique automatiquement les mises à jour de maintenance sans intervention de l'utilisateur. Les mises à jour de maintenance couvrent tous les correctifs de sécurité ou les corrections de bogues nécessaires pour le système d'exploitation et les composants internes de AI Data Platform Workbench.

AI Data Platform Workbench vérifie qu'aucune grappe n'est en cours d'exécution avant d'appliquer ces mises à jour de maintenance mensuelles.

Créer une grappe de démarrage rapide

Vous pouvez choisir de créer une grappe de calcul polyvalente avec des paramètres préconfigurés pour traiter les données et les charges de travail d'intelligence artificielle dans votre atelier de plate-forme de données d'intelligence artificielle.

La configuration de démarrage rapide est une grappe Apache Spark avec 1 pilote et jusqu'à 10 travailleurs, chacun avec AMD 2 OCPU et 32 Go de mémoire. L'ajustement automatique est activé par défaut pour la configuration de démarrage rapide. Vous pouvez configurer vos grappes pour qu'elles soient constamment actives ou définir un intervalle d'inactivité après lequel la grappe s'arrêtera automatiquement (délai d'inactivité). Les grappes arrêtées reprendront lorsqu'elles seront appelées par un flux de travail ou un carnet attaché.

Vous pouvez modifier votre grappe à tout moment après sa création.

1. Cliquez sur Créer dans le panneau de navigation de gauche, puis cliquez sur Calcul. Vous pouvez également naviguer jusqu'à votre espace de travail, cliquer sur Calcul, puis sur Créer une grappe.
   
   

   

   
   
2. Indiquez un nom et une description pour identifier votre grappe.
3. Sélectionnez Version d'exécution.
4. Sélectionnez Démarrage rapide comme configuration de grappe.
5. Sélectionnez si le nombre de travailleurs est statique ou s'il est mis à l'échelle automatiquement. L'ajustement automatique est activé par défaut pour la configuration de démarrage rapide.
6. Pour Durée d'exécution, indiquez si la grappe s'arrêtera après une durée définie d'inactivité. Si l'option Temporisation d'inactivité est sélectionnée, spécifiez la durée d'inactivité, en minutes, avant la temporisation de la grappe.
7. Cliquez sur Créer.

Créer une grappe personnalisée

Vous pouvez créer une grappe de calcul polyvalente avec les paramètres de configuration de votre choix pour traiter les données et les charges de travail d'intelligence artificielle dans votre atelier de plate-forme de données d'intelligence artificielle.

Les grappes personnalisées sont destinées aux utilisateurs avancés qui souhaitent tirer parti de toute la gamme d'options de configuration pour répondre à leurs besoins. Vous devez sélectionner les options d'inducteur et de travailleur qui correspondent le mieux aux charges de travail que vous allez traiter. Vous pouvez configurer vos grappes pour qu'elles soient constamment actives ou définir un intervalle d'inactivité après lequel la grappe s'arrêtera automatiquement (délai d'inactivité). Les grappes arrêtées reprendront lorsqu'elles seront appelées par un flux de travail ou un carnet attaché.

Vous pouvez modifier votre grappe à tout moment après sa création.

1. Cliquez sur Créer dans le panneau de navigation de gauche, puis cliquez sur Calcul. Vous pouvez également naviguer jusqu'à votre espace de travail, cliquer sur Calcul, puis sur Créer une grappe.
   
   

   

   
   
2. Indiquez un nom et une description pour identifier votre grappe.
3. Sélectionnez Version d'exécution.
4. Sélectionnez les options de pilote pour votre grappe.
5. Sélectionnez les options de traitement de votre grappe. Ces options s'appliquent à tous les travailleurs de grappe.
6. Indiquez si le nombre de travailleurs est statique ou s'il est mis à l'échelle automatiquement.
   • Si Montant statique, indiquez le nombre de travailleurs.
   • Si vous sélectionnez Ajustement automatique, spécifiez le nombre minimal et maximal de travailleurs auxquels la grappe peut s'adapter.
7. Pour Durée d'exécution, indiquez si la grappe s'arrêtera après une durée définie d'inactivité. Si l'option Temporisation d'inactivité est sélectionnée, spécifiez la durée d'inactivité, en minutes, avant la temporisation de la grappe.
8. Cliquez sur Créer.

Créer une grappe de processeurs graphiques NVIDIA

Vous pouvez choisir d'utiliser un processeur graphique NVIDIA dans une grappe de calcul entièrement conçue pour accélérer toute charge de travail dans votre pipeline de données et votre intelligence artificielle unifiée.

Les formes GPU NVIDIA utilisent les configurations suivantes :

Tableau 13-1 Formes de processeur graphique NVIDIA

Nombre de GPU	OCPU	Stockage par blocs (Go)	Mémoire de GPU (Go)	Mémoire d'UC (Go)
1	15	1500	24	240
2	30	3 000	48	480

Note :

Lorsque vous utilisez des formes GPU NVIDIA, la forme Pilote et Travailleur doit être un GPU NVIDIA. La combinaison des formes d'UC et de GPU pour la même grappe n'est pas prise en charge actuellement.

1. Cliquez sur Créer dans le panneau de navigation de gauche, puis cliquez sur Calcul. Vous pouvez également naviguer jusqu'à votre espace de travail, cliquer sur Calcul, puis sur Créer une grappe.
   
   

   

   
   
2. Indiquez un nom et une description pour identifier votre grappe.
3. Sélectionnez Version d'exécution.
4. Sélectionnez Personnalisé comme configuration de grappe.
5. Pour les options de pilote de grappe :
   • Sélectionnez GPU NVIDIA comme forme de pilote.
   • Sélectionnez 1 ou 2 comme nombre de GPU.
6. Pour les options de travail de cluster :
   • Sélectionnez GPU NVIDIA comme forme de travailleur.
   • Sélectionnez 1 ou 2 comme nombre de GPU.
7. Indiquez si le nombre de travailleurs est statique ou s'il est mis à l'échelle automatiquement.
   • Si Montant statique, indiquez le nombre de travailleurs.
   • Si vous sélectionnez Ajustement automatique, spécifiez le nombre minimal et maximal de travailleurs auxquels la grappe peut s'adapter.
8. Pour Durée d'exécution, indiquez si la grappe s'arrêtera après une durée définie d'inactivité. Si l'option Temporisation d'inactivité est sélectionnée, spécifiez la durée d'inactivité, en minutes, avant la temporisation de la grappe.
9. Cliquez sur Créer.

Réglage de grappe de processeurs graphiques NVIDIA

Vous pouvez régler vos grappes de processeurs graphiques NVIDIA pour optimiser leur performance à l'aide des recommandations du fournisseur de processeurs graphiques et en installant des bibliothèques facultatives.

Le réglage des grappes de processeurs graphiques peut aider à optimiser les performances de ces grappes lorsqu'elles sont appelées par des tâches dans votre atelier de plate-forme de données AI.

Pour les grappes basées sur un processeur graphique NVIDIA, vous pouvez suivre le guide de réglage de NVIDIA pour obtenir des recommandations et les étapes à suivre pour optimiser la performance.

Vous avez également la possibilité d'installer des bibliothèques Spark RAPIDS pour faciliter l'optimisation :

• La bibliothèque Spark RAPIDS est un accélérateur RAPIDS pour Apache Spark et fournit un jeu de plugiciels qui exploitent des processeurs graphiques pour accélérer le traitement.
• La bibliothèque Spark RAPIDS ML permet l'apprentissage automatique distribué accéléré par GPU sur Apache Spark et fournit plusieurs algorithmes compatibles avec PySpark ML, alimentés par la bibliothèque cuML RAPIDS.

La bibliothèque RAPIDS de Spark est couramment utilisée en premier lieu pour l'ingénierie des fonctions et le nettoyage des données, puis la validation croisée est effectuée à grande échelle à l'aide de la bibliothèque ML RAPIDS de Spark. Vous pouvez utiliser ces bibliothèques pour des cas d'utilisation tels que la détection des fraudes (séries chronologiques), le parcours Web et l'expérimentation A/B.

Tableau 13-2 Configurations Spark recommandées

Paramètre	Valeur	Note
spark.executor.instances	4	Nombre de travailleurs x nombre de processeurs graphiques par travailleur Si le nombre de travailleurs est 4 et que le nombre de GPU par travailleur est 1, la configuration spark.executor.instances recommandée est 4 x 1 = 4
spark.executor.cores	16	Nombre de processeurs graphiques/travailleurs/coeurs d'UC, maximum de 16
spark.executor.memory	32 Go	2 Go/coeur ou 80 % du nombre de mémoire CPU/GPU par travailleur (selon la valeur la plus basse)
spark.task.resource.gpu.amount	0,062	1 / spark.executor.cores
spark.rapids.sql.concurrentGpuTasks	3	Mémoire GPU / 8 Go, maximum de 4
spark.rapids.shuffle.multiThreaded.writer.threads	32	Nombre de coeurs d'UC/GPU par travailleur
spark.rapids.shuffle.multiThreaded.reader.threads	32	Nombre de coeurs d'UC/GPU par travailleur
spark.shuffle.manager	com.nvidia.spark.rapids.spark350. RapidsShuffleManager	-
scintillement.rapids.shuffle.mode	MULTITHREAD	-
bougies d'allumage	com.nvidia.spark.SQLPlugin	-
spark.executor.resource.gpu.amount	1	-
spark.sql.files.maxPartitionBytes	2 Go	Facultatif, recommandé pour les jeux de données volumineux
spark.rapids.sql.batchSizeBytes	2 Go	Facultatif, recommandé pour les jeux de données volumineux
spark.rapids.memory.host.spillStorageTaille	32 G	Facultatif, recommandé pour les jeux de données volumineux
spark.rapids.memory.pinnedPool.size	8 G	Facultatif, recommandé pour les jeux de données volumineux
spark.sql.adaptive.coalescePartitions.minPartitionTaille	32 Mo	Facultatif, recommandé pour les jeux de données volumineux
spark.sql.adaptive.advisoryPartitionSizeInBytes	160 Mo	Facultatif, recommandé pour les jeux de données volumineux
spark.rapids.filecache.enabled	Vrai	Facultatif, recommandé si les charges de travail réutilisent des jeux de données

Modifier une grappe

Vous pouvez modifier les paramètres ou ajouter des paramètres supplémentaires pour vos grappes.

1. Naviguez jusqu'à votre espace de travail et cliquez sur Calcul.
2. À côté de la grappe de calcul à modifier, cliquez sur Actions, puis sur Modifier.
3. Modifiez les attributs de votre grappe de calcul ou ajoutez des paramètres supplémentaires, si nécessaire.
4. Cliquez sur Enregistrer.

Supprimer une grappe

Vous pouvez supprimer des grappes de calcul qui ne sont pas utilisées ou qui ne sont plus nécessaires.

1. Naviguez jusqu'à votre espace de travail et cliquez sur Calcul.
2. À côté de la grappe à supprimer, cliquez sur Actions et cliquez sur Supprimer.
3. Cliquez sur Supprimer.

Voir les détails de la grappe

Vous pouvez vérifier la forme et les paramètres d'une grappe à tout moment.

1. Naviguez jusqu'à votre espace de travail et cliquez sur Calcul.
2. Cliquez sur le nom de la grappe dont vous voulez voir les détails.
3. Cliquez sur l'onglet Détails.

Mises à jour de maintenance pour les grappes de calcul

Le service de calcul d'Oracle AI Data Platform applique automatiquement les mises à jour de maintenance sans intervention de l'utilisateur.

Les mises à jour de maintenance couvrent tous les correctifs de sécurité ou correctifs de bogue nécessaires pour les composants internes du système d'exploitation et de la plate-forme de données AI. AI Data Platform vérifie qu'aucune grappe n'est en cours d'exécution avant d'appliquer ces mises à jour de maintenance mensuelles.