Instances extensibles pour le déploiement de modèle
Le déploiement de modèles de science des données est un service entièrement géré qui permet de déployer des modèles d'apprentissage automatique entraînés sur des points d'extrémité Web d'inférence. Les points d'extrémité d'inférence hébergent des binaires de modèle d'apprentissage automatique en tant que services Web pour la consommation en temps réel des prédictions.
Lors de la création du déploiement, les utilisateurs doivent déterminer la forme de calcul à utiliser et le nombre d'instances. Souvent, il est difficile de décider à l'avance de l'échelle requise par le déploiement du modèle, car cela dépend de facteurs externes. D'un côté, vous voulez que le modèle soit toujours disponible pour l'inférence dans ses meilleures performances, de l'autre, vous voulez optimiser les coûts et ne pas avoir de calcul pour créer des instances qui ne sont pas requises.
Avec la prise en charge des machines virtuelles extensibles, vous pouvez activer les déploiements pour utiliser des fractions de coeurs de machine virtuelle afin d'optimiser encore davantage l'utilisation du calcul, lorsque les modèles ne nécessitent qu'une petite quantité de calcul pour fonctionner et que la charge de demande est faible.
Principales fonctions
- Instances extensibles pour l'apprentissage automatique : Permet de déployer des modèles d'apprentissage automatique sur des machines virtuelles avec utilisation flexible d'UC.
- Utilisation d'UC de base : OCI offre moins qu'une référence d'UC standard adaptée aux différentes demandes de charge de travail. Les options sont de 50 % ou 12,5 %, ce qui permet de répondre à différentes demandes de charge de travail. Si vous déployez des modèles d'apprentissage automatique, seule la référence de 50 % est disponible.
- Capacité d'augmentation : Peut augmenter à des niveaux supérieurs lors de pics occasionnels de demandes de serveur, en s'adaptant à l'évolution des besoins de calcul.
- Comparaison avec les machines virtuelles traditionnelles : Contrairement aux instances de machine virtuelle traditionnelles avec des ressources d'UC fixes, les instances à capacité extensible conservent un niveau d'utilisation d'UC standard.
- Référence et séparation sélectionnées par l'utilisateur : Permet aux utilisateurs de sélectionner une utilisation d'UC de référence, avec la possibilité d'augmenter temporairement l'utilisation d'UC au-dessus de cette référence, jusqu'à 100 % des coeurs d'UC provisionnés.
Facturation fournisseur
Les instances à capacité extensible sont facturées en fonction de l'OCPU de référence sélectionnée lors de la création ou de la mise à jour d'un déploiement de modèle. Les frais pour une instance à capacité extensible sont les mêmes, que l'utilisation réelle d'UC soit au niveau de référence, moins que la référence ou plus que la référence.
Par exemple, si vous créez un déploiement avec VM.Standard.E4. Instance flexible utilisant 1 OCPU et une référence de 50 %, vous êtes facturé pour 50 % d'une OCPU E4 standard chaque heure, que l'utilisation réelle de l'UC soit inférieure à 50 % d'une OCPU ou qu'elle entraîne des surcharges pour l'OCPU complète.
Pour plus d'informations, consultez la documentation sur les instances extensibles.
Formes prises en charge
Les formes spécifiques sont prises en charge pour les déploiements de modèle extensible.
Pour les formes prises en charge, consultez la Documentation sur Compute.
Limitations courantes
Voici les limites des déploiements de modèle de machine virtuelle extensible.
- Seule la référence de 50 % est prise en charge avec un minimum de 6 Go de mémoire. La référence de 12,5 % n'est pas prise en charge.
- L'éclatement est limité à un éclatement continu d'une heure maximum
- La mémoire n'éclate pas.
- Si l'hôte sous-jacent fait l'objet d'un surabonnement, il n'est pas garanti qu'une instance puisse être répartie exactement en cas de besoin.