Ajustement automatique du déploiement de modèle
En savoir plus sur le déploiement de modèle d'ajustement automatique.
Lors de la configuration d'un déploiement de modèle, il est essentiel de prendre des décisions concernant la forme de calcul appropriée et le nombre d'instances. Prévoir la meilleure échelle pour le déploiement peut s'avérer difficile en raison de variables externes. Un dilemme commun est d'équilibrer la nécessité d'une disponibilité constante et de meilleures performances par rapport à la rentabilité, en particulier lorsqu'il s'agit de charges de travail imprévisibles.
L'ajustement automatique offre une solution qui vous permet de définir un intervalle d'instances, ce qui permet au service de s'adapter automatiquement à la hausse ou à la baisse selon la fluctuation de la demande. Cette approche garantit une utilisation efficace des ressources tout en tenant compte de l'augmentation de l'utilisation. Vous avez la possibilité de définir des seuils d'utilisation qui déclenchent le processus de mise à l'échelle, ce qui vous permet de contrôler la rapidité avec laquelle le déploiement s'adapte aux changements de la demande.
De plus, vous pouvez étendre les capacités d'ajustement automatique aux équilibreurs de charge. En spécifiant un intervalle de bande passante avec des valeurs minimales et maximales, l'équilibreur de charge s'ajuste automatiquement aux demandes de trafic variables. Cela améliore non seulement la performance, mais contribue également à une gestion efficace des coûts en répondant dynamiquement à l'évolution des demandes de charge de travail.
Voici certains avantages clés de l'ajustement automatique pour le déploiement de modèle :
-
Ajustement dynamique des ressources : L'ajustement automatique augmente ou diminue automatiquement le nombre de ressources de calcul en fonction de la demande en temps réel (par exemple, ajustement automatique et réduction de 1 à 10). Cela garantit que le modèle déployé peut gérer efficacement différentes charges.
-
Rentabilité : En ajustant les ressources de manière dynamique, l'ajustement automatique garantit que vous utilisez (et payez) uniquement les ressources dont vous avez besoin. Cela peut entraîner des économies par rapport aux déploiements statiques.
-
Disponibilité améliorée : Associée à un équilibreur de charge, la mise à l'échelle automatique garantit que si une instance tombe en panne, le trafic pourra être réacheminé vers des instances saines, assurant ainsi un service ininterrompu.
- Déclencheurs personnalisables : Les utilisateurs peuvent personnaliser l'interrogation d'ajustement automatique à l'aide d'expressions MQL.
- Compatibilité de l'équilibreur de charge : L'ajustement automatique fonctionne de pair avec les équilibreurs de charge, où la bande passante d'équilibreur de charge peut être ajustée automatiquement afin de prendre en charge un plus grand trafic, assurant ainsi une meilleure performance et réduisant les goulots d'étranglement.
- Périodes de refroidissement : Après les actions de mise à l'échelle, il peut y avoir une période de refroidissement définie pendant laquelle le composant d'ajustement automatique ne prend pas d'autres actions. Cela évite les actions de mise à l'échelle excessives dans un court laps de temps.
Types d'ajustement automatique pris en charge
L'ajustement automatique basé sur la mesure est la méthode prise en charge pour l'ajustement automatique dans un déploiement de modèle, dans laquelle une action d'ajustement automatique est déclenchée lorsqu'une mesure de performance atteint ou dépasse un seuil défini. Pour le moment, une seule politique d'ajustement automatique basé sur des mesures peut être ajoutée.
L'ajustement automatique basé sur des mesures repose sur les mesures de performance collectées par le service de surveillance et émises par la ressource de déploiement de modèle, telles que l'utilisation d'UC. Ces mesures sont agrégées en périodes spécifiées, puis calculées en moyenne sur toutes les instances de la ressource de déploiement de modèle. Lorsqu'un nombre défini de valeurs consécutives (mesures moyennes pour une durée spécifiée) atteint le seuil, un événement d'ajustement automatique est déclenché.
Une période de refroidissement entre les événements d'ajustement automatique basé sur les mesures permet au système de se stabiliser au niveau mis à jour. La période de refroidissement commence lorsque le déploiement de modèle atteint l'état Actif. Le service continue d'évaluer les mesures de performance pendant la période de refroidissement. À la fin de la période de refroidissement, l'ajustement automatique ajuste de nouveau la taille du déploiement de modèle, si nécessaire.
Vous pouvez configurer l'ajustement automatique basé sur des mesures en sélectionnant l'une des options suivantes :
-
PREDEFINED_EXPRESSION
-
CUSTOM_EXPRESSION
Dans le type prédéfini, sélectionnez l'une des deux mesures, CPU_UTILIZATION ou MEMORY_UTILIZATION, et spécifiez des seuils pour les conditions d'ajustement. Dans un type ou une expression de mesure d'ajustement personnalisé, vous avez le contrôle total de la définition des conditions d'ajustement sous la forme de MQL et de la sélection de toute mesure de déploiement de modèle souhaitée.
Conditions requises
Avant d'utiliser l'ajustement automatique, ajoutez les préalables suivants.
Politiques
allow service autoscaling to read metrics in tenancy where target.metrics.namespace='oci_datascience_modeldeploy'
Ajustement automatique en action
Au fur et à mesure que la ressource de déploiement de modèle subit une mise à l'échelle, surveillez les journaux de demande de travail (surfacés en tant que demande de travail de mise à jour) pour suivre sa progression.
Les journaux Mettre à jour les demandes de travail fournissent des mises à jour en temps réel sur les opérations en cours, détaillant les modifications apportées, y compris les tailles précédente et nouvelle.
En cas d'échec de la création ou de la mise à jour d'un déploiement de modèle, sélectionnez Messages d'erreur dans le menu de gauche pour identifier l'erreur ou le motif d'échec spécifique. Pour obtenir des conseils sur la résolution de différents scénarios d'erreur et les étapes de débogage de tout problème, voir la section Dépannage Pour les déploiements de modèle d'ajustement automatique.