Détails de mesure dans Generative AI
Vous pouvez surveiller les ressources OCI Generative AI via les mesures fournies dans ce service. Vous pouvez également utiliser le service OCI Monitoring pour créer des requêtes et des alarmes personnalisées afin de vous informer lorsque ces mesures répondent à des déclencheurs spécifiés par une alarme.
Mesures de cluster d'IA dédié d'hébergement
Cette section répertorie les mesures pour les clusters d'IA dédiés d'hébergement. Les clusters dédiés de réglage fin n'affichent pas de mesures.
| Nom d'affichage de la mesure | Description |
|---|---|
| Utilisation | Pourcentage moyen d'utilisation des GPU sur l'ensemble des GPU du cluster d'IA dédié |
| Nombre total d'entrées | Nombre de jetons d'entrée traités par les modèles de ce cluster d'IA dédié d'hébergement |
| Nombre total de sorties | Nombre de jetons de sortie traités par les modèles de ce cluster d'IA dédié d'hébergement |
Vous pouvez obtenir les mesures précédentes sur la page de détails d'un cluster d'IA dédié d'hébergement.
Mesures d'adresse
Cette section répertorie les mesures pour les adresses de modèle dans l'IA générative.
| Nom d'affichage de la mesure | Description |
|---|---|
| Durée totale de traitement | Durée totale de traitement pour qu'un appel se termine |
| Nombre d'appels | Nombre de jetons d'entrée traités par le modèle hébergé sur cette adresse |
| Nombre d'erreurs de service | Nombre d'appels avec une erreur interne de service |
| Nombre d'erreurs client | Nombre d'appels avec une erreur côté client |
| Nombre total d'entrées | Nombre de jetons d'entrée traités par le modèle hébergé sur cette adresse |
| Nombre total de sorties | Nombre de jetons de sortie traités par le modèle hébergé sur cette adresse |
| Taux de succès des appels | Nombre d'appels réussis divisé par le nombre total d'appels |
Vous pouvez obtenir les mesures précédentes à partir de la page de détails d'une adresse.
Mesures pour les requêtes personnalisées
Vous pouvez créer des requêtes et des alarmes personnalisées pour les mesures d'adresse et de cluster d'IA générative via le service Monitoring.
Cette section répertorie les paramètres que vous pouvez utiliser pour créer des requêtes personnalisées pour les mesures d'IA générative à l'aide du service Monitoring.
| Paramètre de mesure | Nom d'affichage | Description |
|---|---|---|
ClientErrorCount |
Nombre d'erreurs client | Nombre d'appels avec une erreur côté client |
InputTokenCount |
Nombre total d'entrées | Nombre de jetons d'entrée traités par les modèles hébergés sur cette ressource |
InvocationLatency |
Durée totale de traitement | Temps total de traitement pour qu'un appel se termine sur cette ressource |
OutputTokenCount |
Nombre total de sorties | Nombre de jetons de sortie traités par les modèles hébergés sur cette ressource |
ServerErrorCount |
Nombre d'erreurs de service | Nombre d'appels avec une erreur interne de service |
TotalInvocationCount |
Nombre d'appels | Nombre d'appels |
Pour connaître les étapes de création de ces requêtes personnalisées, reportez-vous à Création d'une requête pour les mesures d'IA générative.