Détails de mesure dans Generative AI
Vous pouvez surveiller les ressources OCI Generative AI via les mesures fournies dans ce service. Vous pouvez également utiliser le service OCI Monitoring pour créer des requêtes et des alarmes personnalisées afin de vous avertir lorsque ces mesures répondent aux déclencheurs spécifiés par une alarme.
Hébergement de mesures de cluster d'IA dédiées
Cette section répertorie les mesures des clusters AI dédiés hébergés. Les clusters dédiés fine-tuning n'affichent pas de mesures.
| Nom d'affichage de mesure | Description |
|---|---|
| Utilisation | Capacité disponible pour un cluster AI dédié affichée en pourcentage dans le temps |
| Nombre total d'entrées | Nombre de jetons d'entrée que les modèles de ce cluster d'IA dédié d'hébergement ont traités |
| Nombre total de sorties | Nombre de jetons de sortie traités par les modèles sur ce cluster d'IA dédié d'hébergement |
Vous pouvez obtenir les mesures précédentes à partir de la page de détails d'un cluster d'IA dédié hébergé.
Mesures d'adresse
Cette section répertorie les mesures pour les adresses de modèle dans Generative AI.
| Nom d'affichage de mesure | Description |
|---|---|
| Durée totale de traitement | Durée totale de traitement pour qu'un appel se termine |
| Nombre d'appels | Nombre de jetons d'entrée que le modèle hébergé sur cette adresse a traités |
| Nombre d'erreurs de service | Nombre d'appels avec une erreur interne de service |
| Nombre d'erreurs client | Nombre d'appels avec une erreur côté client |
| Nombre total d'entrées | Nombre de jetons d'entrée que le modèle hébergé sur cette adresse a traités |
| Nombre total de sorties | Nombre de jetons de sortie que le modèle hébergé sur cette adresse a traités |
| Taux de succès des appels | Appels réussis divisés par le nombre total d'appels |
Vous pouvez obtenir les mesures précédentes à partir de la page de détails d'une adresse.
Mesures pour les requêtes personnalisées
Vous pouvez créer des requêtes et des alarmes personnalisées pour les mesures d'adresse et de cluster Generative AI via le service Monitoring.
Cette section répertorie les paramètres que vous pouvez utiliser pour créer des requêtes personnalisées pour les mesures d'IA générative à l'aide du service Monitoring.
| Paramètre de mesure | Afficher le nom | Description |
|---|---|---|
ClientErrorCount |
Nombre d'erreurs client | Nombre d'appels avec une erreur côté client |
InputTokenCount |
Nombre total d'entrées | Nombre de jetons d'entrée traités par les modèles hébergés sur cette ressource |
InvocationLatency |
Durée totale de traitement | Durée totale de traitement pour qu'un appel se termine sur cette ressource |
OutputTokenCount |
Nombre total de sorties | Nombre de jetons de sortie traités par les modèles hébergés sur cette ressource |
ServerErrorCount |
Nombre d'erreurs de service | Nombre d'appels avec une erreur interne de service |
TotalInvocationCount |
Nombre d'appels | Nombre d'appels |
Pour connaître les étapes de création de ces requêtes personnalisées, reportez-vous à Création d'une requête pour les mesures Generative AI.