Détails des mesures dans le service d'IA générative
Vous pouvez surveiller les ressources du service d'intelligence artificielle générative pour OCI au moyen des mesures fournies dans ce service. Vous pouvez également utiliser le service de surveillance OCI pour créer des interrogations et des alarmes personnalisées afin de vous aviser lorsque ces mesures répondent aux déclencheurs spécifiés par l'alarme.
Hébergement des mesures d'une grappe d'IA dédiée
Cette section répertorie les mesures pour les grappes dédiées à l'IA pour l'hébergement. Les grappes dédiées au réglage de précision n'affichent pas de mesures.
| Nom d'affichage de la mesure | Description |
|---|---|
| Utilisation | Pourcentage moyen d'utilisation de processeurs graphiques pour tous les processeurs graphiques de la grappe dédiée à l'IA |
| Nombre total d'entrées | Nombre de jetons d'entrée traités par les modèles de cette grappe dédiée à l'IA d'hébergement |
| Nombre total de sorties | Nombre de jetons de sortie traités par les modèles de cette grappe dédiée à l'IA d'hébergement |
Vous pouvez obtenir les mesures précédentes à partir de la page de détails d'une grappe dédiée à l'IA hôte.
Mesures liées aux points d'extrémité
Cette section répertorie les mesures pour les points d'extrémité de modèle dans le service d'intelligence artificielle générative.
| Nom d'affichage de la mesure | Description |
|---|---|
| Temps de traitement total | Temps de traitement total d'un appel |
| Nombre d'appels | Nombre de jetons d'entrée traités par le modèle hébergé sur ce point d'extrémité |
| Nombre d'erreurs de service | Nombre d'appels avec une erreur interne de service |
| Nombre d'erreurs de client | Nombre d'appels avec une erreur côté client |
| Nombre total d'entrées | Nombre de jetons d'entrée traités par le modèle hébergé sur ce point d'extrémité |
| Nombre total de sorties | Nombre de jetons de sortie traités par le modèle hébergé sur ce point d'extrémité |
| Taux de réussite des appels | Appels réussis divisés par le nombre total d'appels |
Vous pouvez obtenir les mesures précédentes à partir de la page de détails d'un point d'extrémité.
Mesures pour les interrogations personnalisées
Vous pouvez créer des interrogations et des alarmes personnalisées pour la grappe du service d'intelligence artificielle générative et les mesures de point d'extrémité au moyen du service de surveillance.
Cette section répertorie les paramètres que vous pouvez utiliser pour créer des interrogations personnalisées pour les mesures du service d'intelligence artificielle générative à l'aide du service de surveillance.
| Paramètre de mesure | Nom d'affichage | Description |
|---|---|---|
ClientErrorCount |
Nombre d'erreurs de client | Nombre d'appels avec une erreur côté client |
InputTokenCount |
Nombre total d'entrées | Nombre de jetons d'entrée traités par les modèles hébergés sur cette ressource |
InvocationLatency |
Temps de traitement total | Temps de traitement total d'un appel pour cette ressource |
OutputTokenCount |
Nombre total de sorties | Nombre de jetons de sortie traités par les modèles hébergés sur cette ressource |
ServerErrorCount |
Nombre d'erreurs de service | Nombre d'appels avec une erreur interne de service |
TotalInvocationCount |
Nombre d'appels | Nombre d'appels |
Pour savoir comment créer ces interrogations personnalisées, voir Création d'une interrogation pour les mesures du service d'intelligence artificielle générative.