Détails des mesures dans l'intelligence artificielle générative
Vous pouvez surveiller les ressources d'IA générative OCI au moyen des mesures fournies dans ce service. Vous pouvez également utiliser le service de surveillance pour OCI pour créer des interrogations et des alarmes personnalisées pour vous aviser lorsque ces mesures répondent à des déclencheurs spécifiés par une alarme.
Hébergement - Mesures de grappe dédiée à l'IA
Cette section répertorie les mesures pour l'hébergement des grappes d'intelligence artificielle dédiées. Les grappes dédiées au réglage fin n'affichent pas de mesures.
| Nom d'affichage de la mesure | Description |
|---|---|
| Utilisation | Capacité disponible pour une grappe d'IA dédiée affichée en pourcentage sur une période |
| Nombre total d'entrées | Nombre de jetons d'entrée que les modèles de cette grappe d'IA dédiée d'hébergement ont traités |
| Nombre total de sorties | Nombre de jetons de sortie que les modèles de cette grappe d'IA dédiée d'hébergement ont traités |
Vous pouvez obtenir les mesures précédentes à partir de la page de détails d'une grappe dédiée à l'IA hôte.
Mesures liées aux points d'extrémité
Cette section répertorie les mesures pour les points d'extrémité de modèle dans l'IA générative.
| Nom d'affichage de la mesure | Description |
|---|---|
| Temps total de traitement | Temps total de traitement d'un appel |
| Nombre d'appels | Nombre de jetons d'entrée que le modèle hébergé sur ce point d'extrémité a traités |
| Nombre d'erreurs de service | Nombre d'appels avec une erreur interne de service |
| Nombre d'erreurs de client | Nombre d'appels avec une erreur côté client |
| Nombre total d'entrées | Nombre de jetons d'entrée que le modèle hébergé sur ce point d'extrémité a traités |
| Nombre total de sorties | Nombre de jetons de sortie que le modèle hébergé sur ce point d'extrémité a traités |
| Taux de réussite des appels | Appels réussis divisés par le nombre total d'appels |
Vous pouvez obtenir les mesures précédentes à partir de la page de détails d'un point d'extrémité.
Mesures pour les interrogations personnalisées
Vous pouvez créer des interrogations et des alarmes personnalisées pour la grappe d'IA générative et les mesures de point d'extrémité au moyen du service de surveillance.
Cette section répertorie les paramètres que vous pouvez utiliser pour créer des interrogations personnalisées pour des mesures d'intelligence artificielle générative à l'aide du service de surveillance.
| Paramètre de mesure | Nom d'affichage | Description |
|---|---|---|
ClientErrorCount |
Nombre d'erreurs de client | Nombre d'appels avec une erreur côté client |
InputTokenCount |
Nombre total d'entrées | Nombre de jetons d'entrée que les modèles hébergés sur cette ressource ont traités |
InvocationLatency |
Temps total de traitement | Temps total de traitement d'un appel pour cette ressource |
OutputTokenCount |
Nombre total de sorties | Nombre de jetons de sortie que les modèles hébergés sur cette ressource ont traités |
ServerErrorCount |
Nombre d'erreurs de service | Nombre d'appels avec une erreur interne de service |
TotalInvocationCount |
Nombre d'appels | Nombre d'appels |
Pour savoir comment créer ces interrogations personnalisées, voir Création d'une interrogation pour les mesures du service d'intelligence artificielle générative.