Documentation Oracle Cloud Infrastructure

Evaluations

Evaluation des performances du modèle à l'aide d'actions rapides d'IA

Avec les modèles déployés, vous pouvez créer une évaluation de modèle pour évaluer ses performances. Vous pouvez sélectionner un ensemble de données dans Object Storage ou en télécharger un à partir du stockage du bloc-notes dans lequel vous travaillez. Pour télécharger des ensembles de données à partir de votre bloc-notes, vous devez d'abord configurer des stratégies qui permettent à la session de bloc-notes d'écrire des fichiers dans Object Storage. Vous pouvez étiqueter votre évaluation de modèle avec un nom d'expérience. Vous pouvez sélectionner une expérience existante ou en créer une nouvelle. BERTScore, BLEU Score, Perplexity Score, Text Readability et ROUGE sont les métriques d'évaluation disponibles pour mesurer les performances du modèle. Vous pouvez enregistrer le résultat de l'évaluation du modèle dans Object Storage. Vous pouvez définir les paramètres d'évaluation du modèle. Sous Options avancées, vous pouvez sélectionner la forme de l'instance de calcul pour l'évaluation et éventuellement entrer la séquence d'arrêt. En outre, vous pouvez configurer la journalisation avec votre évaluation de modèle pour la surveiller. La journalisation est facultative, mais nous vous recommandons de l'aider à résoudre les erreurs d'évaluation. Vous devez disposer de la stratégie nécessaire pour activer la journalisation. Pour plus d'informations sur la journalisation, reportez-vous à la section Journaux. Vous pouvez vérifier les configurations et les paramètres de votre évaluation avant de la créer.

Si vous revenez à l'onglet Evaluation, l'état du cycle de vie de l'évaluation est Succeeded lorsque l'évaluation du modèle est terminée. Vous pouvez consulter le résultat de l'évaluation et télécharger une copie du rapport d'évaluation du modèle sur votre ordinateur local.

Pour plus d'informations et des conseils sur les évaluations, reportez-vous à Evaluation sur GitHub.
Remarque

Les évaluations ne peuvent pas être exécutées sur des formes basées sur ARM.
    1. Sous Actions rapides IA, cliquez sur Evaluations.
      La page Evaluations apparaît.
    2. Sélectionnez Créer des évaluations.
    3. Saisissez le nom de l'évaluation.
    4. Sélectionnez le nom du déploiement de modèle.
    5. (Facultatif) Entrez une description de l'évaluation.
    6. Pour spécifier un ensemble de données, sélectionnez Choisir un ensemble de données existant ou Télécharger un ensemble de données à partir du stockage de bloc-notes.
    7. (Facultatif) Si vous avez sélectionné Choisir un ensemble de données existant à l'étape 6, sélectionnez le compartiment.
    8. (Facultatif) Si vous avez sélectionné Choisir un ensemble de données existant à l'étape 6, sélectionnez l'emplacement Object Storage de l'ensemble de données.
    9. (Facultatif) Si vous avez sélectionné Choisir un ensemble de données existant à l'étape 6, indiquez le chemin Object Storage.
    10. Pour spécifier une expérience, sélectionnez Choisir une expérience existante ou Créer une expérience. Vous utiliserez des expériences pour regrouper des modèles similaires en vue de les évaluer.
    11. Facultatif : si vous avez sélectionné Choisir une expérience existante, sélectionnez l'expérience.
    12. Facultatif : si vous avez sélectionné Créer une expérience :
      1. Saisissez le nom de l'expérience.
      2. Facultatif : Donnez une description à l'expérience.
    13. Indiquez le bucket Object Storage dans lequel stocker les résultats.
      1. Sélectionner le compartiment.
      2. Sélectionnez l'emplacement Object Storage.
      3. Facultatif : indiquez le chemin Object Storage.
    14. Sélectionnez Suivant.
    15. (Facultatif) Sous Paramètres, mettez à jour les paramètres d'évaluation du modèle à partir des valeurs par défaut.
    16. Sélectionnez l'option Afficher les options avancées.
    17. Indiquez la forme de l'instance et la séquence d'arrêt à utiliser.
    18. (Facultatif) Sous Journalisation, indiquez le groupe de journaux et le journal à utiliser.
    19. Sélectionnez Suivant.
      La page d'évaluation s'affiche pour l'évaluation que vous voulez créer.
    20. Sélectionnez Soumettre pour lancer l'évaluation.
    21. Lorsque l'évaluation est terminée et que l'état de cycle de vie est défini sur Succès, sélectionnez la flèche en regard de l'évaluation.
      Les mesures d'évaluation et les paramètres de modèle sont affichés. Sélectionnez Télécharger pour télécharger le rapport au format HTML.

  • Pour obtenir la liste complète des paramètres et des valeurs des commandes de l'interface de ligne de commande des actions rapides AI, reportez-vous à Interface de ligne de commande des actions rapides AI.

  • Cette tâche ne peut pas être effectuée à l'aide de l'API.