Workflow pour les modèles personnalisés

La création d'un modèle personnalisé implique généralement cinq étapes.

Remarque

Après avoir évalué le modèle à l'étape 3, répétez les étapes 1 à 3 jusqu'à ce que vous disposiez de mesures satisfaisantes, puis déployez le modèle.

Préparer un jeu de données d'entraînement

Pour entraîner un modèle personnalisé, vous fournissez des données étiquetées. Reportez-vous à A propos de Data Labeling.

Par exemple, pour créer un modèle de classification de texte, vous donnez au modèle de nombreux exemples d'enregistrements de texte et vous les étiquetez avec la classe à laquelle ils appartiennent. Le modèle apprend les caractéristiques des enregistrements étiquetés. Ensuite, le modèle entraîné peut inférer la classe pour de nouveaux enregistrements.

Les données d'entraînement doivent être étiquetées. Par exemple, pour créer un modèle de classification de texte, vous donnez au modèle des exemples représentatifs d'enregistrements de texte avec un libellé pour chaque enregistrement. Ces exemples permettent au modèle d'apprendre et de prédire des exemples qui ne sont pas vus par un modèle. Pour étiqueter les données, nous vous recommandons d'utiliser l'interface de ligne de commande OCI pour le service Data Labeling.

Recommandations de jeu de données pour les modèles personnalisés

Suivez les instructions du tableau suivant pour préparer les ensembles de données de formation. Si vous ne disposez pas de jeux de données pour la validation et le test, 60 % des éléments sont utilisés pour la formation, 20 % pour la validation et 20 % pour le test.

Si vous ne fournissez pas de jeu de données de validation ou de test, 20 % des échantillons sont choisis au hasard par le service.


	Jeu de formation	Jeu de validation	Jeu de tests
Reconnaissance d'entité nommée personnalisée	Minimum : 10 instances par entité. Recommandé : 50 instances par entité.	Minimum : 5 instances par entité ou 20 % des instances d'entraînement, selon la valeur la plus élevée. Recommandé : 20 instances par entité.	Minimum : 5 instances par entité ou 20 % des instances d'entraînement, selon la valeur la plus élevée. Recommandé : 20 instances par entité.
Classification de texte personnalisé	Minimum : 10 documents par classe. Recommandé — 100 documents par classe.	Recommandé — 20 documents par classe.	Recommandé — 20 documents par classe.

Conseil

Nommez correctement les exemples d'entraînement. La qualité du modèle dépend de la qualité des données. Lorsque vous entraînez un modèle, si un type de classe ou d'entité ne fonctionne pas comme prévu, ajoutez d'autres exemples pour cette classe ou entité. Assurez-vous également que l'entité est annotée à chaque occurrence du jeu d'entraînement. Les données de formation de faible qualité donnent des indicateurs de formation médiocres et donnent des résultats inexacts.
Avoir suffisamment d'échantillons d'entraînement pour les modèles. Plus de données est toujours préférable pour améliorer les performances du modèle. Nous vous recommandons d'entraîner le modèle avec un petit ensemble de données, de vérifier les mesures d'entraînement du modèle et d'ajouter d'autres échantillons d'entraînement si nécessaire.

Entraînement d'un modèle

L'entraînement est le processus dans lequel le modèle apprend à partir des données étiquetées. La durée et les résultats de la formation dépendent de la taille de l'ensemble de données, de la taille de chaque enregistrement et du nombre d'emplois de formation actifs.

Evaluer le modèle

Une fois qu'un modèle est entraîné, vous pouvez obtenir des mesures d'évaluation qui décrivent la qualité du modèle ou la probabilité que le modèle effectue une prévision correcte. Le service applique le modèle au jeu de tests et compare les étiquettes prévues aux étiquettes attendues. Les mesures sont basées sur la précision avec laquelle le modèle prédit l'ensemble de tests.

A l'aide de la console, vous obtenez un ensemble de mesures d'évaluation au niveau du modèle et au niveau de la classe (ou au niveau de l'entité pour les modèles NER) répertoriées dans la section suivante.

A l'aide de la console, vous obtenez les types de mesure d'évaluation suivants :

Mesures au niveau de la classe
Mesures au niveau du modèle
Mesures au niveau entité pour les modèles NER
Matrice de confusion

A l'aide de l'API, vous pouvez obtenir un ensemble plus complet de mesures, y compris les rappels de précision micro, macro et moyenne pondérée, et les scores F-1.

Mesures de classe

Les mesures de classe sont des mesures de niveau entité.

précision

Rapport entre les vrais positifs (les exemples correctement prédits) et tous les exemples de la classe particulière.

Il décrit le nombre d'exemples prévus qui sont correctement prédits. La valeur est comprise entre 0 et 1. Les valeurs plus élevées sont meilleures.

Rappeler

Rapport entre les vrais positifs (les exemples correctement prédits) et tous les exemples prédits.

Il décrit le nombre d'exemples corrects prévus. La valeur est comprise entre 0 et 1. Les valeurs plus élevées sont meilleures.

Score F1

Le score F1 est la moyenne harmonique de précision et de rappel, vous donnant une valeur unique pour évaluer le modèle. La valeur est comprise entre 0 et 1. Les valeurs plus élevées sont meilleures.

Mesures de modèle

Les mesures de modèle sont des mesures de niveau modèle pour les modèles à plusieurs classes. Les mesures au niveau du modèle décrivent la qualité globale d'un modèle. Les valeurs de précision, de rappel et de F-1 sont présentées au niveau macro, micro et moyen pondéré.

Moyennes macro

Une moyenne de macro est la moyenne des valeurs de mesure de toutes les classes.

Par exemple, la macro-précision est calculée comme la somme de toutes les valeurs de précision de classe divisée par le nombre de classes.

Micro-moyennes

Une micro-moyenne regroupe les contributions de tous les exemples pour calculer la mesure moyenne.

Par example, un micro rappel est calculé comme (somme des exemples corrects prédits) / (somme des exemples corrects prédits + somme des exemples corrects non prédits).

Moyennes pondérées

Calculé en tenant compte du nombre d'instances de chaque classe.

Par exemple, un score F1 pondéré est calculé comme la somme de (F1-score de la classe * proportion de prise en charge de la classe).

Exactitude

Une fraction de tous les exemples correctement prédits et non prédits. La fraction est calculée comme le rapport entre les classes correctement prédites et non prédites (vrai positif + vrai négatif) et tous les exemples

Matrice de confusion: Table permettant de visualiser les résultats True et Prediction de chaque classe.

Déployer le modèle

Une fois que les métriques du modèle répondent aux attentes, vous pouvez mettre le modèle en production et l'utiliser pour analyser le texte. Pour mettre le modèle en production, vous créez une adresse. Une adresse affecte des ressources de calcul dédiées pour l'inférence (exécution d'une analyse de texte) sur des modèles personnalisés.

Les adresses de modèle personnalisé sont privées et vous devez indiquer un compartiment pour le déploiement de l'adresse. Vous pouvez créer plusieurs adresses pour un modèle. Vous pouvez créer ou supprimer des adresses sans supprimer de modèle.

Analyse de texte

Une fois que vous avez créé une adresse de modèle, vous pouvez déployer le modèle et analyser le texte à l'aide d'un modèle personnalisé. Vous pouvez déployer un modèle vers une adresse de l'une des manières suivantes :