Test d'un modèle
Voici quelques bonnes pratiques pour tester votre modèle pour la compréhension du langage naturel.
Vous devrez tester la compréhension de votre modèle pour chaque brique, puis pour l'assistant numérique dans son ensemble. Un modèle bien formé dans une brique qui comprend comment mettre correctement en correspondance des messages dans le domaine avec une intention et qui ne répond pas aux messages non dans le domaine est un pilier important d'un assistant numérique bien formé.
Oracle Digital Assistant fournit un testeur de variations dans ses briques qui vous permettent d'effectuer des tests manuels et par lots de la résolution des intentions par le modèle à partir des messages utilisateur. Pour le test en batch, c'est là que vous utilisez les 20 % des variations que vous avez définies pour une intention, mais que vous avez retenu pour le test.
En général, vous devez tester vos modèles souvent et tôt, mais pas avant d'avoir suffisamment de bonnes variations pour les intentions de la brique. L'objectif de vos tests est que le modèle acquière un niveau élevé de confiance dans la résolution des intentions.
Créer une ligne de base
Une fois le développement terminé, vous devez exécuter des tests et utiliser les résultats pour établir une base du niveau de compréhension du modèle. Vous pouvez utiliser cette référence comme point de comparaison lorsque vous mettez à jour le modèle d'entraînement avec des variations supplémentaires et améliorées, et lorsque vous testez ultérieurement la brique sur des versions mises à jour de la plate-forme Digital Assistant. Pour ces tests et les tests futurs, vous avez besoin d'un modèle entraîné avec un nombre suffisant de variations de qualité.
Effectuer des tests positifs et négatifs
Vous devriez avoir des tests positifs et négatifs :
-
Dans les tests positifs, vous voulez que les variations soient résolues en intention que vous avez désignée. Plus les tests réussissent, mieux le modèle est entraîné.
-
Pour les tests négatifs, vous voulez que les variations ne soient pas résolues. Les tests négatifs vous aident à resserrer les limites de compréhension d'une intention.
Par exemple, pour un test positif, supposons que dans une brique de note de frais, vous testez l'intention "créer une dépense". Toutes les variations d'un test positif contiennent des messages qui doivent être résolus dans cette intention. Ainsi, plus les tests réussissent, mieux le modèle est entraîné.
Les tests négatifs incluent les types de tests suivants :
-
Test de voisin : testez une intention avec les variations que vous avez créées pour tester les autres intentions d'une brique.
-
Test hors domaine : avec ces tests, vous essayez des variations qui, sémantiquement, n'appartiennent pas à l'intention mais utilisent des mots similaires. Par exemple, une note de frais doit comprendre "J'ai acheté un calendrier familial pour le travail" en tant qu'utilisateur demandant de déposer une nouvelle note de frais, mais ne doit pas répondre à "créer une nouvelle entrée dans mon calendrier familial".
-
Test d'expression aléatoire : Essayer des messages aléatoires ne doit pas être résolu en intention que vous testez. Par exemple, "le cookie cutter coupe les cookies" ou "Je suis sur un escalier vers le ciel" ne devrait pas conduire à une correspondance pour l'intention "créer une dépense".
Liste de contrôle pour le test de modèle
- ☑ Testez tôt et souvent.
- ☑ Ne testez pas un modèle sous-jacent.
- ☑ Utilisez des tests positifs et négatifs.
- ☑ Les variations utilisées pour le test doivent être de la même qualité que les variations d'entraînement, mais ne doivent pas être les mêmes que celles utilisées pour l'entraînement.
- ☑ Recherchez des résultats bien au-dessus du seuil de confiance lors du test des variations. (Toutefois, un taux de confiance de 100 % n'est pas un objectif.)
- ☑ Avant de mettre votre brique en production, notez les résultats du test en tant que référence pour les tests futurs que vous exécutez.