Nous vous recommandons de réserver 20 % de votre corpus au test d'intention et d'utiliser les 80 % restants pour entraîner vos intentions. Maintenez ces deux ensembles séparés afin que les variations de test, que vous incorporez dans les cas de test, restent "inconnues" pour votre brique.

Appliquez la répartition 80/20 à l'ensemble de données de chaque intention. Rangez les variations dans un ordre aléatoire avant d'effectuer le fractionnement afin de permettre aux modèles d'entraînement d'affecter la même pondération aux termes et aux modèles des variations.

Le testeur de variations permet d'accéder à la capacité cognitive de votre brique. En saisissant des expressions qui ne font pas partie du corpus d'entraînement, vous pouvez déterminer la qualité de vos intentions en consultant le classement du niveau de confiance des intentions et l'objet JSON renvoyé. Ce classement, qui donne une estimation du candidat le plus à même de résoudre la saisie utilisateur, illustre la précision du corpus d'entraînement en cours.

Description de l'image variation-tester-quick-test.png

A l'aide du testeur de variations, vous pouvez effectuer des tests rapides pour des tests ponctuels, ou intégrer une variation en tant que cas de test pour évaluer la résolution d'intention entre les différentes versions des modèles d'entraînement.

1. Cliquez sur Tester les variations (à gauche).
2. Si votre brique prend en charge plusieurs langues natives, choisissez la langue de test. Si vous activez cette option, la variation est ajoutée à la version de langue correspondante du corpus. La langue principale de la brique est sélectionnée par défaut.
3. Entrez une chaîne de texte.
4. Cliquez sur Tester, puis examinez le classement et les entités détectées dans la variation (le cas échéant).
5. Examinez les scores de confiance des intentions. (La barre de progression de chaque intention répertoriée est verte si elle atteint ou dépasse le niveau de confiance, ou rouge si elle est en dessous).
   Si le candidat principal de la brique n'est pas celui auquel vous vous attendiez, vous devrez peut-être réentraîner les intentions après avoir effectué l'une des actions suivantes ou les deux :

   • Mettez à jour le corpus du meilleur candidat avec le texte d'entrée que vous venez de saisir en sélectionnant l'intention appropriée et en cliquant sur Ajouter à l'intention.

     Attention :

     Pensez à l'impact de l'ajout d'une nouvelle expression de test sur les données d'entraînement. L'ajout d'une expression de test peut modifier le classement des variations similaires après le réentraînement. En outre, l'ajout d'une expression de test invalide le test, car l'incorporation d'une expression de test dans l'ensemble d'entraînement garantit le succès du test. Au lieu d'ajouter une expression de test aux données d'entraînement, vous devez l'enregistrer en tant que cas de test.

   • Sur la page Intentions, vous pouvez modifier une variation en cliquant sur Modifier () ou l'enlever. Par exemple, une intention de FAQ peut arriver en tête de classement en raison de la portée et de la formulation des variations qui la composent. Si vous ne voulez pas que vos utilisateurs obtiennent une foire aux questions chaque fois qu'ils posent des questions fréquentes, vous devrez réviser le corpus.

   Vous devez réentraîner une intention chaque fois que vous ajoutez, modifiez ou supprimez une variation. La mention Entraînement nécessaire apparaît chaque fois que vous apportez une modification aux données d'entraînement.

6. Si vos intentions ne sont pas résolues comme prévu, vous pouvez développer la fenêtre JSON pour examiner les intentions mises en correspondance, les scores et les entités détectées dans l'objet JSON renvoyé.
7. Cliquez sur Réinitialiser.

Chaque test comporte une variation et l'intention vers laquelle il est censé se résoudre, ce qui est connu sous le nom de correspondance de libellé. Un cas de test peut également inclure des valeurs d'entité correspondantes et la langue attendue pour la variation. Vous pouvez exécuter des cas de test lorsque vous développez une brique et, plus tard, lorsque la brique est en production, vous pouvez utiliser les cas de test pour les tests de régression. Dans ce dernier cas, vous pouvez exécuter des cas de test pour déterminer si une nouvelle version du modèle d'entraînement a dégradé la résolution d'intention.

A l'instar des cas de test que vous créez avec le testeur de conversation, les cas de test de variation font partie de la brique et sont conservés à chaque nouvelle version. Si vous étendez une brique, l'extension hérite des cas de test. Alors que les cas de test de conversation sont destinés à tester un scénario, les cas de test de variation sont destinés à tester des fragments de conversation indépendamment, en veillant à ce que chaque variation soit résolue en intention correcte.

Pour savoir à quel point votre expression de test est similaire aux variations du corpus d'entraînement, cliquez sur Afficher les variations similaires. Cet outil vous fournit une perspective supplémentaire sur les données d'entraînement de la brique en vous montrant à quel point ses variations sont similaires à l'expression de test et, par extension, à quel point les variations sont similaires entre elles entre les intentions. A l'aide de cet outil, vous pouvez déterminer si la similitude de l'expression de test avec les variations appartenant à d'autres intentions est la raison pour laquelle l'expression de test ne se résout pas comme prévu. Il peut même indiquer où les données d'entraînement appartiennent à la mauvaise intention, car si elles sont similaires à l'expression de test.

Description de l'illustration similar-utterance-report-all-intents.png

La liste générée par cet outil classe 20 variations (avec leurs intentions associées) les plus proches de l'expression de test. Idéalement, la variation de premier rang de cette liste - celle qui ressemble le plus à l'expression de test - appartient à l'intention ciblée pour l'expression de test. Si la variation la plus proche qui appartient à l'intention attendue est plus faible, une révision de la liste peut fournir quelques conseils sur la raison. Par exemple, si vous testez une variation d'intention Transactions, combien d'argent ai-je transféré hier ?, vous pouvez vous attendre à ce que la variation de premier rang appartienne également à une intention Transactions. Toutefois, si cette variation de test est résolue en intention incorrecte ou en dessous du niveau de confiance, la liste peut révéler qu'elle a plus de points communs avec les variations hautement classées avec des termes similaires qui appartiennent à d'autres intentions. Par exemple, l'intention Soldes Combien d'argent ai-je dans tous mes comptes ? peut être plus proche de la variation de test que la variation de rang inférieur de l'intention Transactions Combien ai-je déposé en avril ?.

Vous pouvez accéder à la liste, qui est générée pour les briques entraînées sur Trainer Tm, en cliquant sur Afficher les variations similaires dans le testeur de variations ou dans le rapport Cas de test.

Description de l'image similar-utterances-tester.png

Remarque

Vous ne pouvez utiliser cet outil que pour les briques formées à l'entraîneur Tm (il n'est pas disponible pour les briques formées à l'entraîneur Ht).