Nous vous recommandons de mettre de côté 20 % du corpus pour tester les intentions et d'utiliser les 80 % restants pour les entraîner. Gardez ces deux jeux séparés afin que les énoncés de test, que vous intégrez dans les scénarios, restent "inconnus" pour votre compétence.

Appliquez le fractionnement 80/20 au jeu de données de chaque intention. Répartissez les énoncés de manière aléatoire avant le fractionnement pour permettre aux modèles d'entraînement de pondérer équitablement les termes et schémas des énoncés.

Le testeur d'énoncé vous permet d'accéder à la cognition de votre compétence. En entrant des expressions qui ne font pas partie du corpus d'entraînement, vous pouvez déterminer si vos intentions sont bien conçues en examinant le classement de confiance d'intention et l'objet JSON retourné. Ce classement, qui est une évaluation par la compétence du meilleur candidat pour la résolution de l'entrée utilisateur, montre la qualité de la connaissance au moment présent.

Description de l'illustration énoncé-tester-quick-test.png

À l'aide du testeur d'énoncé, vous pouvez effectuer des tests rapides pour des tests uniques, ou vous pouvez inclure un énoncé comme scénario de test pour évaluer la résolution de l'intention dans différentes versions de modèles d'entraînement.

1. Cliquez sur Test Utterances (Utterances de test) (sur le côté gauche).
2. Si votre compétence prend en charge plusieurs langues de manière native, sélectionnez la langue de test. Le choix de cette option garantit que l'énoncé sera ajouté à la version linguistique correspondante du corpus. La langue principale de la compétence est sélectionnée par défaut.
3. Entrez une chaîne de texte.
4. Cliquez sur Test, puis examinez le classement et les entités détectées dans l'énoncé (le cas échéant).
5. Vérifiez les notes de confiance des intentions. (La barre de progression d'une intention répertoriée est verte si le niveau de confiance est atteint ou dépassé, et rouge si le niveau de confiance n'est pas atteint).
   Si la première intention candidate de la compétence n'est pas celle que vous attendiez, il vous faudra sans doute recommencer l'entraînement après avoir effectué l'une des actions suivantes ou les deux :

   • Mettez à jour le corpus du meilleur candidat avec le texte d'entrée que vous venez d'utiliser. Sélectionnez l'intention appropriée, puis cliquez sur Add to Intent (Ajouter à l'intention).

     Attention :

     Considérez comment l'ajout d'une nouvelle expression de test peut affecter les données d'entraînement. L'ajout d'une expression de test peut modifier la façon dont les énoncés qui lui ressemblent sont classifiés après le réentraînement. En outre, l'ajout d'une expression de test invalide le test car cette intégration au jeu d'entraînement garantit le succès du test. Au lieu d'ajouter une expression de test aux données d'entraînement, enregistrez-la comme scénario de test.

   • Dans la page Intents (Intentions), vous pouvez modifier un énoncé Edit (Modifier) () ou le supprimer. Une intention FAQ, par exemple, peut être classée parmi les premières en raison de la portée et du choix des mots des énoncés qui la composent. Si vous ne voulez pas que vos utilisateurs obtiennent une FAQ chaque fois qu'ils posent des questions typiques, vous devez réviser le corpus.

   Vous devez entraîner de nouveau une intention lorsque vous ajoutez, modifiez ou supprimez un énoncé. Le message Training Needed (Entraînement requis) s'affiche chaque fois que vous modifiez les données d'entraînement.

6. Si vos intentions ne sont pas résolues comme vous les souhaitez, vous pouvez développer la fenêtre JSON pour consulter les intentions, les notes et les entités détectées mises en correspondance dans l'objet JSON retourné.
7. Cliquez sur Reset (Réinitialiser).

Chaque test comporte un énoncé et l'intention vers laquelle il est censé être résolu, ce qui est appelé correspondance d'étiquette. Un scénario de test peut également inclure des valeurs d'entité correspondantes et la langue attendue pour l'énoncé. Vous pouvez exécuter des scénarios de test lorsque vous développez une compétence et, plus tard, lorsque la compétence est en production, vous pouvez utiliser les scénarios de test pour les tests de régression. Dans ce dernier cas, vous pouvez exécuter des scénarios de test pour savoir si une nouvelle version du modèle d'entraînement a eu une incidence négative sur la résolution d'intention.

Comme les scénarios de test que vous créez avec le testeur de conversation, les scénarios de test d'énoncé font partie de la compétence et sont conservés avec chaque version. Si vous étendez une compétence, l'extension hérite des scénarios de test. Alors que les scénarios de test de conversation sont destinés à tester un scénario, les tests d'énoncé sont destinés à tester des fragments de conversation indépendamment, en veillant à ce que chaque énoncé soit résolu en une intention appropriée.

Vous pouvez déterminer la similarité de votre expression de test avec les énoncés du corpus d'entraînement en cliquant sur View Similar Utterances (Voir les énoncés similaires). Cet outil vous fournit une perspective supplémentaire sur les données d'entraînement de la compétence en vous montrant à quel point ses énoncés sont similaires à l'expression de test et, par extension, à quel point les énoncés sont similaires les uns aux autres entre les intentions. À l'aide de cet outil, vous pouvez déterminer si la similarité de l'expression de test avec les énoncés appartenant à d'autres intentions est la raison pour laquelle l'expression de test ne se résout pas comme prévu. Il peut même indiquer où les données d'entraînement appartiennent à la mauvaise intention, car si elles sont similaires à l'expression de test.

Description de l'illustration similar-utterance-report-all-intents.png

La liste générée par cet outil classe 20 énoncés (ainsi que leurs intentions associées) les plus proches de la phrase de test. Idéalement, l'énoncé de premier rang de cette liste - celui qui ressemble le plus à la phrase de test - appartient à l'intention ciblée pour la phrase de test. Si l'énoncé le plus proche appartenant à l'intention attendue est plus bas, une révision de la liste peut fournir quelques conseils sur la raison. Par exemple, si vous testez un énoncé d'intention Transactions, Combien d'argent ai-je transféré hier?, vous prévoyez que l'énoncé de niveau supérieur appartient également à une intention Transactions. Toutefois, si cet énoncé de test se résout à la mauvaise intention ou se résout en dessous du niveau de confiance, la liste peut révéler qu'il a plus en commun avec des énoncés hautement classés avec une formulation similaire appartenant à d'autres intentions. L'énoncé Combien d'argent ai-je dans tous mes comptes? de l'intention Soldes, par exemple, peut être plus proche de l'énoncé de test que l'énoncé Combien ai-je déposé en avril? de l'intention Transactions.

Vous pouvez accéder à la liste, qui est générée pour les compétences entraînées sur Trainer Tm, en cliquant sur View Similar Utterances (Voir les énoncés similaires) dans le testeur d'énoncé ou dans le rapport Test Cases (Cas de test).

Description de l'illustration similar-utterances-tester.png

Note

Vous ne pouvez utiliser cet outil que pour les compétences entraînées sur Trainer Tm (il n'est pas disponible pour les compétences entraînées avec Ht).