Nous vous recommandons de réserver 20 % de votre corpus au test d'intention et d'utiliser les 80 % restants pour entraîner vos intentions. Maintenez ces deux ensembles séparés afin que les variations de test, que vous incorporez dans les cas de test, restent "inconnues" pour votre brique.

Appliquez la répartition 80/20 à l'ensemble de données de chaque intention. Rangez les variations dans un ordre aléatoire avant d'effectuer le fractionnement afin de permettre aux modèles d'entraînement d'affecter la même pondération aux termes et aux modèles des variations.

Le testeur de variations sert d'écran à la capacité cognitive de votre brique. En saisissant des expressions qui ne font pas partie du corpus d'entraînement, vous pouvez déterminer la qualité de vos intentions en consultant le classement du niveau de confiance des intentions et l'objet JSON renvoyé. Ce classement, qui donne une estimation du candidat le plus à même de résoudre la saisie utilisateur, illustre la précision du corpus d'entraînement en cours.

Description de l'image variation-tester-quick-test.png

A l'aide du testeur de variations, vous pouvez effectuer des tests rapides pour des tests ponctuels à la Volée, ou incorporer une variation en tant qu'exemple de test afin de jauger l'intention de résolution entre les différentes versions des modèles d'entraînement.

1. Cliquez sur Tester les variations (à gauche).
2. Si votre brique prend en charge plusieurs langues natives, choisissez la langue de test. Si vous activez cette option, la variation est ajoutée à La version de langue correspondante du corpus. La langue principale de la brique est sélectionnée par défaut.
3. Entrez une chaîne de texte.
4. Cliquez sur Tester, puis examinez le classement et les entités détectées dans la variation (le cas échéant).
5. Examinez les scores de confiance des intentions. (La barre de progression de chaque intention répertoriée est verte si elle atteint ou dépasse le niveau de confiance, ou rouge si elle est en dessous).
   Si le candidat principal de la brique n'est pas celui auquel vous vous attendiez, vous devrez peut-être réentraîner les intentions après avoir effectué l'une des actions suivantes ou les deux :

   • Mettez à jour le corpus du meilleur candidat avec le texte d'entrée que vous venez de saisir en sélectionnant l'intention appropriée et en cliquant sur Ajouter à l'intention.

     Attention :

     Envisagez l'impact de l'ajout d'une nouvelle expression de test sur les données d'entraînement. L'ajout d'une expression de test peut modifier le classement des variations similaires après le réentraînement. En outre, l'ajout d'une expression de test invalide le test, car l'incorporation d'une expression de test dans l'ensemble d'entraînement garantit le succès du test. Au lieu d'ajouter une phrase de test aux données d'entraînement, vous devez l'enregistrer en tant que cas de contrôle.

   • Sur la page Intentions, vous pouvez modifier une variation en cliquant sur Modifier () ou l'enlever. Par exemple, une intention de FAQ peut arriver en tête de classement en raison de la portée et de la formulation des variations qui la composent. Si vous ne voulez pas que vos utilisateurs obtiennent une foire aux questions chaque fois qu'ils posent des questions fréquentes, vous devrez réviser le corpus.

   Vous devez réentraîner une intention chaque fois que vous ajoutez, modifiez ou supprimez une variation. La mention Entraînement nécessaire apparaît chaque fois que vous apportez une modification aux données d'entraînement.

6. Si vos intentions ne sont pas résolues comme prévu, vous pouvez développer la fenêtre JSON pour examiner les intentions mises en correspondance, les scores et les entités détectées dans l'objet JSON renvoyé.
7. Cliquez sur Réinitialiser.

Chaque test a une variation et l'intention qu'il est censé résoudre, ce qui est connu comme une correspondance de libellé. Un cas de test peut également inclure des valeurs d'entité correspondantes et la langue attendue pour la variation. Vous pouvez exécuter des cas de test lorsque vous développez une brique et plus tard, lorsque la brique est en production, vous pouvez utiliser les cas de test pour les tests de régression. Dans ce dernier cas, vous pouvez exécuter des cas de test pour déterminer si une nouvelle version du modèle d'entraînement a dégradé la résolution d'intention.

A l'instar des cas de test que vous créez avec le testeur de conversation, les cas de test de variation font partie de la brique et sont conservés à chaque nouvelle version. Si vous étendez une brique, l'extension hérite des cas de test. Alors que les cas de test de conversation sont destinés à tester un scénario, les cas de test de variation sont destinés à tester des fragments de conversation indépendamment, en veillant à ce que chaque variation soit résolue en intention correcte.

Pour découvrir à quel point votre expression de test est similaire aux variations du corpus d'entraînement, cliquez sur Afficher les variations similaires. Cet outil fournit une perspective supplémentaire sur les données d'entraînement de la brique en vous montrant à quel point ses variations sont similaires à l'expression de test et, par extension, à quel point les variations sont similaires les unes aux autres sur les intentions. Cet outil vous permet de déterminer si la similarité de l'expression de test avec les variations appartenant à d'autres intentions est la raison pour laquelle l'expression de test ne se résout pas comme prévu. Il peut même indiquer où les données d'entraînement appartiennent à la mauvaise intention car elles sont similaires à l'expression de test.

Description de l'illustration similar-utterance-report-all-intents.png

La liste générée par cet outil classe les 20 variations (ainsi que les intentions associées) les plus proches de l'expression de test. Idéalement, la variation de premier rang de cette liste – celle qui ressemble le plus à la phrase de test – appartient à l'intention ciblée pour la phrase de test. Si la variation la plus proche qui appartient à l'intention attendue est plus bas, un examen de la liste peut fournir quelques conseils sur la raison. Par exemple, si vous testez une variation d'intention Transactions, combien d'argent ai-je transféré hier ?, vous devez vous attendre à ce que la variation de premier rang appartienne également à une intention Transactions. Toutefois, si cette variation de test est résolue en intention erronée ou en dessous du niveau de confiance, la liste peut révéler qu'elle a plus en commun avec les variations hautement classées avec un libellé similaire appartenant à d'autres intentions. Par exemple, la variation de test de l'intention Soldes Combien d'argent ai-je sur tous mes comptes ? peut être plus proche de la variation de test que la variation de rang inférieur de l'intention Transactions Combien ai-je déposé en avril ?.

Vous pouvez accéder à la liste, qui est générée pour les briques formées sur le entraîneur Tm, en cliquant sur Afficher les variations similaires dans le testeur de variations ou à partir du rapport Cas de test.

Description de l'image similar-utterances-tester.png

Remarque

Vous ne pouvez utiliser cet outil que pour les compétences formées sur l'entraîneur Tm (il n'est pas disponible pour les compétences formées avec Ht).