Rapports sur la qualité des briques
Les rapports de qualité des briques vous permettent de faire rapidement le point sur les intentions et les variations dans toutes les versions de la brique.
dans la barre de navigation de gauche) tout au long du processus de développement de briques :
- Rapport de présentation : les mesures et les graphiques de ce rapport vous permettent d'évaluer rapidement la taille et la forme de vos données d'entraînement en décomposant chacune des intentions de la brique en fonction du nombre de variations dont elle dispose. Vous pouvez utiliser ce rapport au fur et à mesure que l'ensemble de données augmente tout au long du processus de développement pour vous assurer que le nombre d'intentions, le nombre de variations par intention et le nombre de mots pour chaque variation sont toujours conformes à nos directives.
- Rapport : décompose les intentions en anomalies, variations qui peuvent être inappropriées pour leur intention car elles sont hors de portée ou mal étiquetées, ou qui sont potentiellement applicables mais difficiles à classer car elles sont non personnelles.
Etat d'aperçu de la qualité des compétences
- Votre brique comporte au moins deux intentions, mais n'a pas dépassé le nombre recommandé de 300 intentions.
- Votre entraînement ne dépasse pas 25 000 variations.
- Chaque intention comporte au moins deux variations (avec le minimum recommandé de 12 variations pour fournir un entraînement prévisible).
- La longueur moyenne des variations est comprise entre trois et 30 mots.
Cet état effectue le suivi des intentions qui ont été activées.
Utilisation du rapport d'aperçu
- Vue de haut niveau des données d'entraînement via son graphique à barres et ses mesures de nombre d'intentions par ordre d'importance, qui incluent le nombre total d'intentions et de variations dans toutes les versions de la brique. En utilisant le graphique à barres et les métriques, vous pouvez savoir ce que ces totaux signifient en termes d'équilibre ou de déséquilibre de votre ensemble d'entraînement. Par exemple, le graphique du rapport, ainsi que l'écart entre les totaux de l'intention la plus grande et de l'intention la plus petite, peuvent indiquer un ensemble d'entraînement partiel, dans lequel vous devez ajouter des données pour combler l'écart entre l'intention la plus grande et la plus petite.
Mesure Description et utilisation Intentions Nombre total d'intentions dans toutes les versions de la brique. Utilisez cette mesure pour déterminer si cette brique a dépassé le maximum recommandé de 300 intentions. Variations Nombre total de variations sur toutes les intentions. Utilisez cette mesure pour déterminer la taille réelle de l'ensemble d'entraînement. Intention la plus large Intention avec le plus de variations. Comparez ce total à la mesure Moyenne des variations par intention. Plus petite intention Intention avec le moins de variations. Vous devrez peut-être ajouter des variations si ce total est bien inférieur à Moyenne des variations par intention. Moyenne des variations par intention Nombre moyen de variations sur toutes les intentions. Utilisez cette mesure pour déterminer si vous fournissez suffisamment de données à votre ensemble d'entraînement. Longueur moyenne Longueur de variation dans l'ensemble de l'entraînement. Comparez cette mesure à la mesure de longueur de variation moyenne pour une intention afin de déterminer si le nombre de mots de ses variations a un impact négatif sur le modèle car il est trop élevé ou trop faible. Longueur minimale Variation la plus courte du jeu d'entraînement. Utilisez cette mesure pour déterminer si l'une des variations de l'ensemble d'entraînement contient trop peu de mots (moins de trois), ce qui peut avoir un impact négatif sur les performances du modèle. Longueur maximale Variation la plus longue de l'ensemble d'entraînement. Utilisez cette mesure pour rechercher des variations longues (30 mots ou plus) qui peuvent avoir un impact négatif sur les performances du modèle. Intention de la réponse Nombre d'intentions de réponse dans le jeu d'entraînement. Utilisez cette métrique pour comparer le nombre d'intentions de réponse à des intentions standard (ou transactionnelles). Remarque
Les mesures Longueur minimale, Longueur maximale et Longueur moyenne, ainsi que les avertissements associés, concernent les briques en langue native et non les briques qui utilisent des services de traduction.Le rapport signale les zones problématiques avec des avertissements. Le survol d'un avertissement ouvre un message de diagnostic, qui place la variation ou l'intention problématique dans le contexte de nos instructions d'intention et de variation, et suggère des actions correctives.
Ces messages s'affichent également dans le volet Problèmes d'intentions.Conseil :
Les messages d'avertissement accessibles à partir des mesures fournissent un lien vers la page Intention. - Ventilation de l'ensemble de formation par intention. Le rapport inclut un tableau répertoriant les intentions par langue (pour les briques multilingues), le nombre de variations et la longueur moyenne, minimale et maximale des mots. Pour afficher les trois derniers totaux dans le contexte de l'ensemble d'entraînement global, comparez-les aux mesures Longueur moyenne, Longueur minimale et Longueur maximale.
Comme pour les mesures de haut niveau, le rapport signale les intentions problématiques avec des messages d'avertissement. Un avertissement
dans les problèmes indique que l'intention est déficiente dans certains aspects de la longueur de variation. Cliquez sur l'avertissement correspondant 
dans les colonnes Longueur moyenne de variation, Longueur maximale de variation dans les mots ou Longueur minimale de variation dans les mots pour ouvrir un message de diagnostic. Vous pouvez appliquer l'action corrective suggérée par le message directement à l'intention en cliquant sur le lien dans la colonne Intention. 
Description de l'image intention-issues-table.png
Rapport des anomalies de qualité des compétences
A l'instar du rapport Aperçu, ce rapport décompose les intentions par variation. Cependant, les variations comptabilisées dans ce rapport sont des anomalies, des variations qui peuvent être inappropriées pour leur intention car elles sont hors de portée ou mal étiquetées, ou potentiellement applicables mais uniques. Les anomalies peuvent rendre floues les limites entre les intentions, en particulier si vous avez étendu votre brique pour couvrir de nouveaux domaines ou si vous avez partitionné une intention volumineuse en intentions plus petites.
Comment utiliser le rapport d'anomalies
Ce rapport classe non seulement les intentions par anomalies, mais il les classe également en fonction de leur différence par rapport aux autres variations de l'ensemble d'entraînement.
Description de l'illustration anomalies-intent-breakdown.png
Vous pouvez trier les anomalies dans cette liste à la fois par gravité et par intention. Vous pouvez filtrer les anomalies par intention, par mots ou expressions dans les variations et, pour une brique multilingue, par langue.
Pour savoir où (ou si) une variation appartient à votre jeu d'entraînement, cliquez sur Afficher les variations similaires dans la liste pour l'afficher dans le rapport sur les variations similaires. 
Description de l'illustration anomalies-list.png
Comme l'état Variations similaires utilisé dans le testeur de variations, cet état classe les autres variations du jeu d'entraînement par rapport à la variation sélectionnée. Dans ce cas, cependant, la variation n'est pas une phrase de test, mais une variation anormale qui se trouve déjà dans le jeu d'entraînement. 
Description de l'illustration similar-utterance-report-anomalies.png
En fonction de la relation de l'anomalie avec les autres variations du rapport, vous pouvez constater que la variation est simplement mal classée ou n'est pas pertinente pour la brique. D'autres anomalies, cependant, peuvent seulement être anormales aux autres variations en ce sens qu'il s'agit de demandes implicites – elles posent les mêmes questions que les autres données d'entraînement, mais d'une manière différente. Par exemple, "Je ne peux pas me connecter à mon compte" peut être évalué comme une anomalie pour une intention de transfert d'agent dont les variations d'entraînement se regroupent autour de demandes plus simples telles que "Je dois parler à un agent en direct". L'ajout de variations similaires ajoutera de la profondeur au modèle.
- Exécutez le rapport.
- Sélectionnez une variation, puis cliquez sur Afficher les éléments similaires.
- Dans la boîte de dialogue Afficher les éléments similaires, évaluez la variation par rapport à l'intention.
- Si la variation appartient à l'intention, ajoutez des variations similaires.
- Si la variation est mal classée, affectez-la à une autre intention.
- Si la variation n'appartient pas à l'ensemble d'entraînement, supprimez-la.
- Entraînez de nouveau la brique.