Données clés sur la conversation pour les aptitudes

Les rapports de conversation pour les compétences, qui suivent les conversations vocales et textuelles par période et par canal, vous permettent d'identifier les chemins d'exécution, de déterminer l'exactitude de vos résolutions d'intention et d'accéder à des transcriptions complètes de conversation.

Pour accéder aux mesures au niveau de la session, sélectionnez Couverture dans le filtre Mesure du rapport Aperçu.
Option Conversation du filtre de mesure.

Les données clés vocales sont suivies pour les compétences acheminées aux clients de clavardage configurés pour la reconnaissance vocale et exécutés sur les versions 20.8 ou supérieures des trousses SDK Oracle Web, iOS ou Android.

Types de rapport

  • Aperçu - Utilisez ce tableau de bord pour connaître rapidement le nombre total de conversations vocales et textuelles par canal et par période. Les mesures du rapport segmentent ce total en conversations terminées (complete), inachevées (incomplete) et en cours (in progress). Ce rapport vous indique également comment la compétence a terminé les conversations ou n'a pas pu les conclure en classant l'utilisation de ses intentions transactionnelles et de réponse dans des graphiques à barres et des nuages de mots.
  • Mesures personnalisées - Permet de mesurer les dimensions personnalisées qui ont été appliquées à la compétence.
  • Intentions - Fournit des données et des informations propres aux intentions pour les mesures d'exécution (États, durée de conversation et chemins les plus et les moins populaires).
  • Chemins - Affiche une représentation visuelle du flux de conversation pour une intention.
  • Conversations - Affiche la transcription réelle du dialogue compétence-utilisateur, dans le contexte du flux de dialogue et de la fenêtre de clavardage.
  • Réentraînement - Où vous utilisez des données clés réelles et des données clés obtenues pour améliorer votre compétence au moyen d'un autoapprentissage modéré.
  • Exporter - Permet de télécharger un fichier CSV des données clés collectées par Oracle Digital Assistant. Vous pouvez créer un rapport de données clés personnalisé à partir du fichier CSV.

Consulter les mesures et graphiques sommaires

Les mesures, graphiques et nuages de mots du rapport Overview (Aperçu) illustrent l'utilisation globale. Lorsque la compétence a traité les conversations textuelles et vocales, la vue par défaut de ce tableau de bord inclut à la fois texte et voix (rendu activé par l'option All (Tout)). Sinon, la valeur par défaut est juste pour le texte ou juste pour la voix.

Vous pouvez ajuster cette vue en faisant le va-et-vient entre les modes Voice et Text, ou vous pouvez comparer les deux en activant l'option Compare text and voice conversations (Comparer les conversations textuelles et vocales).

Lorsque vous sélectionnez Text, le rapport affiche un jeu de mesures communes. Lorsque vous sélectionnez Voice, le rapport inclut des mesures propres à la voix supplémentaires. Ces mesures s'appliquent uniquement aux conversations vocales, de sorte qu'elles ne s'affichent pas lorsque vous choisissez Compare text and voice conversations (Comparer les conversations textuelles et vocales).
Note

Les options Mode dépendent de la présence de messages vocaux ou textuels. S'il n'y a que des messages textuels, par exemple, seule l'option Text apparaît.

Mesures communes

Le rapport Overview (Aperçu) comprend les ICR suivants pour les conversations textuelles et vocales
  • Total number of conversations (Nombre total de conversations) - Nombre total de conversations, qui comprend des conversations terminées, incomplètes et en cours. Quel que soit le statut, une conversation peut comporter une ou plusieurs tournées de dialogue. Chaque tour est un échange unique entre l'utilisateur et la compétence.
    Note

    Les conversations ne sont pas les mêmes que les demandes mesurées. Pour en savoir plus sur les mesures, voir Description des services Oracle PaaS et IaaS - Crédits universels.
  • Conversations terminées - Conversations qui se sont terminées en répondant à l'interrogation d'un utilisateur. Les conversations qui se terminent par un état End Flow ou à un état où End flow (implicite) est sélectionné comme transition sont considérées comme terminées. Dans les compétences d'auteur YAML, les conversations sont comptées comme terminées lorsque le parcours dans le flux de dialogue se termine par une transition return ou à un état avec la propriété insightsEndConversation.
    Note

    Cette propriété et la transition return ne sont pas disponibles dans Visual Flow Designer.
  • Incomplete conversations (Terminer les conversations) - Conversations que les utilisateurs n'ont pas pu terminer, soit parce qu'ils ont abandonné la compétence, soit en raison d'erreurs au niveau du système, de temporisations ou de boucles infinies.
  • In progress conversations - Conversations "In-flight" (conversations qui n'ont pas encore été terminées ou qui n'ont pas fait l'objet d'une temporisation). Cette mesure effectue le suivi des conversations multitours. Une conversation en cours devient une temporisation à l'expiration de la session.
  • Average time used on conversations (Temps moyen passé sur les conversations) - Durée moyenne de toutes les conversations de la compétence.
  • Nombre total d'utilisateurs et Nombre d'utilisateurs uniques - Mesures de base d'utilisateurs qui indiquent le nombre d'utilisateurs dont dispose une compétence et le nombre de ces utilisateurs qui retournent des utilisateurs.


Mesures vocales

Toute conversation démarrée par une interaction orale est considérée vocale. Toute conversation démarrée oralement, mais achevée par texte, est considérée permutée. Toutes les autres conversations sont considérées textuelles. Outre les mesures standard, le rapport Overview (Aperçu) comprend les mesures suivantes propres aux conversations orales et permutées.
Note

Ces mesures ne sont données qu'à titre d'information; vous ne pouvez pas les traiter.
Pour afficher ces mesures, désactivez Compare text and voice operations (Comparer les opérations textuelles et vocales) et sélectionnez All (Tout) ou Voice (Voix) comme mode.
  • Temps moyen consacré aux conversations - Durée moyenne des conversations vocales.
  • Facteur moyen en temps réel (RTF) - Rapport entre le temps nécessaire pour traiter l'entrée audio et le temps UC. Par exemple, s'il faut une seconde de temps UC pour traiter une seconde d'audio, le RTF est 1 (1/1). Le RTF pour 500 millisecondes pour traiter une seconde d'audio est 0,5 ou ½. Idéalement, le RTF doit être inférieur à 1 pour s'assurer que le traitement n'est pas en retard par rapport à l'entrée audio. Si le RTF est supérieur à 1, communiquez avec Oracle Support.
  • Latence vocale moyenne - Délai, en millisecondes, entre la détection de la fin de l'énoncé et la génération du résultat final (ou transcription). Si vous observez une latence, communiquez avec Oracle Support.
  • Temps audio moyen - Durée moyenne, en secondes, de toutes les conversations vocales.
  • Conversations permutées - Pourcentage des conversations de la compétence qui ont commencé par des commandes vocales, mais qui ont dû passer au texte pour terminer l'interaction. Cette mesure indique qu'il y avait plusieurs chemins d'exécution impliqués dans le passage de la voix au texte.

Répartition des conversations inachevées

Si des conversations inachevées ont été détectées pendant la période sélectionnée, leur nombre total est réparti selon les catégories d'erreur suivantes :
  • Timeouts (Temporisations) – Les temporisations sont déclenchées lorsqu'une conversation en cours est inactive pendant plus d'une heure, ce qui entraîne l'expiration de la session.
  • System-Handled Errors (Erreurs traitées par le système) – Ces erreurs sont traitées par le système, et non par la compétence. Ces erreurs se produisent lorsque la définition de flux de dialogue n'est pas équipée d'un traitement des erreurs.
  • Infinite Loop (Boucle sans fin) – Des boucles sans fin peuvent se produire en raison de défauts dans la définition du flux de dialogue, tels que des transitions mal définies.
  • Canceled (Annulé) - Nombre de fois où les utilisateurs ont quitté une compétence en annulant explicitement la conversation.


En cliquant sur une catégorie d'erreur dans le tableau ou sur un des arcs du graphique, vous pouvez accéder au rapport Conversations pour voir ces erreurs dans le contexte de conversations inachevées. Lorsque vous accédez au rapport Conversations à partir d'ici, les filtres Outcome (Résultats) et Errors (Erreurs) sont réglés à Incomplete et à la catégorie d'erreur sélectionnée. Par exemple, si vous cliquez sur Infinite Loop (Boucle sans fin), le rapport Conversations sera filtré selon les valeurs Incomplete et Infinite Loop. Les filtres Intents (Intentions) et Outcome (Résultat) du rapport sont réglés à Show All (Tout afficher). Le champ Sort by (Trier par) est réglé à Latest (Le plus récent).

Mesures d'utilisateur

Vous pouvez connaître le nombre d'utilisateurs d'une compétence pour un point dans le temps sélectionné au moyen des mesures suivantes. Vous pouvez les comparer au total d'exécution affiché dans la mesure Nombre total de conversations tout en filtrant le rapport par canal et période. Pour les intégrations d'agent en direct, vous pouvez peser le nombre d'utilisateurs uniques qui ont été transférés à un agent par rapport au nombre total de conversations qui inclut les transferts d'agent en direct et les conversations gérées par une compétence.
  • Number of users (Nombre d'utilisateurs) - Total cumulé de tous les types d'utilisateur qui ont interagi avec la compétence : utilisateurs ayant des ID affectés au canal qui persistent entre les sessions (les utilisateurs uniques) et utilisateurs dont les ID affectés automatiquement durent une seule session.
  • Number of Unique Users (Nombre d'utilisateurs uniques) - Nombre d'utilisateurs qui ont accédé à la compétence, tel qu'identifié par leur ID utilisateur unique. Chaque canal a une méthode différente d'affectation d'un ID à un utilisateur : les utilisateurs qui clavardent avec la compétence au moyen du canal Web sont identifiés par la valeur définie pour le champ userId, par exemple. Le canal de test du testeur de compétence vous affecte un nouvel ID utilisateur chaque fois que vous mettez fin à une session de clavardage en cliquant sur Reset (Réinitialiser).
    Une fois affectés, ces ID uniques persistent dans les sessions de clavardage afin que le nombre d'utilisateurs uniques calculé par cette mesure n'augmente pas lorsqu'un utilisateur revisite la compétence. Le nombre augmente uniquement lorsqu'un autre utilisateur doté d'un ID unique est ajouté au groupe d'utilisateurs.

    Conseil :

    Étant donné que les ID utilisateur ne sont uniques qu'au sein d'un canal (un utilisateur ayant des ID identiques sur deux canaux différents sera compté comme deux utilisateurs, pas un), vous pouvez avoir une meilleure idée de la base d'utilisateurs en filtrant le rapport par canal.

Activer le suivi des nouveaux utilisateurs

Pour suivre les utilisateurs qui n'ont jamais interagi avec une compétence ou un assistant numérique, activez Enable Insights User Metrics (Activer les mesures d'utilisateur de données clés) dans Settings (Paramètres) > Configuration. Avant d'activer cette fonction pour une compétence, assurez-vous que les canaux qui lui sont acheminés affectent un type d'ID utilisateur. Sinon, laissez cette fonction désactivée (son mode par défaut). Chaque fois que les canaux ne fournissent pas d'ID utilisateur, Digital Assistant affecte un nouvel ID utilisateur à chaque session de clavardage. L'activation de cette fonction lorsque ces types de canaux sont utilisés fausse le rapport, car de nouveaux utilisateurs seront ajoutés à chaque nouvelle session de clavardage et, par conséquent, la table utilisateur sera remplie de nouvelles entrées. Les nouvelles données d'utilisateur ne sont pas épurées automatiquement du stockage. Vous devez donc utiliser l'API Oracle Digital Assistant à la place. Pour épurer les nouvelles données d'utilisateur, incluez "purgeUserData": true dans les données utiles de la demande Démarrer la tâche d'exportation POST.
Note

La collecte de nouvelles données d'utilisateur ne commence qu'à la date d'expédition de cette fonction avec la version 23.10.

Consulter les données clés sur les tendances des conversations

Le graphique Conversation Trends (Tendances des conversations) présente les éléments suivants pour les intentions transactionnelles (y compris les intentions de transfert à l'agent) et les intentions de réponse :
  • Completed (Terminées) - Conversations que les utilisateurs ont terminées avec succès. Les conversations qui se terminent par un état End Flow ou à un état où End flow (implicite) est sélectionné comme transition sont considérées comme terminées. Dans les compétences d'auteur YAML, les conversations sont comptées comme terminées lorsque le parcours dans le flux de dialogue se termine par une transition return ou à un état avec la propriété insightsEndConversation.
    Note

    Cette propriété et la transition return ne sont pas disponibles dans Visual Flow Designer.
  • Incomplete (Inachevées) — Conversations que les utilisateurs n'ont pas pu terminer, soit parce qu'ils ont abandonné la compétence, soit en raison d'erreurs au niveau du système, de temporisations ou de défauts de conception de la compétence.
  • In Progress (En cours) - Conversations en cours (conversations qui n'ont pas encore été terminées ou qui n'ont pas fait l'objet d'une temporisation). Cette mesure effectue le suivi des conversations multitours.

Consulter l'utilisation des intentions

Le graphique à barres Intents (Intentions) vous permet de repérer non seulement les intentions transactionnelles et de réponse qui ont terminé les conversations, mais aussi celles qui ont causé des conversations inachevées. Vous pouvez également utiliser ce graphique pour savoir si l'utilisation globale de ces intentions justifie votre cas d'utilisation. Par exemple, le nombre de conversations terminées pour l'objectif secondaire d'une intention dépasse-t-il le nombre de conversations terminées pour l'intention principale? Plus concrètement, votre compétence de commande de pizza est-elle devenue une compétence de "dépôt de réclamation" qui achemine la plupart des utilisateurs vers un agent humain?
Note

Les conversations ne se résolvent pas toutes en intention. Lorsque No Intent (Aucune intention) s'affiche dans le graphique à barres Intent et le nuage de mots, cela indique qu'une intention n'a pas été résolue par l'entrée de l'utilisateur, mais par une action de transition, une conversation lancée par une compétence ou par acheminement à partir d'un assistant numérique.

You can filter the Intents bar chart and the word cloud using the bar chart's All Intents, Answer Intents, and Transaction Intents options.
Description de all-intents.png :
Description of the illustration all-intents.png

These options enable you to quickly breakdown usage. For example, for mixed skills – ones that have both transactional and answer intents – you can view usage for these two types of intents using the Answer Intents and Transaction Intents options.
Description de transactional-intents.png :
Description of the illustration transactional-intents.png

The key phrases rendered in the word cloud reflect the option, so for example, only the key phrases associated answer intents display when you select Answer Intents.
Description de la réponse-intents.png :
Description of the illustration answer-intents.png

Vérifier les intentions et procéder au réentraînement à l'aide des nuages d'expressions clés

Le nuage de mots des intentions les plus populaires fournit une vue complémentaire du graphique à barres Intents (Intentions). Il affiche le nombre de conversations terminées, en cours et inachevées pour une intention. Il pondère les intentions les plus fréquemment appelées par taille et par couleur. La taille représente le nombre d'appels pour la période considérée.

La couleur représente le niveau de réussite de la résolution d'intention :
  • Le vert représente une moyenne élevée de résolution des demandes, supérieure ou égale au seuil de marge de succès pour la période indiquée.
  • Le jaune représente une résolution d'intention qui, en moyenne, n'atteint pas le seuil de marge de succès pour la période considérée. Cette couleur indique de manière fiable que l'intention doit être réentraînée.
  • Le rouge est réservé aux cas unresolvedIntent. Il s'agit de l'ensemble des demandes d'utilisateur qui n'ont pas pu être mises en correspondance avec une intention et qui pourraient être intégrées au corpus.
Le nuage de mots des intentions les plus populaires est une passerelle permettant d'afficher des vues plus détaillées de la façon dont les intentions résolvent les messages d'utilisateur. La rubrique Vérifier les intentions et procéder au réentraînement à l'aide des nuages d'expressions clés décrit comment forer à partir du nuage de mots des intentions les plus populaires pour obtenir des informations sur l'utilisation, les interactions des utilisateurs et le réentraînement.

Il offre également une vue plus détaillée de l'utilisation des intentions au moyen d'expressions clés qui représentent les entrées réelles de l'utilisateur, et, pour les expressions en langue anglaise (le comportement diffère lorsque des expressions qui ne sont pas en anglais sont résolues en intention), l'accès à la fonction Retrainer (Réentraînement).

Vérifier les expressions clés

Vous pouvez cliquer sur une intention pour accéder à un jeu d'expressions clés. Ces expressions sont des abstractions du message initial de l'utilisateur, qui conservent l'intention initiale. Par exemple, l'expression clé cancel my order (annuler ma commande) est tirée du message initial, I want to cancel my order (je souhaite annuler ma commande). Les messages similaires peuvent être regroupés dans une expression clé unique. Par exemple, les expressions I want to cancel my order (je souhaite annuler ma commande), can you cancel my order (pouvez-vous annuler ma commande) et cancel my order please (merci d'annuler ma commande) peuvent être regroupées dans l'expression clé cancel my order (annuler ma commande). Comme pour les intentions, la taille représente l'importance pour la période en question et la couleur reflète le niveau de confiance.
Description de key-phrases-intent.png :
Description de l'illustration key-phrases-intent.png

You can see the actual user message (or the messages grouped within a key phrase) within the context of a conversation when you click a phrase and then choose View Conversations from the context menu.
Description de view-conversations-option.png :
Description of the illustration view-conversations-option.png

This option opens the Conversations Report.
Description de key-phrases-conversation-report.png :
Description of the illustration key-phrases-conversation-report.png

Anonymized values display in the phrase cloud when you enable PII Anonymization.
Description de pii-skill-phrase-cloud.png :
Description of the illustration pii-skill-phrase-cloud.png

Effectuer un réentraînement à partir du nuage de mots

En plus d'afficher le message représenté par l'expression en contexte, vous pouvez ajouter le message (ou les messages regroupés dans une expression clé) au corpus d'entraînement en cliquant sur Retrain (Réentraîner).

Cette option permet d'ouvrir le rapport de réentraînement, où vous pouvez ajouter l'expression réelle au corpus d'entraînement.

Consulter les expressions dans des langues autres que l'anglais

Le comportement du nuage d'expressions clés diffère pour les compétences utilisant la prise en charge linguistique native en ce que vous ne pouvez pas accéder au rapport de réentraînement pour les expressions qui ne sont pas en anglais. Lorsque des expressions dans différentes langues ont été résolues en une intention, les langues, et non les expressions clés, s'affichent dans le nuage lorsque vous cliquez sur une intention. For example, if French and English display after you click unresolvedIntent, then that means that there are phrases in both English and French that could not be resolved to any intent.
Description de ml-phrase-cloud.png :
Description of the illustration ml-phrase-cloud.png

If English is among the languages, then you can drill down to the key phrase cloud by clicking English. À partir du nuage d'expressions clés, vous pouvez utiliser les options View Conversations (Afficher les conversations) et Retrain (Réentraînement) du menu contextuel pour accéder aux rapports de conversation et de réentraînement. Mais lorsque vous forez à partir d'une langue autre que l'anglais, vous descendez jusqu'au rapport Conversations filtré par intention et par langue. Il n'y a pas d'accès direct au rapport de réentraînement. Ainsi, pour en revenir à l'exemple unresolvedIntent, si vous cliquez sur English (Anglais), vous allez forer jusqu'au nuage d'expressions clés. Si vous cliquez sur French, vous accédez au rapport Conversations, filtré sur les valeurs unresolvedIntent et French.
Description de ml-conversation-report.png :
Description de l'illustration ml-conversation-report.png

Si vous souhaitez intégrer ou réaffecter une expression après l'avoir examinée dans le contexte de la conversation, vous devez l'intégrer directement à partir du rapport de réentraînement en filtrant sur l'intention, la langue (et tout autre critère).

Consulter l'utilisation des langues

Pour une compétence multilingue, vous pouvez comparer l'utilisation des langues prises en charge à l'aide des segments du graphique Languages (Langues). Chaque segment représente une langue utilisée.
Une description de languages-chart-overview-skill.png suit
Description de l'illustration languages-chart-overview-skill.png
Si vous souhaitez consulter les conversations représentées par une langue du graphique, vous pouvez cliquer sur un segment ou sur la légende pour accéder au Rapport Conversations, qui est filtré selon la langue sélectionnée.
Une description de conversations-report-filtered-language.png suit
Description de l'illustration conversations-report-filtered-language.png

Réviser la rétroaction et les notations de l'utilisateur

Les nuages de mots User Rating et User Feedback suivent la rétroaction directe et les scores collectés par le composant. Lorsque le dialogue passe à un état de rétroaction d'utilisateur, la compétence présente aux utilisateurs un système de notation et, facultativement, la possibilité de fournir une rétroaction. Par défaut, les utilisateurs peuvent évaluer leur interaction avec la compétence en effectuant une sélection dans un intervalle de un à cinq. Pour ODA version 21.10 et supérieure, le composant de rétroaction est, par défaut, un système de notation en étoile. Pour les versions précédentes, le composant de rétroaction s'affiche sous forme de liste.

La note moyenne de satisfaction du client, qui est proportionnelle au nombre de conversations pour chacune des notations, est affichée au centre du graphique en beignet. Les totaux individuels sur une base par conversation pour chaque nombre sur la plage sont grisés comme arcs du diagramme en beignet de notation de l'utilisateur qui varient en longueur selon l'occurrence. Cliquer sur l'un de ces arcs ouvre le rapport Conversations filtré par la note.
Note

Si votre compétence s'exécute sur une plate-forme avant la version 21.12, vous devez désactiver Enable Masking (Activer le masquage) pour voir la notation de l'utilisateur dans la transcription de la conversation. Pour conserver la notation réelle de l'utilisateur dans les transcriptions pour les compétences exécutées sur les plates-formes 21.12 et supérieures (où l'option Activer le masquage est obsolète), vous devez supprimer l'entité NUMBER de la liste des entités traitées comme des informations d'identification personnelle lors de l'activation de l'anonymisation des informations d'identification personnelle.


Par défaut, le seuil minimal du composant User Feedback (Rétroaction de l'utilisateur) pour déterminer une réaction positive ou négative est fixé à deux (insatisfait). Si la rétroaction de l'utilisateur est activée pour le composant, le nuage de mots User Feedback affiche les commentaires de l'utilisateur qui accompagnent les notations négatives et les taille en fonction de leur fréquence. Vous pouvez voir ces commentaires dans le contexte de l'interaction globale en cliquant sur l'arc dans le graphique User Rating (Notation de l'utilisateur) qui représente une notation inférieure au seuil (un ou deux par paramètres par défaut du composant), puis accédez au rapport Conversation, qui est filtré en fonction de la note sélectionnée.
Une description de conversation-report-user-feedback.png suit
Description de l'illustration conversation-report-user-feedback.png

Comment ajouter le composant Feedback (Rétroaction) au flux de dialogue

Pour saisir des données pour le graphique User Rating (Notation de l'utilisateur) et le nuage de mots User Feedback (Rétroaction de l'utilisateur), vous devez ajouter une séquence d'états à votre flux de dialogue. Le premier de ces états est un état Rétroaction de l'utilisateur. Pour ajouter cet état, sélectionnez User Messaging (Messagerie utilisateur) > User Feedback (Rétroaction de l'utilisateur), puis sélectionnez Next (Suivant) comme type de transition. (Dans les flux YAML, vous devez définir une transition explicite vers l'état System.Feedback à l'aide de la transition next.) Votre flux de dialogue peut passer à une séquence d'états de rétroaction d'utilisateur chaque fois que vous souhaitez évaluer la réaction d'un utilisateur. Cela peut être, par exemple, une fois qu'un utilisateur a terminé ou annulé une transaction.
Note

Si l'état précédant l'état Rétroaction de l'utilisateur comporte une propriété Keep Turn (Conserver l'activation), réglez-la à True pour vous assurer que la compétence ne transmet pas la conversation à l'utilisateur avant que le flux ne passe à la rétroaction de l'utilisateur. Pour maintenir le contrôle de la compétence dans les flux d'auteurs YAML, définissez keepTurn: true dans l'état avant l'état System.Feedback.


Après l'état Rétroaction de l'utilisateur, vous devez ajouter les états qui correspondent à ses above, below et cancel transitions. Dans les flux de dialogue YAML, chacun de ces états comporte des transitions return: done.

Ces états tiennent compte de la plage haute et basse de la notation telle que déterminée par la propriété Threshold. Vous pouvez ajouter ces états en tant que messages utilisateur confirmant la réception de la notation utilisateur.
Type de commentaires Exemple de message
above Thank you for rating us ${system.userFeedbackRating.value}
below You entered: ${system.userFeedbackText.value} We appreciate your feedback.
cancel Skipped giving a rating or feedback? Maybe next time.
Vous pouvez personnaliser la sortie du composant de rétroaction d'utilisateur en modifiant les ensembles de ressources connexes à la rétroaction accessibles au moyen de la page Configuration de l'ensemble de ressources ou en modifiant les clés systemComponent_Feedback_ dans un fichier CSV d'ensemble de ressources.

Utilisation de mesures personnalisées pour mesurer la rétroaction des utilisateurs

Vous pouvez obtenir une vue de haut niveau des rétroactions positives, négatives et ignorées en définissant une dimension unique liée aux rétroactions des utilisateurs pour un jeu d'états Définir des mesures personnalisées.

Chacun de ces états Définir des mesures personnalisées correspond à l'un des états nommés par les actions de transition above, below et cancel du composant de rétroaction d'utilisateur. Par exemple, si vous souhaitez ajouter une mesure nommée Feedback Type au rapport Custom Metrics, procédez comme suit :
  1. Insérez les états Définir des mesures personnalisées avant chacun des états nommés par les actions de transition above, below et cancel du composant de rétroaction d'utilisateur.
  2. Pour chaque état, entrez Feedback Type comme nom de dimension.
  3. Ajoutez des valeurs distinctes pour chaque état, selon le type de transition (par exemple, Canceled, Positive, Negative). Maintenant que vous avez instrumenté le flux de dialogue pour enregistrer les données de rétroaction, vous pouvez interroger les différentes valeurs dans le rapport Mesures personnalisées.


Dans les flux YAML, vous suivez les mesures de rétroaction en ajoutant des états System.SetCustomMetrics.

Vérifier les mesures personnalisées

Le rapport Mesures personnalisées vous donne une perspective ajoutée sur les données clés en suivant les données de conversation pour les dimensions propres à la compétence. Les dimensions suivies par ce rapport sont créées dans la définition du flux de dialogue à l'aide du composant Définir des mesures personnalisées (et du composant System.SetCustomMetrics dans les flux YAML). À l'aide de ce composant, vous pouvez créer des dimensions pour explorer les besoins en matière d'affaires et de développement propres à votre compétence. Par exemple, vous pouvez créer des dimensions qui indiquent la consommation d'un produit ou d'un service (la pâte à pizza la plus demandée ou le type de rapport de frais le plus souvent déposé), ou effectuer un suivi lorsque la compétence échoue aux utilisateurs en les forçant à quitter ou en les transmettant à des agents actifs.



Le rapport Mesures personnalisées présente les dimensions définies dans les données de conversation sous forme de graphique à barres, de graphique en torique et de graphique de tendance linéaire. Chaque dimension a son propre total de conversation. Ce décompte inclut les conversations terminées, incomplètes ou en cours. Les valeurs de dimension (ou catégories) sont représentées sous forme de segments dans le graphique en torique et de points dans le graphique de tendance linéaire. Vous pouvez utiliser ces valeurs pour filtrer la vue de rapport (ainsi que les données de mesure personnalisées que vous pouvez télécharger dans un fichier CSV). Dans le diagramme en beignet, la longueur des arcs représente les occurrences de la valeur de dimension sous forme de pourcentage du nombre total de conversations. Le nombre réel de valeurs de dimension est suivi par le graphique linéaire. Les arcs et les lignes de tendance sont des points d'accès au rapport Conversations. Cliquer sur l'une ou l'autre des options ouvre le rapport Conversations filtré en fonction de la valeur de dimension sélectionnée.

Note

Les dimensions et les catégories apparaissent dans le rapport uniquement lorsque les conversations mesurées par elles se sont produites.

Instrumenter la compétence pour les mesures personnalisées

To generate the Custom Metrics report, you need to define one or more dimensions using the Set Custom Metrics component (accessed by clicking Variables > Set Custom Metrics or Variables > Set Insights Custom Metrics in YAML dialogs ).
Une description de set-insights-component-dialog.png suit
Description de l'illustration set-insights-component-dialog.png

Si le rapport Mesures personnalisées ne contient aucune donnée, il est probable qu'aucun état de définition de mesures personnalisées n'a été défini ou que les transitions vers ces états n'ont pas été définies correctement.

Vous pouvez ajouter des états Set Custom Metrics à l'endroit où vous souhaitez suivre une valeur d'entité ou une activité dans un flux d'exécution.
Note

Vous pouvez définir jusqu'à six dimensions pour chaque compétence.
Selon la structure des flux de dialogue - et votre cas d'utilisation - vous pouvez définir plusieurs dimensions dans un seul état Définir des mesures personnalisées, ou avec plusieurs états Définir des mesures personnalisées dans un seul flux de dialogue ou dans plusieurs flux.

Création de dimensions pour les valeurs de variable

Vous pouvez suivre les valeurs d'entité en réglant une transition next à un état Définir des mesures personnalisées après l'état de définition des valeurs (par exemple, un état Résoudre l'ensemble composite). Les dimensions et les filtres du rapport Set Custom Metrics sont affichés à partir des dimensions et des valeurs de dimension définies par le composant Set Custom Metrics.

Si l'état de définition de valeur fait référence à une entité composite, vous pouvez effectuer le suivi des éléments d'entité à l'aide d'une expression Apache Freemarker pour définir la valeur de dimension. Par exemple, la valeur d'une dimension Pizza Size peut être définie comme ${pizza.value.pizzaSize.value}. Les valeurs individuelles retournées par cette expression (petite, moyenne, grande) sont affichées en tant que segments de données dans le rapport Mesures personnalisées et peuvent également être appliquées en tant que filtres. Par exemple, le rapport qui résulte de l'instrumentalisation d'une compétence de pizza décompose les commandes de pizza par taille, type et pâte à pizza. Ces détails supplémentaires complètent les mesures déjà signalées pour l'intention Order Pizza.
Description de custom-metrics-example.png ci-dessous
Description de l'illustration custom-metrics-example.png

Selon la composition et la complexité de la définition du flux de dialogue, les valeurs d'entité que vous souhaitez suivre peuvent ne pas être résolues dans le même flux de dialogue. Dans de telles situations, il se peut que vous ne puissiez pas définir toutes les dimensions avec un seul état Définir des mesures personnalisées. À la place, vous devrez ajouter des états Définir des mesures personnalisées à différentes parties de la définition du flux de dialogue (ou à différents flux).
Note

Les dimensions basées sur une valeur d'entité ne sont enregistrées dans le rapport Mesures personnalisées qu'après qu'une valeur d'entité a été définie. Lorsqu'aucune valeur n'a été définie ou lorsque l'état de définition de valeur n'est pas passé à un état Définir des mesures personnalisées, les graphiques du rapport notent les données manquantes comme <not set>.

Création de dimensions permettant de suivre l'utilisation des compétences

En plus des dimensions basées sur des valeurs de variable, vous pouvez créer des dimensions qui suivent non seulement la façon dont les utilisateurs interagissent avec la compétence, mais aussi son efficacité globale. Vous pouvez, par exemple, ajouter une dimension qui indique la fréquence et la raison du transfert des utilisateurs à des agents humains.
Une description de custom-metrics-agent-transfer-example.png suit
Description de l'illustration custom-metrics-agent-transfer-example.png

Des dimensions comme celles-ci vous informent de l'expérience utilisateur. Vous pouvez ajouter la même dimension à différents états Définir des mesures personnalisées dans vos flux. Chacun de ces états Définir des mesures personnalisées définit une catégorie (ou une valeur de dimension) différente. Par exemple, il existe des dimensions de transfert d'agent dans deux flux différents : l'un dans le flux Order Pizza ayant la valeur No Agent Needed (Aucun agent requis) lorsque la compétence termine avec succès une commande et l'autre dans le flux UnresolvedIntent ayant la valeur Bad Input (Entrée incorrecte) qui effectue le suivi lorsque la compétence transfère des utilisateurs vers un agent humain en raison d'une entrée non résolue. Le rapport Mesures personnalisées enregistre les données de ces mesures lorsque ces états sont inclus dans un flux d'exécution.

États de mesure personnalisés pour la dimension Transfert d'agent Flux Valeur Utilisez
setInsightsCustomMetricsNoAgent Commandez Pizza (à partir de la transition next de l'état Résoudre le sac composite, Aucun agent nécessaire Indique le nombre de conversations réussies où des commandes ont été passées sans aide.
setInsightsCustomMaxErrors Commander une pizza (à partir de la transition cancel de l'état Résoudre le sac composite) Nombre maximal d'erreurs Reflète le nombre de conversations où les utilisateurs ont été dirigés vers des agents humains parce qu'ils ont atteint le m
setInsightsCustomMetricsBadInput UnresolvedIntent Entrée incorrecte Indique le nombre de conversations où l'entrée non résolue a entraîné le transfert des utilisateurs vers un agent humain.
setInsightsCustomMetricsLiveAgent Appeler l'agent (avant la séquence de lancement de l'agent) Agent demandé Indique le nombre de conversations pour lesquelles les utilisateurs ont demandé un agent humain.

Exporter les données des mesures personnalisées

Lorsque vous cliquez sur Exporter, les données de mesures personnalisées sont téléchargées dans un fichier CSV que vous pouvez utiliser pour vos propres analyses et rapports hors ligne. Vous pouvez filtrer les données téléchargées dans le fichier CSV en fonction des valeurs de dimension. Ce fichier CSV téléchargé comporte les champs suivants.

Colonne Description
CREATED_ON Date de l'exportation des données.
USER_ID ID de l'utilisateur de la compétence.
SESSION_ID Identificateur de la session en cours. Il s'agit d'un GUID aléatoire, qui rend cet ID différent de USER_ID.
BOT_ID ID compétence affecté à la compétence lors de sa création.
CUSTOM_METRICS Tableau JSON contenant un objet pour chaque dimension de mesure personnalisée. name est un nom de dimension et value est la valeur de dimension saisie dans la conversation. [{"name":"Custom Metric Name 1","value":"Custom Metric Value"},{"name":"Custom Metric Name 2","value":"Custom Metric Value"},...] Par exemple : [{"name":"Pizza Size","value":"Large"},{"name":"Pizza Type","value":"Hot and Spicy"},{"name":"Pizza Crust","value":"regular"},{"name":"Agent Transfer","value":"No Agent Needed"}].
QUERY Énoncé de l'utilisateur ou réponse de la compétence qui contient une valeur de mesure personnalisée.
CHOICES Choix de menu dans les composants d'interface utilisateur.
COMPONENT Composant de boîte de dialogue, System.setCustomMetrics (Définir le composant personnalisé dans les flux visuels) qui exécute les mesures personnalisées.
CHANNEL Canal qui a dirigé la session.

Consulter les données clés sur les intentions

Vous pouvez connaître le nombre total de conversations terminées et incomplètes pour chaque intention dans le rapport Overview (Aperçu). À l'aide du rapport Intents (Intentions), vous pouvez savoir comment le trafic utilisateur a circulé le long des chemins d'exécution des intentions et où il a été bloqué par des états défectueux.
Note

Ce rapport retourne les intentions définies pour une compétence pendant une période donnée, de sorte que son contenu peut changer pour refléter les intentions ajoutées, renommées ou supprimées de la compétence à différents moments.

Chemins terminés

Pour les conversations terminées, le rapport indique le nombre de chemins d'exécution parcourus par les utilisateurs pour terminer ces conversations avec des statistiques sur le temps passé et le nombre d'états visités.

Vous pouvez utiliser ces statistiques et comme indicateurs de l'expérience utilisateur. Par exemple, vous pouvez utiliser ce rapport pour déterminer si le temps passé s'accorde à la tâche ou si les chemins les plus courts entraînent une dégradation de l'expérience utilisateur susceptible d'encourager les abandons. Pouvez-vous, par exemple, accélérer la progression de l'utilisateur dans la compétence en insérant des valeurs avec des entités composites au lieu d'invites et de composants de définition de valeurs?

Pour plus de contexte sur les conversations terminées :

Chemins incomplets

Pour les conversations incomplètes, vous pouvez identifier les états le long du chemin d'exécution de l'intention où elles se sont terminées au moyen du graphique à barres horizontales Incomplete States (États incomplets). Ce graphique, qui s'affiche pour les intentions transactionnelles listées dans la barre de navigation de gauche, trace la répartition des conversations incomplètes par état, qui peut être un état défini dans le flux de dialogue ou un état interne qui marque la fin d'une conversation, par exemple System.DefaultErrorHandler. En l'utilisant, vous pouvez déterminer si un état de flux de dialogue est un point de défaillance continu et les raisons pour lesquelles (erreurs, temporisations ou entrée utilisateur incorrecte). Ce rapport n'affiche pas les chemins ou la vitesse pour les chemins incomplets, car ils ne s'appliquent pas à cette entrée utilisateur. Le graphique à barres affiche chaque intention selon le nombre de messages qui n'ont pas été résolus en intention, ou qui auraient pu l'être (ce qui signifie que le système aurait pu deviner une intention) mais ne l'ont pas été à cause d'une note de confiance faible.
Note

Le graphique États incomplets ne présente pas d'intentions de réponse (intentions statiques) dans les flux YAML, car leurs résultats sont pris en charge uniquement par l'état du composant System.Intent, et non par une série d'états dans une définition de flux de dialogue.
Dans les flux YAML, Insights considère les conversations comme incomplètes lorsque l'état final comporte une transition vide (ou implicite) ({}). Même si la compétence traite la transaction avec succès, les données clés classent toujours la conversation comme incomplète et affichent l'état final comme System.DefaultErrorHandler.
Pour plus de contexte sur les conversations inachevées pour une intention :
  • Cliquez sur View Path (Voir le chemin) pour ouvrir le rapport Paths (Chemin) filtré pour les conversations inachevées pour l'intention sélectionnée. Les états de terminal de ce chemin peuvent inclure des états définis dans la boîte de dialogue ou un état interne qui marque la fin d'une conversation, tels que System.EndSession, System.ExpiredSession, System.MaxStatesExceededHandler et System.DefaultErrorHandler.

  • Vous pouvez accéder aux transcriptions des conversations qui ont mené à l'échec en cliquant sur View Conversations (Voir les conversations). Cette option ouvre le rapport Conversations filtré pour les conversations inachevées pour l'intention sélectionnée. Vous pouvez affiner les résultats en appliquant un filtre. Par exemple, vous pouvez filtrer le rapport par conditions d'erreur.

unresolvedIntent

En plus de la durée et des acheminements pour les intentions orientées tâches, le rapport Intents (Intentions) retourne les messages qui n'ont pas pu être résolus. Pour voir ces messages, cliquez sur unresolvedIntent dans la barre de navigation de gauche. Lorsque vous cliquez sur une intention dans le graphique à barres Prédictions plus proches, la fenêtre Message non résolu est mise à jour et les messages non résolus de cette intention sont triés par note de probabilité.

Vous pouvez voir le chemin et les conversations pour ces messages non résolus en sélectionnant View Path (Voir le chemin) et View Conversations (Voir les conversations), mais vous pouvez également accéder aux messages non résolus au moyen du rapport Retrainer (Réentraînement), dans lequel vous pouvez les évaluer en tant qu'ajouts possibles aux données d'entraînement. Cliquez sur Réentraîner pour ouvrir le rapport de réentraînement filtré en fonction des messages non résolus.

Consulter les données clés sur les chemins

Le rapport Chemins vous permet de savoir combien de conversations ont circulé dans les chemins d'exécution des intentions pour une période donnée. Ce rapport affiche un chemin similaire à un mappage de transit où les arrêts peuvent représenter des intentions, les états définis dans la définition du flux de dialogue et les états internes qui marquent le début et la fin de chaque conversation qui n'est pas classée comme en cours.
Description de path-report.png ci-dessous
Description de l'illustration path-report.png

Vous pouvez faire défiler ce chemin pour voir où les valeurs insérées dans l'entrée utilisateur ont fait avancer la conversation et où elle a été bloquée en raison d'une entrée utilisateur incorrecte, d'une temporisation due à l'absence d'entrée, d'une erreur système ou d'autres problèmes. Le dernier arrêt d'un chemin terminé est en vert, alors qu'il est en rouge pour les chemins incomplets où ces problèmes sont survenus. Grâce à ce rapport, vous pouvez savoir où le nombre de conversations est resté constant dans chaque état et repérer où les conversations ont été ramifiées en raison de valeurs définies (ou non), ou sans fin en raison d'un autre problème tel qu'un composant personnalisé défectueux ou une temporisation.

Interroger le rapport sur les chemins

Le rapport Paths affiche un chemin d'exécution d'intention en fonction de vos paramètres d'interrogation. Vous pouvez interroger ce rapport sur les chemins d'exécution complets et incomplets pour toutes les intentions, définir la longueur du chemin en choisissant un état final et isoler des parties des chemins d'exécution en excluant les états secondaires. Par exemple, vous pouvez considérer que les états qui définissent des variables ou instrumentent la compétence pour des mesures personnalisées sont des états de "remplissage" qui nuisent au centre de votre enquête.

Tous les flux d'exécution sont rendus par défaut après l'entrée de votre interrogation. La flèche verte Begin (Début) Ceci est une image de l'icône de cheminement Begin (Début). représente System.BeginSession, l'état du système qui démarre chaque conversation. L'icône System.Intent Icône System.Intent. peut représenter différentes intentions, selon le filtre. Il peut faire référence à une intention spécifique que vous avez choisie comme filtre, ou il peut représenter chaque intention définie pour votre compétence lorsque vous filtrez le rapport par Tout (qui est le paramètre par défaut).

Pour les conversations incomplètes, le chemin peut se terminer par un état interne, tel que System.ExpiredSession, System.MaxStatesExceededHandler ou System.DefaultErrorHandler, qui représente l'erreur qui a mis fin à la conversation.
Note

Si l'état final d'un flux d'auteur YAML utilise une transaction vide (ou implcit) ({}), les données clés classeront cet état en tant qu'état System.DefaultErrorHandler et considéreront la conversation comme incomplète, même si la compétence a traité la transaction avec succès.
Cliquer sur l'état final ouvre le panneau des détails, qui affiche les statistiques, les erreurs, les avertissements et les messages de l'utilisateur final.

Le rapport affiche une réponse nulle pour tout message de client vide (ou qui n'est pas du texte brut) ou qui contient une entrée inattendue. Pour les réponses non textuelles qui sont des actions de republication, il affiche les données utiles de l'action la plus récente. Par exemple :
{"orderAction":"confirm""system.state":"orderSummary"}
Lorsque vous cliquez sur View Conversations (Voir les conversations), le rapport Conversations interrogé par le chemin d'accès s'ouvre afin que vous puissiez consulter les messages qui ont conclu la conversation dans le contexte d'une transcription.

Scénario : Interrogation du rapport de cheminement

Dans le rapport d'aperçu pour une compétence financière, vous constatez une augmentation soudaine des conversations inachevées. En ajoutant les valeurs représentées par les segments en orange "incomplets" des graphiques à barres empilées, vous déduisez que les conversations échouent dans les chemins d'exécution des intentions Envoyer de l'argent et des soldes de la compétence.

Pour examiner plus en détails les défaillances d'intention, vous ouvrez le rapport de cheminement et entrez votre première interrogation : filtrer toutes les intentions ayant un résultat incomplet. Le chemin est rendu avec deux branches : une qui commence par startPayments et se termine par SystemDefaultErrorHandler et une seconde qui commence par startBalances et se termine également par System.DefaultErrorHandler. Cliquer sur le noeud final dans l'un ou l'autre chemin ouvre le volet des détails qui note le nombre d'erreurs et affiche les extraits des messages d'utilisateur reçus par la compétence avant que ces erreurs ne se produisent. Pour voir ces extraits en contexte, cliquez sur View Conversations (Voir les conversations) dans le panneau de détails pour afficher la transcription. Dans toutes les conversations, la compétence a été forcée de répondre avec une invite d'erreur inattendue (Oops! I'm encountering a spot of trouble…) car des erreurs système l'ont empêchée de traiter la demande de l'utilisateur.

Pour en savoir plus sur les états qui ont mené à ces erreurs (et leur rôle possible dans les échecs), reportez-vous à la définition du flux de dialogue pour identifier les états qui commencent les chemins d'exécution de chacune des intentions. Ces états sont startBalances, startTxns, startPayments, startTrackSpending et setDate.

En comparant les chemins à la définition du flux de dialogue, vous remarquez que dans les flux startPayments et startBalances, le dernier état affiché dans le chemin précède un état qui utilise un composant personnalisé. Après avoir vérifié la page ComponentsCeci est une image de l'icône Components (Composants) dans la barre de navigation gauche. (Composants), vous remarquez que le service a été désactivé, ce qui empêche la compétence d'extraire les informations de compte nécessaires pour terminer les conversations.

Consulter les données clés sur les conversations de la compétence

À l'aide du rapport Conversations, vous pouvez examiner la transcription des conversations pour voir comment les utilisateurs ont terminé les chemins associés à l'intention ou les raisons pour lesquelles ils ne l'ont pas fait. Vous pouvez filtrer les conversations par canal, par mode (voix, texte, tout), par type (flux d'intention ou LLM) et par période.

Vous pouvez consulter les transcriptions de conversation en filtrant ce rapport par intention. Vous pouvez ajouter des dimensions telles que la longueur de la conversation et son résultat, completed (terminée) ou incomplete (inachevée). Si vous souhaitez savoir quel type d'erreur a provoqué des conversations inachevées, vous pouvez filtrer le rapport Outcome (Résultat) selon la valeur Incomplete (Inachevé), puis sélectionner une des catégories d'erreur (Timeouts (Temporisations), Infinite Loops (Boucles sans fin) ou System-Handled Errors (Erreurs traitées par le système)) pour le filtre Errors (Erreurs). Pour les conversations avec des messages qui ont commencé par la voix mais se sont terminés par texte, vous pouvez également effectuer un filtrage par Switched Conversations (Conversations permutées).
Note

Pour une intention donnée, le rapport Conversations répertorie les différentes conversations terminées. Cependant, dans les flux de dialogue créés par YAML, le mot terminé peut signifier des choses différentes en fonction du message de l'utilisateur et de la transition return, qui met fin à la conversation et détruit le contexte de la conversation. Pour une intention OrderPizza, par exemple, le rapport Conversations peut présenter deux conversations terminées avec succès. Une des deux seulement a abouti à une commande. L'autre conversation s'est également terminée, mais avec un traitement d'entrée utilisateur incorrecte.

Consulter les transcriptions de conversation

Cliquez sur View Conversation (Voir la conversation) pour ouvrir la conversation dans une fenêtre de clavardage. Cliquer sur l'icône de graphique à barres affiche les mesures vocales pour cette interaction.
Une description de view-conversation-window.png suit
Description de l'illustration view-conversation-window.png

Consulter les mesures vocales

Cliquer sur View Voice Metrics affiche un sous-ensemble de mesures vocales qui sont calculées pendant toute la conversation. Pour voir ces mesures décomposées par interactions vocales individuelles, cliquez sur l'icône de graphique à barres dans la vue de transcription accessible en cliquant sur View Conversations (Voir les conversations).

Anonymisation des informations d'identification personnelle

Les messages d'utilisateur peuvent contenir des informations d'identification personnelle (PII), des informations telles que le prénom et le nom, les numéros de téléphone et les adresses de courriel. Pour protéger la vie privée des utilisateurs, mais préserver le contexte du message, vous pouvez anonymiser les valeurs d'informations d'identification personnelle avec une valeur équivalente, un anonym, avant qu'elles ne soient conservées dans la base de données. Ces anonymes sont utilisés régulièrement au cours d'une session. Par exemple, toutes les occurrences de " John Smith " dans une conversation seraient remplacées par l'anonymat, " Davis ". Dans ce cas, davis, et non John Smith, est stocké dans la base de données et apparaît dans les journaux d'exportation et les rapports de données clés, tels que le rapport Convevrsations, le rapport de réentraînement et le mot clé nuage de phrases.
Note

Les valeurs CURRENCY et DATE_TIME ne sont pas anonymisées, même si elles contiennent des chiffres. En outre, la valeur "un" de l'invite par défaut pour une entité composite ("Sélectionnez une valeur pour...") est anonymisée sous forme de valeur numérique. Pour éviter cela, ajoutez une invite personnalisée ("Sélectionnez une valeur pour...", par exemple).
Vous pouvez anonymiser les valeurs reconnues par les entités système suivantes :
  • PERSON
  • NUMBER
  • EMAIL (adresse de courriel)
  • PHONE_NUMBER
  • URL
Note

Activer le masquage est obsolète dans la version 21.12. Utilisez plutôt l'anonymisation des informations d'identification personnelle pour masquer les valeurs numériques dans les rapports de données clés et les journaux d'exportation. Vous ne pouvez pas appliquer l'anonymisation aux conversations enregistrées avant la version 21.12.

Activer l'anonymisation des informations d'identification personnelle

  1. Cliquez sur Paramètres > Général.
  2. Activez Activer l'anonymisation des informations d'identification personnelle.
  3. Cliquez sur Ajouter une entité pour sélectionner les valeurs d'entité à anonymiser dans les rapports de données clés et les journaux.
    Note

    Les valeurs anonymisées sont conservées dans la base de données uniquement après l'activation de l'anonymisation des valeurs d'informations d'identification personnelle pour les entités sélectionnées. Elles ne sont pas appliquées aux conversations précédentes. Selon l'intervalle de dates sélectionné pour les rapports de données clés ou les fichiers d'exportation, les valeurs d'informations d'identification personnelle peuvent apparaître dans leurs formulaires réels et anonymisés. Vous pouvez appliquer l'anonymisation à toute valeur d'informations d'identification personnelle non anonymisées (y compris celles des conversations qui ont eu lieu avant d'activer l'anonymisation dans les paramètres de la compétence ou de l'assistant numérique) lorsque vous créez une tâche d'exportation. Ces anonymes s'appliquent uniquement au fichier exporté et ne sont pas conservés dans la base de données.
    Si vous voulez mettre fin à l'anonymisation pour une valeur d'informations d'identification personnelle, ou si vous ne voulez pas qu'un anonym soit utilisé du tout, sélectionnez l'entité correspondante, puis cliquez sur Supprimer l'entité. Une fois que vous avez supprimé une entité, la valeur des informations d'identification personnelle réelle apparaît dans les rapports de données clés pour les conversations suivantes. Sa forme anonymisée, cependant, restera pour les conversations antérieures.
    Note

    L'anonymisation est permanente (nonobstant l'anonymisation appliquée à la tâche d'exportation). Vous ne pouvez pas récupérer les valeurs d'informations d'identification personnelle après avoir activé l'anonymisation.


Anonymisation des informations d'identification personnelle dans le fichier d'exportation

L'anonymisation dans un fichier de données clés exporté dépend de l'activation ou non de l'anonymisation des informations d'identification personnelle pour la compétence ou l'assistant numérique dans les paramètres.

Lorsque vous activez les paramètres d'anonymisation des informations d'identification personnelle pour la compétence ou l'assistant numérique :
  • Les valeurs d'informations d'identification personnelle reconnues pour les entités sélectionnées sont remplacées par des anonymes. Ces anonymes sont conservés dans la base de données et remplacent les valeurs d'informations d'identification personnelle dans les journaux et les rapports de données clés. Cette anonymisation est appliquée aux conversations qui se produisent après - et non avant - votre activation de l'anonymisation dans les paramètres.
  • L'option Activer l'anonymisation des informations d'identification personnelle pour l'option de fichier pour la tâche d'exportation est activée par défaut pour s'assurer que les valeurs des informations d'identification personnelle reconnues pour les entités sélectionnées dans les paramètres sont appliquées aux conversations qui se sont produites avant que l'anonymisation des informations d'identification personnelle ait été définie. Les anonymes appliqués lors de l'exportation vers des conversations antérieures à l'anonymisation des informations d'identification personnelle existent uniquement dans le fichier d'exportation. Les valeurs d'informations d'identification personnelle d'origine restent dans la base de données, les journaux de données clés et les rapports de données clés).
  • Si vous désactivez Activer l'anonymisation des informations d'identification personnelle pour le fichier, seules les valeurs d'informations d'identification personnelle reconnues pour les entités sélectionnées dans les paramètres seront anonymisées. Les fichiers journaux contiendront les anonymes des conversations qui ont eu lieu après que les paramètres d'anonymisation ont été activés pour la compétence ou l'assistant numérique. Les conversations précédentes apparaîtront comme des énoncés originaux non modifiés avec leurs valeurs d'informations d'identification personnelle intactes. Par conséquent, le fichier d'exportation peut inclure des conversations anonymisées et non anonymisées si une partie de l'intervalle de dates de la tâche d'exportation est antérieure à l'anonymisation.
    Note

    Si votre tâche d'exportation inclut des conversations anonymisées qui se sont produites avant la version 22.04, les anonymes appliqués aux conversations antérieures à la version 22.04 seront modifiés ou réanonymisés dans les fichiers d'exportation lorsque vous sélectionnez Activer l'anonymisation des informations d'identification personnelle pour le fichier pour la tâche d'exportation. Les anonymes du fichier exporté ne correspondront ni aux anonymes des fichiers d'exportation avant la version 22.04, ni aux anonymes qui apparaissent dans les rapports de données clés.
Lorsque vous désactivez ou ne configurez pas les paramètres d'anonymisation des informations d'identification personnelle pour une compétence ou un assistant numérique :
  • L'option Activer l'anonymisation des informations d'identification personnelle pour le fichier sera désactivée par défaut pour la tâche d'exportation afin que le fichier exporté contienne tous les énoncés non modifiés initiaux, y compris les valeurs des informations d'identification personnelle.
  • Si vous sélectionnez Activer l'anonymisation des informations d'identification personnelle pour le fichier, les valeurs des informations d'identification personnelle seront anonymisées dans le fichier exporté uniquement pour les entités par défaut, PERSON, EMAIL, URL et NUMBER. Les valeurs des informations d'identification personnelle resteront dans la base de données, les journaux et les rapports de données clés.

Appliquer le rapport de réentraînement

Les clients peuvent utiliser des expressions différentes pour effectuer la même demande. Lorsque cette entrée d'utilisateur ne peut pas être résolue en intention (ou a été résolue en une intention erronée), vous pouvez la diriger vers la bonne intention à l'aide du rapport de réentraînement. Pour vous aider, le rapport de réentraînement suggère une intention pour l'entrée de l'utilisateur. Étant donné que vous ajoutez une entrée d'utilisateur réelle, vous pouvez améliorer les performances de la compétence à chaque nouvelle version.
Vous pouvez filtrer l'historique de conversation à l'aide d'un ou plusieurs des éléments suivants :
  • période
  • language (langue) - Pour une fonction multilingue activée au moyen de la prise en charge linguistique native ou de services de traduction. Par défaut, le rapport est filtré selon la langue principale.
  • intents (intentions) - Filtrer en faisant correspondre les noms des deux intentions de premier ordre, et en utilisant des opérateurs de comparaison pour leurs propriétés de résolution, le niveau de confiance et la marge de succès.
  • channels (canaux) – Comprend le canal d'agent créé pour les intégrations Oracle Service Cloud.
  • text or voice modes (modes texte ou voix) – Inclut les conversations permutées.
Le rapport renvoie les deux premières intentions pour chaque énoncé retourné ainsi que la marge de succès qui les sépare et, par l'intermédiaire d'un diagramme à barres horizontales, leurs notes de confiance contrastées. Passez la souris sur une des barres pour voir les notes réelles. La ligne horizontale qui se croise avec le graphique indique si la note est supérieure ou inférieure au seuil de confiance de la compétence.

Mettre à jour les intentions avec le rapport de réentraînement

Gardez à l'esprit les points suivants lorsque vous ajoutez des messages utilisateur à votre corpus d'entraînement :
  • Vous ne pouvez ajouter des entrées utilisateur qu'au corpus d'entraînement appartenant à une version provisoire de compétence, et non à une version publiée.
  • Vous ne pouvez pas ajouter d'entrée utilisateur qui figure comme énoncé dans le corpus d'entraînement ou que vous avez déjà ajoutée à l'aide du rapport de réentraînement.
Pour mettre à jour une intention transactionnelle ou de réponse à l'aide du rapport de réentraînement :
  1. Comme vous ne pouvez pas mettre à jour une compétence publiée, vous devez créer une version provisoire avant d'ajouter de nouvelles données au corpus.

    Conseil :

    Cliquez sur Compare All Versions (Comparer toutes les versions) Ceci est une image de l'icône Compare All Versions (Comparer toutes les versions). ou désactivez l'option Show Only Latest (Afficher uniquement la dernière) pour accéder aux versions provisoires et publiées de la compétence.
    Si vous révisez une version publiée de la compétence, sélectionnez la version provisoire.
    Ceci est une image du menu déroulant Select Version (Sélectionner une version).

  2. Dans la version provisoire de la compétence, appliquez un filtre, au besoin, puis cliquez sur Search (Rechercher).
  3. Sélectionnez le message d'utilisateur, puis l'intention cible dans le menu Select Intent (Sélectionner une intention). Si votre compétence prend en charge plusieurs langues, vous pouvez l'ajouter au jeu d'entraînement approprié en choisissant parmi les langues du menu Select Language (Sélectionner une langue).

    Conseil :

    Vous pouvez ajouter des énoncés à une intention individuellement, ou sélectionner plusieurs intentions, puis choisir l'intention cible et, le cas échéant, une langue dans le menu Add To (Ajouter à) qui se trouve dans le coin supérieur gauche du tableau. Si vous voulez ajouter toutes les demandes retournées à une intention, sélectionnez Utterances (Énoncés) (dans le coin supérieur droit du tableau), puis l'intention et la langue dans le menu Add To (Ajouter à).
  4. Cliquez sur Ajouter un exemple.
  5. Entraînez de nouveau la compétence.
  6. Republiez la compétence.
  7. Mettez à jour l'assistant numérique avec la nouvelle compétence.
  8. Surveillez dans le rapport Overview (Aperçu) les modifications apportées aux mesures au fil du temps et comparez également les différentes versions de la compétence pour savoir si de nouvelles versions ont contribué à la réussite globale de cette dernière. Répéter le processus de réentraînement améliore la réactivité de la compétence pour chaque nouvelle version. Pour les compétences intégrées au clavardage Oracle Service Cloud, par exemple, le réentraînement devrait provoquer une réduction des escalades, ce qui est indiqué par une tendance à la baisse de l'utilisation des intentions de transfert vers des agents.

Autoapprentissage modéré

En réglant le filtre Top Confidence en dessous du seuil de confiance défini pour la compétence, ou au moyen du filtre par défaut, Intent Matchs unresolvedIntent, vous pouvez mettre à jour votre corpus d'entraînement à l'aide du classement de confiance fourni par le cadre de traitement des intentions. Par exemple, si la recherche unresolvedIntent retourne "someone used my credit card" (quelqu'un a utilisé ma carte de crédit), vous pouvez l'affecter à une intention nommée Dispute (Litige). C'est ce qu'on appelle l'autoapprentissage modéré : il améliore la résolution d'intention tout en préservant l'intégrité de la compétence.

Par exemple, les critères de recherche par défaut du rapport indiquent que l'entrée utilisateur aléatoire ne peut pas être résolue au niveau de confiance requis, car elle est inappropriée, hors sujet ou contient des fautes d'orthographe. En vous référant au graphique à barres, vous pouvez affecter l'entrée utilisateur : vous pouvez renforcer la compétence pour le traitement des intentions non résolues en affectant l'entrée inintelligible, ou vous pouvez ajouter des entrées mal orthographiées à l'intention orientée tâche appropriée ("envoi argnt" à une intention d'envoi d'argent, par exemple). Si votre compétence a une intention d'accueil, par exemple, vous pouvez affecter des messages irrévérencieux ou hors sujet auxquels votre compétence peut retourner une réplique du genre : "Ce n'est pas dans mes compétences, mais je peux vous aider à commander des fleurs".

Prise en charge des services de traduction

Si votre compétence utilise un service de traduction, le rapport de réentraînement affiche les messages des utilisateurs dans la langue cible. Toutefois, le rapport de réentraînement n'ajoute pas les messages traduits au corpus d'entraînement. Il les ajoute en anglais, qui est la langue acceptée du modèle d'entraînement. Cliquez sur Il s'agit d'une image de l'icône d'affichage de la traduction. pour afficher la version anglaise qui peut potentiellement être ajoutée au corpus. Par exemple, si vous cliquez sur cette icône pour le mot français contester, le mot anglais dispute s'affiche.

Créer des tâches de fabrication de données

Au lieu d'affecter des énoncés à des intentions vous-même, vous pouvez alimenter cette tâche en masse en créant des tâches d'annotation d'intention et de validation d'intention. Vous n'avez pas besoin de compiler les journaux de conversation dans un fichier CSV pour créer ces tâches. À la place, cliquez sur Créer, puis sur Tâche de fabrication de données.
Image de l'option Créer dans le rapport de réentraînement.
Vous choisissez ensuite le type de tâche pour l'entrée utilisateur filtrée dans le rapport de réentraînement. Par exemple, vous pouvez créer une tâche d'annotation d'intention à partir d'un rapport filtré par l'intention supérieure correspondant à unresolvedIntent, ou vous pouvez créer une tâche de validation d'intention à partir d'un rapport filtré sur des énoncés qui correspondent à une intention.
Une description de retrainer-data-manufacturing-job-dialog.png suit
Description de l'illustration retrainer-data-manufacturing-job-dialog.png

Conseil :

À l'aide des options Sélectionner des énoncés, vous pouvez sélectionner tous les résultats retournés par le filtre appliqué au rapport de réentraînement pour la tâche de fabrication de données, ou créer une tâche à partir d'un sous-ensemble de ces résultats qui peut inclure un échantillonnage aléatoire d'énoncés. La sélection de l'option Exclure les énoncés des tâches précédentes signifie que les énoncés sélectionnés pour une tâche de fabrication de données précédente ne seront plus disponibles pour les tâches suivantes : les énoncés inclus dans une tâche d'annotation d'intention, par exemple, ne seront pas disponibles pour une tâche d'annotation d'intention ultérieure. Utilisez cette option lorsque vous créez plusieurs travaux pour consulter un grand nombre de résultats.
Une fois la tâche créée, elle s'affiche dans la page Tâches fabrication données, où vous pouvez la distribuer aux contributeurs en partageant le lien.

Créer une suite de tests

Comme pour les tâches de fabrication de données à partir des résultats interrogés dans le rapport de réentraînement, vous pouvez également créer des cas de test à partir des énoncés retournés par votre interrogation. Vous pouvez ajouter une suite de ces scénarios de test au testeur d'énoncé en cliquant sur Create (Créer), puis sur Test Suite (Suite de tests).
Ceci est une image de l'option Test Suite.
Vous pouvez filtrer les énoncés de la suite de tests à l'aide des options Sélectionner des énoncés de la boîte de dialogue Créer une suite de tests. Vous pouvez inclure tous les énoncés retournés par le filtre appliqué au rapport de réentraînement dans la suite de tests, ou un sous-ensemble de ces résultats qui peut inclure un échantillonnage aléatoire des énoncés. Sélectionnez Inclure le marqueur de langue pour vous assurer que la langue associée à un scénario de test reste la même tout au long du test.
Une description de create-test-suite-dialog-insights.png suit
Description de l'illustration create-test-suite-dialog-insights.png

Vous pouvez accéder à la suite de tests terminée en cliquant sur Go to Test Cases (Aller aux scénarios de test) dans le testeur d'énoncé.

Consulter l'utilisation des langues

Pour une compétence multilingue, vous pouvez comparer l'utilisation des langues prises en charge à l'aide des segments du graphique Languages (Langues). Chaque segment représente une langue utilisée.
Une description de languages-chart-overview-skill.png suit
Description de l'illustration languages-chart-overview-skill.png
Si vous souhaitez consulter les conversations représentées par une langue du graphique, vous pouvez cliquer sur un segment ou sur la légende pour accéder au Rapport Conversations, qui est filtré selon la langue sélectionnée.
Une description de conversations-report-filtered-language.png suit
Description de l'illustration conversations-report-filtered-language.png

Exporter des données clés

Les rapports variés offrent différentes perspectives. Mais si vous avez besoin de voir d'autres informations, vous pouvez créer vos propres rapports à partir d'un fichier CSV de données clés exportées.

Les fichiers CSV contiennent des champs pour les messages d'utilisateur et de compétence, les types de composant et les états, qui sont décrits dans la rubrique Champs de journal d'exportation. Vous pouvez écrire un script de traitement pour filtrer ce contenu, ou simplement utiliser une application de feuille de calcul. La rubrique Consulter les journaux d'exportation décrit certaines approches courantes pour filtrer les fichiers.
Note

Les données peuvent être réparties dans une série de CSV lorsque la tâche d'exportation retourne plus de 1 048 000 rangées. Dans de tels cas, le fichier ZIP contiendra une série de fichiers ZIP, contenant chacun un fichier CSV.
La page Exports (Exportations) répertorie les tâches par :
  • Name (Nom) : Nom de la tâche d'exportation.
  • Last Run (Dernière exécution) : Date à laquelle la tâche a été exécutée pour la dernière fois.
  • Created By (Création par) : Nom de l'utilisateur qui a créé la tâche.
  • Export Status (Statut d'exportation) : Submitted (Soumission), In Progress (En cours), Failed (Échec), No Data (Aucune donnée) (lorsqu'il n'y a aucune donnée à exporter dans l'intervalle de dates défini pour la tâche), ou Completed (Terminée), un hyperlien qui vous permet de télécharger les données exportées dans un fichier CSV. Si vous passez le curseur sur le statut Failed, un message d'explication s'affiche.
Note

Une tâche d'exportation s'applique à la version courante de la compétence.

Créer une tâche d'exportation

  1. Ouvrez la page Exports (Exportations), puis cliquez sur + Export (Exporter).
  2. Entrez un nom pour le rapport, puis un intervalle de dates.
  3. Cliquez sur Activer l'anonymisation des informations d'identification personnelle pour le fichier exporté pour remplacer les valeurs d'informations d'identification personnelle par des anonymes dans le fichier exporté. Ces anonymes existent uniquement dans le fichier exporté si les informations d'identification personnelle ne sont pas activées dans les paramètres de la compétence. Dans ce cas, les valeurs d'informations d'identification personnelle, et non leurs équivalents anonymes, sont toujours stockées dans la base de données et apparaissent dans les journaux de données clés exportés et dans tous les rapports de données clés, y compris le rapport Conversations, le rapport de réentraînement et les expressions clés dans le nuage de mots. Si les informations d'identification personnelle ont été activées dans les paramètres de la compétence, les journaux et les rapports de données clés contiendront des anonymes.
    Note

    L'anonymisation des informations d'identification personnelle activée pour les paramètres de compétence ou d'assistant numérique tient compte de la manière dont les valeurs d'informations d'identification personnelle sont anonymisées dans le fichier d'exportation et contribue également à la consistance de l'anonymisation dans le fichier d'exportation.
  4. Cliquez sur Exporter.
  5. Lorsque la tâche réussit, cliquez sur Completed (Terminé) pour télécharger un ZIP du CSV (ou des CSV pour les exportations importantes). Le nom du fichier CSV d'exportation au niveau compétence commence par B_. Les noms de fichiers pour les exportations au niveau de l'assistant numérique commencent par D_.
Description de insights-export-dialog.png :
Description de l'illustration insights-export-dialog.png

Consulter les journaux d'exportation

Voici quelques-uns des champs sur lesquels vous vous concentrerez certainement le plus souvent. La rubrique Champs de journal d'exportation décrit tous les champs. La rubrique Filtrer les données clés exportées décrit certaines approches pour le tri des données.
  • BOT_NAME contient le nom de la compétence ou de l'assistant numérique. Vous pouvez utiliser cette colonne pour voir comment la boîte de dialogue est acheminée du système numérique aux compétences (et entre les compétences).
  • CHANNEL_SESSION_ID stocke l'ID session de canal. Vous pouvez utiliser cet ID, conjointement avec la troisième colonne CHANNEL_ID, pour créer un identificateur unique pour la session. Comme les sessions peuvent expirer ou être arrêtées, vous pouvez utiliser cet identificateur pour découvrir si la session a changé.
  • TIMESTAMP indique la chronologie ou la séquence dans laquelle les événements se sont produits. Généralement, vous triez selon cette colonne.
  • USER_UTTERANCE et BOT_RESPONSE contiennent la conversation réelle entre la compétence et l'utilisateur. Ces deux champs rendent facilement visible l'enchaînement des messages de l'utilisateur et de la compétence lorsque vous triez selon TIMESTAMP.

    La colonne USER_UTTERANCE peut contenir des énoncés en double. Cela peut se produire lorsque le test utilisateur est exécuté sur la même instance, mais plus vraisemblablement parce que l'énoncé est utilisé dans différentes parties de la conversation.

  • Vous pouvez utiliser COMPONENT_NAME, CURR_STATE et NEXT_STATE pour déboguer le flux de dialogue.

Filtrer les données clés exportées

Vous triez généralement les journaux selon la colonne TIMESTAMP pour voir la séquence des événements. Pour avoir d'autres points de vue, comme la conversation compétence-utilisateur, vous pouvez filtrer les colonnes selon les états internes générés par le système. Les techniques de filtrage courantes sont les suivantes :
  • Tri de la conversation entre la compétence et l'assistant numérique – Lorsqu'une exportation contient des données provenant à la fois d'un assistant numérique et de ses compétences enregistrées, le contenu du champ BOT_NAME peut sembler déroutant, car la conversation semble sauter arbitrairement entre les différentes compétences, et entre les compétences et l'assistant numérique. Pour voir le dialogue dans l'ordre correct (et avec le bon contexte), affichez la colonne TIMESTAMP dans l'ordre croissant.
  • Recherche des limites de conversation – Utilisez le champ System. BeginSession et l'un des états finaux pour trouver le début et la fin d'une conversation. Les conversations commencent par l'état System. BeginSession. Elles peuvent se terminer par l'un des états finaux suivants :
    • System.EndSession
    • System.ExpiredSession
    • System.MaxStatesExceededHandler
    • System.DefaultErrorHandler
  • Consultation de la conversation compétence-utilisateur réelle – Pour isoler le contenu des colonnes USER_UTTERANCE et BOT_RESPONSE, filtrez la colonne CURR_STATE selon les états générés par le système System.MsgReceived et System.MsgSent
    Note

    Dans le cas d'une réponse de message non texte, provenant par exemple d'états de résolution d'entités, la sortie de la compétence sera composée de réponses partielles jointes par un caractère de saut de ligne.
    Parfois, certaines parties du dialogue utilisateur-compétence peuvent être répétées dans les colonnes USER_UTTERANCE et BOT_RESPONSE. Le texte de l'utilisateur est répété en cas de transition automatique qui ne nécessite pas d'entrée utilisateur. Les réponses de compétence sont répétées si l'état suivant est l'un des états finaux, tels que System.EndSession ou System.DefaultErrorHandler.
  • Consultation uniquement de l'exécution du flux de dialogue avec le dialogue utilisateur-compétence - Pour consulter les transactions internes ou afficher uniquement les messages non textuels, vous devez filtrer selon les états System.MsgReceived et System.MsgReceived dans la colonne CURR_STATE (approche opposée de l'affichage du dialogue uniquement).
  • Identification d'une session – Comparez les valeurs des colonnes CHANNEL_SESSION_ID et SESSION_ID (qui sont côte à côte).

Champs de journal d'exportation

Le fichier CSV exporté pour une compétence comprend les champs suivants.
Nom de colonne Description Exemple de valeur
BOT_NAME Nom de la compétence PizzaBot
CHANNEL_SESSION_ID ID utilisateur pour la session. Cette valeur identifie une nouvelle session. Une modification de cette valeur indique que la session a expiré ou a été réinitialisée pour le canal. 2e62fb24-8585-40c7-91a9-8adf0509acd6
SESSIONID Identificateur de la session en cours. Il s'agit d'un GUID aléatoire, qui rend cet ID différent de CHANNEL_SESSION_ID ou USER_ID. Une session indique qu'un ou plusieurs chemins d'exécution d'intention ont été terminés par une transition explicite return dans la définition d'état, ou par un retour implicite injecté par le moteur de dialogue. 00cbecbb-0c2e-4749-bfa9-c1b222182e12
TIMESTAMP Horodatage "created on" (création le). Utilisé pour l'ordre chronologique ou le séquencement d'événements. 14-SEP-20 01.05.10.409000 PM
USER_ID ID utilisateur 2880806
DOMAIN_USERID Référence le USER_ID. 2880806
PARENT_BOT_ID ID de la compétence ou de l'assistant numérique. Lorsqu'une conversation est déclenchée par un assistant numérique, il s'agit de l'ID de l'assistant numérique. 9148117F-D9B8-4E99-9CA9-3C8BA56CE7D5
ENTITY_MATCHES Identifie les valeurs d'élément d'entité composite qui sont mises en correspondance dans le premier énoncé résolu en intention. Si le premier message d'un utilisateur est "Commander une pizza volumineuse", cette colonne contiendra la correspondance pour l'élément PizzaSize dans l'entité composite, Pizza :
{"Pizza":[{"entityName":"Pizza","PizzaSize":["Large"]}]}
Les autres valeurs d'élément dans les messages utilisateur suivants ne font pas l'objet d'un suivi. Par conséquent, si le message suivant d'un utilisateur inclut une valeur PizzaType, il ne sera pas inclus dans le fichier d'exportation. Si un utilisateur entre d'abord "Commander une pizza" puis, une fois l'intention résolue, ajoute un message de suivi avec une valeur d'entité pour l'élément PizzaSize ("Rendre la pizza volumineuse"), une valeur nulle est enregistrée dans la colonne ENTITY_MATCHES, car le message initial qui a été résolu pour l'intention ne contenait aucune valeur d'élément.

Un objet vide ({}) est retourné lorsque vous activez l'anonymisation des informations d'identification personnelle.

{"Pizza":[{"entityName":"Pizza","PizzaType":["CHEESE BASIC"],"PizzaSize":["Large"]}]}
PHRASE Interprétation ODA de l'entrée utilisateur large thin pizza
INTENT_LIST Classement des intentions candidates, exprimées en tant qu'objets JSON. [{"INTENT_NAME":"OrderPizza","INTENT_SCORE":0.4063},{"INTENT_NAME":"OrderPasta","INTENT_SCORE":0.1986}]

Pour les exportations de l'assistant numérique, il s'agit d'un classement des compétences qui ont été appelées par son intermédiaire. Par exemple : [{"INTENT_NAME":"Pizza_For_DA_Starter-1.2","INTENT_SCORE":0.931},{"INTENT_NAME":"Retail_for_DA_Starter-1.1","INTENT_SCORE":0.0996},{"INTENT_NAME":"Finance_for_DA_Starter-1.1-DA","INTENT_SCORE":0.0925}]

BOT_RESPONSE Réponses apportées par la compétence aux énoncés de l'utilisateur. How old are you?
USER_UTTERANCE Entrée de l'utilisateur. 18
INTENT Intention choisie par la compétence pour traiter la conversation. Indique la toute première intention parmi celles qui ont été considérées comme possibles pour la conversation. OrderPizza
LOCALE Paramètres régionaux de l'utilisateur en-US
COMPONENT_NAME Composant (système ou personnalisé) exécuté à l'état courant. Vous pouvez utiliser ce champ avec CURR_STATE et NEXT STATE pour déboguer la boîte de dialogue flow.There sont d'autres valeurs de la colonne COMPONENT_NAME qui ne sont pas des composants :
  • ODA.Routing – Note qu'un événement est en cours d'enregistrement.
  • __NO_COMPONENT__ – Aucun composant n'a été défini pour l'état. La colonne peut être vide si aucun composant n'a été défini pour l'état.
AgeChecker
CURR_STATE État actuel de la conversation, que vous utilisez pour déterminer la source du message. Ce champ contient le nom des états configurés dans la définition du flux de dialogue, ainsi que celui des états générés par le système. Vous pouvez filtrer le fichier CSV selon ces états, qui incluent System.MsgRecieved pour les messages d'utilisateur et System.MsgSent pour les messages envoyés par la compétence ou par les agents pour les intégrations du service à la clientèle. checkage

NEXT_STATE État suivant du chemin d'exécution. Les transitions d'état configurées dans la définition du flux de dialogue indiquent l'état suivant dans le chemin d'exécution. crust
Language Langue utilisée pendant la session. fr
SKILL_VERSION Version de la compétence 1.2
INTENT_TYPE Indique si l'intention est transactionnelle (TRANS) ou une intention de réponse (STATIC) STATIC
CHANNEL_ID Identifie le canal sur lequel la conversation a eu lieu. Ce champ, avec CHANNEL_SESSION_ID, représente une session. AF5D45A0EF4C02D4E053060013AC71BD
ERROR_MESSAGE Message d'erreur retourné. Session expired due to inactivity.
INTENT_QUERY_TEXT Entrée envoyée au serveur d'intentions aux fins de classification. Le contenu de INTENT_QUERY_TEXT et de USER_UTTERANCE est le même lorsque l'entrée d'utilisateur est dans l'une des langues fournies, mais il est différent lorsque cette entrée est dans une langue qui n'est pas prise en charge de manière native et donc traitée par un service de traduction. Dans ce cas, INPUT_QUERY_TEXT est en anglais.  
TRANSLATE_ENABLED Indique si un service de traduction est utilisé. NO
SKILL_SESSION_ID ID session 6e2ea3dc-10e2-401a-a621-85e123213d48
ASR_REQUEST_ID Champ clé unique qui identifie chaque entrée vocale, c'est-à-dire Speech Request ID (ID demande verbale). La présence de cette valeur indique qu'il s'agit d'une entrée vocale. cb18bc1edd1cda16ac567f26ff0ce8f0
ASR_EE_DURATION Durée d'un seul énoncé vocal dans une fenêtre de conversation. 3376
ASR_LATENCY Latence vocale, mesurée en millisecondes. La reconnaissance vocale nécessite un grand nombre de calculs, mais la bande passante de mémoire et la capacité de la batterie sont limitées. Cela introduit une latence entre la réception d'une entrée vocale et sa transcription. En outre, les mises en oeuvre basées sur un serveur ajoutent une latence en raison de l'aller-retour. 50
ASR_RTF Mesure standard de performance dans le système de reconnaissance vocale. S'il faut le temps {P} pour traiter une entrée de durée {I}, le facteur en temps réel est défini comme suit : RTF = \frac{P}{I}. Rapport du temps nécessaire pour traiter l'entrée audio par rapport au temps UC. Par exemple, s'il faut une seconde de temps UC pour traiter une seconde d'audio, le RTF est 1 (1/1). Le RTF pour 500 millisecondes pour traiter une seconde d'audio est 0,5 ou ½. 0.330567
CONVERSATION_ID ID conversation 906ed6bd-de6d-4f59-a2af-3b633d6c7c06
CUSTOM_METRICS Tableau JSON contenant un objet pour chaque dimension de mesure personnalisée. name est un nom de dimension et value est la valeur retournée. Cette colonne est disponible pour les versions 22.02 et supérieures.
[{"name":"Order Sizes","value":"a box of 3 bottles"},{"name":"Wine Types","value":"red wine"},{"name":"Most Popular","value":"Pinot noir"}]

États internes

Nom de l'état Description
System.MsgReceived Événement de réception de message déclenché dans les données clés lorsqu'une compétence reçoit un message texte d'une source externe, comme un utilisateur ou une autre compétence.
System.MsgSent Événement d'envoi de message déclenché dans les données clés lorsqu'une compétence répond à une source externe, comme un utilisateur ou une autre compétence.

Pour chaque événement System.MsgReceived, il peut y avoir zéro, un ou plusieurs événements System.MsgSent correspondants.

System.BeginSession Un événement System.BeginSession est envoyé comme marqueur pour démarrer la session quand :
  • Aucun état de dialogue n'a encore été exécuté.
  • Le premier état de dialogue s'apprête à être déclenché.
System.EndSession Un événement System.EndSession est saisi comme marqueur de fin de session lorsque l'état courant n'a généré aucune erreur non traitée et qu'il comporte une transition return, ce qui indique qu'il n'y aura pas d'autre état de dialogue à exécuter. L'événement System.EndSession peut également être enregistré lorsque l'état courant comporte :
  • Une transition error pour traiter une erreur.
  • Le marqueur de conversation insightsEndConversation: true.
System.ExpiredSession (Error type: "systemHandled") Temporisation de session. La temporisation par défaut est d'une heure.

Lorsqu'une conversation s'arrête pendant plus d'une heure, l'expiration de la session est déclenchée. L'expiration de la session est saisie sous la forme de deux événements distincts dans les données clés. Le premier événement est l'état idle (inactif), qui indique que la communication de l'utilisateur est arrêtée. Le deuxième est l'événement System.ExpiredSession interne.

System.DefaultErrorHandler Le programme de traitement des erreurs par défaut est exécuté lorsqu'aucun traitement d'erreurs n'est défini dans le flux de dialogue, soit globalement (par exemple, le noeud defaultTransitions dans des flux basés sur YAML), soit au niveau de l'état avec des transitions error. Lorsque le flux de dialogue inclut des transitions error, un événement System.EndSession est déclenché.
System.ExpiredSessionHandler L'événement System.ExpiredSessionHandler est généré si un message est envoyé à la compétence par un système externe ou un utilisateur après l'expiration de la session. Par exemple, cet événement est déclenché lorsqu'un utilisateur cesse de clavarder avec la compétence en milieu de conversation, puis envoie un message après avoir laissé la fenêtre de clavardage ouverte pendant plus d'une heure.
System.MaxStatesExceededHandler Cet événement est généré s'il y a plus de 100 états de dialogue déclenchés dans le cadre d'un seul message utilisateur.

Tutoriel : Utiliser les données clés d'Oracle Digital Assistant

Créez des rapports de données clés (y compris le rapport de réentraînement) avec ce tutoriel : Utiliser les données clés d'Oracle Digital Assistant.