Données clés sur la conversation pour les aptitudes
Les rapports de conversation pour les compétences, qui suivent les conversations vocales et textuelles par période et par canal, vous permettent d'identifier les chemins d'exécution, de déterminer l'exactitude de vos résolutions d'intention et d'accéder à des transcriptions complètes de conversation.
Pour accéder aux mesures au niveau de la session, sélectionnez Couverture dans le filtre Mesure du rapport Aperçu.
Les données clés vocales sont suivies pour les compétences acheminées aux clients de clavardage configurés pour la reconnaissance vocale et exécutés sur les versions 20.8 ou supérieures des trousses SDK Oracle Web, iOS ou Android.
Types de rapport
- Aperçu - Utilisez ce tableau de bord pour connaître rapidement le nombre total de conversations vocales et textuelles par canal et par période. Les mesures du rapport segmentent ce total en conversations terminées (complete), inachevées (incomplete) et en cours (in progress). Ce rapport vous indique également comment la compétence a terminé les conversations ou n'a pas pu les conclure en classant l'utilisation de ses intentions transactionnelles et de réponse dans des graphiques à barres et des nuages de mots.
- Mesures personnalisées - Permet de mesurer les dimensions personnalisées qui ont été appliquées à la compétence.
- Intentions - Fournit des données et des informations propres aux intentions pour les mesures d'exécution (États, durée de conversation et chemins les plus et les moins populaires).
- Chemins - Affiche une représentation visuelle du flux de conversation pour une intention.
- Conversations - Affiche la transcription réelle du dialogue compétence-utilisateur, dans le contexte du flux de dialogue et de la fenêtre de clavardage.
- Réentraînement - Où vous utilisez des données clés réelles et des données clés obtenues pour améliorer votre compétence au moyen d'un autoapprentissage modéré.
- Exporter - Permet de télécharger un fichier CSV des données clés collectées par Oracle Digital Assistant. Vous pouvez créer un rapport de données clés personnalisé à partir du fichier CSV.
Consulter les mesures et graphiques sommaires
Vous pouvez ajuster cette vue en faisant le va-et-vient entre les modes Voice et Text, ou vous pouvez comparer les deux en activant l'option Compare text and voice conversations (Comparer les conversations textuelles et vocales).
Lorsque vous sélectionnez Text, le rapport affiche un jeu de mesures communes. Lorsque vous sélectionnez Voice, le rapport inclut des mesures propres à la voix supplémentaires. Ces mesures s'appliquent uniquement aux conversations vocales, de sorte qu'elles ne s'affichent pas lorsque vous choisissez Compare text and voice conversations (Comparer les conversations textuelles et vocales).
Les options Mode dépendent de la présence de messages vocaux ou textuels. S'il n'y a que des messages textuels, par exemple, seule l'option Text apparaît.
Mesures communes
- Total number of conversations (Nombre total de conversations) - Nombre total de conversations, qui comprend des conversations terminées, incomplètes et en cours. Quel que soit le statut, une conversation peut comporter une ou plusieurs tournées de dialogue. Chaque tour est un échange unique entre l'utilisateur et la compétence.
Note
Les conversations ne sont pas les mêmes que les demandes mesurées. Pour en savoir plus sur les mesures, voir Description des services Oracle PaaS et IaaS - Crédits universels. - Conversations terminées - Conversations qui se sont terminées en répondant à l'interrogation d'un utilisateur. Les conversations qui se terminent par un état End Flow ou à un état où End flow (implicite) est sélectionné comme transition sont considérées comme terminées. Dans les compétences d'auteur YAML, les conversations sont comptées comme terminées lorsque le parcours dans le flux de dialogue se termine par une transition
return
ou à un état avec la propriétéinsightsEndConversation
.Note
Cette propriété et la transitionreturn
ne sont pas disponibles dans Visual Flow Designer. - Incomplete conversations (Terminer les conversations) - Conversations que les utilisateurs n'ont pas pu terminer, soit parce qu'ils ont abandonné la compétence, soit en raison d'erreurs au niveau du système, de temporisations ou de boucles infinies.
- In progress conversations - Conversations "In-flight" (conversations qui n'ont pas encore été terminées ou qui n'ont pas fait l'objet d'une temporisation). Cette mesure effectue le suivi des conversations multitours. Une conversation en cours devient une temporisation à l'expiration de la session.
- Average time used on conversations (Temps moyen passé sur les conversations) - Durée moyenne de toutes les conversations de la compétence.
- Nombre total d'utilisateurs et Nombre d'utilisateurs uniques - Mesures de base d'utilisateurs qui indiquent le nombre d'utilisateurs dont dispose une compétence et le nombre de ces utilisateurs qui retournent des utilisateurs.
Mesures vocales
Ces mesures ne sont données qu'à titre d'information; vous ne pouvez pas les traiter.
- Temps moyen consacré aux conversations - Durée moyenne des conversations vocales.
- Facteur moyen en temps réel (RTF) - Rapport entre le temps nécessaire pour traiter l'entrée audio et le temps UC. Par exemple, s'il faut une seconde de temps UC pour traiter une seconde d'audio, le RTF est 1 (1/1). Le RTF pour 500 millisecondes pour traiter une seconde d'audio est 0,5 ou ½. Idéalement, le RTF doit être inférieur à 1 pour s'assurer que le traitement n'est pas en retard par rapport à l'entrée audio. Si le RTF est supérieur à 1, communiquez avec Oracle Support.
- Latence vocale moyenne - Délai, en millisecondes, entre la détection de la fin de l'énoncé et la génération du résultat final (ou transcription). Si vous observez une latence, communiquez avec Oracle Support.
- Temps audio moyen - Durée moyenne, en secondes, de toutes les conversations vocales.
- Conversations permutées - Pourcentage des conversations de la compétence qui ont commencé par des commandes vocales, mais qui ont dû passer au texte pour terminer l'interaction. Cette mesure indique qu'il y avait plusieurs chemins d'exécution impliqués dans le passage de la voix au texte.
Répartition des conversations inachevées
- Timeouts (Temporisations) – Les temporisations sont déclenchées lorsqu'une conversation en cours est inactive pendant plus d'une heure, ce qui entraîne l'expiration de la session.
- System-Handled Errors (Erreurs traitées par le système) – Ces erreurs sont traitées par le système, et non par la compétence. Ces erreurs se produisent lorsque la définition de flux de dialogue n'est pas équipée d'un traitement des erreurs.
- Infinite Loop (Boucle sans fin) – Des boucles sans fin peuvent se produire en raison de défauts dans la définition du flux de dialogue, tels que des transitions mal définies.
- Canceled (Annulé) - Nombre de fois où les utilisateurs ont quitté une compétence en annulant explicitement la conversation.
En cliquant sur une catégorie d'erreur dans le tableau ou sur un des arcs du graphique, vous pouvez accéder au rapport Conversations pour voir ces erreurs dans le contexte de conversations inachevées. Lorsque vous accédez au rapport Conversations à partir d'ici, les filtres Outcome (Résultats) et Errors (Erreurs) sont réglés à Incomplete et à la catégorie d'erreur sélectionnée. Par exemple, si vous cliquez sur Infinite Loop (Boucle sans fin), le rapport Conversations sera filtré selon les valeurs Incomplete et Infinite Loop. Les filtres Intents (Intentions) et Outcome (Résultat) du rapport sont réglés à Show All (Tout afficher). Le champ Sort by (Trier par) est réglé à Latest (Le plus récent).
Mesures d'utilisateur
- Number of users (Nombre d'utilisateurs) - Total cumulé de tous les types d'utilisateur qui ont interagi avec la compétence : utilisateurs ayant des ID affectés au canal qui persistent entre les sessions (les utilisateurs uniques) et utilisateurs dont les ID affectés automatiquement durent une seule session.
- Number of Unique Users (Nombre d'utilisateurs uniques) - Nombre d'utilisateurs qui ont accédé à la compétence, tel qu'identifié par leur ID utilisateur unique. Chaque canal a une méthode différente d'affectation d'un ID à un utilisateur : les utilisateurs qui clavardent avec la compétence au moyen du canal Web sont identifiés par la valeur définie pour le champ
userId
, par exemple. Le canal de test du testeur de compétence vous affecte un nouvel ID utilisateur chaque fois que vous mettez fin à une session de clavardage en cliquant sur Reset (Réinitialiser).Une fois affectés, ces ID uniques persistent dans les sessions de clavardage afin que le nombre d'utilisateurs uniques calculé par cette mesure n'augmente pas lorsqu'un utilisateur revisite la compétence. Le nombre augmente uniquement lorsqu'un autre utilisateur doté d'un ID unique est ajouté au groupe d'utilisateurs.Conseil :
Étant donné que les ID utilisateur ne sont uniques qu'au sein d'un canal (un utilisateur ayant des ID identiques sur deux canaux différents sera compté comme deux utilisateurs, pas un), vous pouvez avoir une meilleure idée de la base d'utilisateurs en filtrant le rapport par canal.
Activer le suivi des nouveaux utilisateurs
"purgeUserData": true
dans les données utiles de la demande Démarrer la tâche d'exportation POST.
La collecte de nouvelles données d'utilisateur ne commence qu'à la date d'expédition de cette fonction avec la version 23.10.
Consulter les données clés sur les tendances des conversations
- Completed (Terminées) - Conversations que les utilisateurs ont terminées avec succès. Les conversations qui se terminent par un état End Flow ou à un état où End flow (implicite) est sélectionné comme transition sont considérées comme terminées. Dans les compétences d'auteur YAML, les conversations sont comptées comme terminées lorsque le parcours dans le flux de dialogue se termine par une transition
return
ou à un état avec la propriétéinsightsEndConversation
.Note
Cette propriété et la transitionreturn
ne sont pas disponibles dans Visual Flow Designer. - Incomplete (Inachevées) — Conversations que les utilisateurs n'ont pas pu terminer, soit parce qu'ils ont abandonné la compétence, soit en raison d'erreurs au niveau du système, de temporisations ou de défauts de conception de la compétence.
- In Progress (En cours) - Conversations en cours (conversations qui n'ont pas encore été terminées ou qui n'ont pas fait l'objet d'une temporisation). Cette mesure effectue le suivi des conversations multitours.
Consulter l'utilisation des intentions
Les conversations ne se résolvent pas toutes en intention. Lorsque No Intent (Aucune intention) s'affiche dans le graphique à barres Intent et le nuage de mots, cela indique qu'une intention n'a pas été résolue par l'entrée de l'utilisateur, mais par une action de transition, une conversation lancée par une compétence ou par acheminement à partir d'un assistant numérique.
You can filter the Intents bar chart and the word cloud using the bar chart's All Intents, Answer Intents, and Transaction Intents options.
Description of the illustration all-intents.png
These options enable you to quickly breakdown usage. For example, for mixed skills – ones that have both transactional and answer intents – you can view usage for these two types of intents using the Answer Intents and Transaction Intents options.
Description of the illustration transactional-intents.png
The key phrases rendered in the word cloud reflect the option, so for example, only the key phrases associated answer intents display when you select Answer Intents.
Description of the illustration answer-intents.png
Vérifier les intentions et procéder au réentraînement à l'aide des nuages d'expressions clés
La couleur représente le niveau de réussite de la résolution d'intention :
- Le vert représente une moyenne élevée de résolution des demandes, supérieure ou égale au seuil de marge de succès pour la période indiquée.
- Le jaune représente une résolution d'intention qui, en moyenne, n'atteint pas le seuil de marge de succès pour la période considérée. Cette couleur indique de manière fiable que l'intention doit être réentraînée.
- Le rouge est réservé aux cas unresolvedIntent. Il s'agit de l'ensemble des demandes d'utilisateur qui n'ont pas pu être mises en correspondance avec une intention et qui pourraient être intégrées au corpus.
Il offre également une vue plus détaillée de l'utilisation des intentions au moyen d'expressions clés qui représentent les entrées réelles de l'utilisateur, et, pour les expressions en langue anglaise (le comportement diffère lorsque des expressions qui ne sont pas en anglais sont résolues en intention), l'accès à la fonction Retrainer (Réentraînement).
Vérifier les expressions clés
Vous pouvez cliquer sur une intention pour accéder à un jeu d'expressions clés. Ces expressions sont des abstractions du message initial de l'utilisateur, qui conservent l'intention initiale. Par exemple, l'expression clé cancel my order (annuler ma commande) est tirée du message initial, I want to cancel my order (je souhaite annuler ma commande). Les messages similaires peuvent être regroupés dans une expression clé unique. Par exemple, les expressions I want to cancel my order (je souhaite annuler ma commande), can you cancel my order (pouvez-vous annuler ma commande) et cancel my order please (merci d'annuler ma commande) peuvent être regroupées dans l'expression clé cancel my order (annuler ma commande). Comme pour les intentions, la taille représente l'importance pour la période en question et la couleur reflète le niveau de confiance.
Description de l'illustration key-phrases-intent.png
You can see the actual user message (or the messages grouped within a key phrase) within the context of a conversation when you click a phrase and then choose View Conversations from the context menu.
Description of the illustration view-conversations-option.png
This option opens the Conversations Report.
Description of the illustration key-phrases-conversation-report.png
Anonymized values display in the phrase cloud when you enable PII Anonymization.
Description of the illustration pii-skill-phrase-cloud.png
Effectuer un réentraînement à partir du nuage de mots
Cette option permet d'ouvrir le rapport de réentraînement, où vous pouvez ajouter l'expression réelle au corpus d'entraînement.
Consulter les expressions dans des langues autres que l'anglais
Le comportement du nuage d'expressions clés diffère pour les compétences utilisant la prise en charge linguistique native en ce que vous ne pouvez pas accéder au rapport de réentraînement pour les expressions qui ne sont pas en anglais. Lorsque des expressions dans différentes langues ont été résolues en une intention, les langues, et non les expressions clés, s'affichent dans le nuage lorsque vous cliquez sur une intention. For example, if French and English display after you click unresolvedIntent, then that means that there are phrases in both English and French that could not be resolved to any intent.
Description of the illustration ml-phrase-cloud.png
If English is among the languages, then you can drill down to the key phrase cloud by clicking English. À partir du nuage d'expressions clés, vous pouvez utiliser les options View Conversations (Afficher les conversations) et Retrain (Réentraînement) du menu contextuel pour accéder aux rapports de conversation et de réentraînement. Mais lorsque vous forez à partir d'une langue autre que l'anglais, vous descendez jusqu'au rapport Conversations filtré par intention et par langue. Il n'y a pas d'accès direct au rapport de réentraînement. Ainsi, pour en revenir à l'exemple unresolvedIntent, si vous cliquez sur English (Anglais), vous allez forer jusqu'au nuage d'expressions clés. Si vous cliquez sur French, vous accédez au rapport Conversations, filtré sur les valeurs unresolvedIntent et French.
Description de l'illustration ml-conversation-report.png
Si vous souhaitez intégrer ou réaffecter une expression après l'avoir examinée dans le contexte de la conversation, vous devez l'intégrer directement à partir du rapport de réentraînement en filtrant sur l'intention, la langue (et tout autre critère).
Consulter l'utilisation des langues
Pour une compétence multilingue, vous pouvez comparer l'utilisation des langues prises en charge à l'aide des segments du graphique Languages (Langues). Chaque segment représente une langue utilisée.
Description de l'illustration languages-chart-overview-skill.png
Si vous souhaitez consulter les conversations représentées par une langue du graphique, vous pouvez cliquer sur un segment ou sur la légende pour accéder au Rapport Conversations, qui est filtré selon la langue sélectionnée.
Description de l'illustration conversations-report-filtered-language.png
Réviser la rétroaction et les notations de l'utilisateur
La note moyenne de satisfaction du client, qui est proportionnelle au nombre de conversations pour chacune des notations, est affichée au centre du graphique en beignet. Les totaux individuels sur une base par conversation pour chaque nombre sur la plage sont grisés comme arcs du diagramme en beignet de notation de l'utilisateur qui varient en longueur selon l'occurrence. Cliquer sur l'un de ces arcs ouvre le rapport Conversations filtré par la note.
Si votre compétence s'exécute sur une plate-forme avant la version 21.12, vous devez désactiver Enable Masking (Activer le masquage) pour voir la notation de l'utilisateur dans la transcription de la conversation. Pour conserver la notation réelle de l'utilisateur dans les transcriptions pour les compétences exécutées sur les plates-formes 21.12 et supérieures (où l'option Activer le masquage est obsolète), vous devez supprimer l'entité NUMBER de la liste des entités traitées comme des informations d'identification personnelle lors de l'activation de l'anonymisation des informations d'identification personnelle.
Par défaut, le seuil minimal du composant User Feedback (Rétroaction de l'utilisateur) pour déterminer une réaction positive ou négative est fixé à deux (insatisfait). Si la rétroaction de l'utilisateur est activée pour le composant, le nuage de mots User Feedback affiche les commentaires de l'utilisateur qui accompagnent les notations négatives et les taille en fonction de leur fréquence. Vous pouvez voir ces commentaires dans le contexte de l'interaction globale en cliquant sur l'arc dans le graphique User Rating (Notation de l'utilisateur) qui représente une notation inférieure au seuil (un ou deux par paramètres par défaut du composant), puis accédez au rapport Conversation, qui est filtré en fonction de la note sélectionnée.
Description de l'illustration conversation-report-user-feedback.png
Comment ajouter le composant Feedback (Rétroaction) au flux de dialogue
System.Feedback
à l'aide de la transition next
.) Votre flux de dialogue peut passer à une séquence d'états de rétroaction d'utilisateur chaque fois que vous souhaitez évaluer la réaction d'un utilisateur. Cela peut être, par exemple, une fois qu'un utilisateur a terminé ou annulé une transaction.
Si l'état précédant l'état Rétroaction de l'utilisateur comporte une propriété Keep Turn (Conserver l'activation), réglez-la à
True
pour vous assurer que la compétence ne transmet pas la conversation à l'utilisateur avant que le flux ne passe à la rétroaction de l'utilisateur. Pour maintenir le contrôle de la compétence dans les flux d'auteurs YAML, définissez keepTurn: true
dans l'état avant l'état System.Feedback
.
above
, below
et cancel
transitions. Dans les flux de dialogue YAML, chacun de ces états comporte des transitions return: done
.Ces états tiennent compte de la plage haute et basse de la notation telle que déterminée par la propriété Threshold. Vous pouvez ajouter ces états en tant que messages utilisateur confirmant la réception de la notation utilisateur.
Type de commentaires | Exemple de message |
---|---|
above |
Thank you for rating us ${system.userFeedbackRating.value} |
below |
You entered: ${system.userFeedbackText.value} We appreciate your feedback. |
cancel |
Skipped giving a rating or feedback? Maybe next time. |
systemComponent_Feedback_
dans un fichier CSV d'ensemble de ressources.
Utilisation de mesures personnalisées pour mesurer la rétroaction des utilisateurs
Chacun de ces états Définir des mesures personnalisées correspond à l'un des états nommés par les actions de transition
above
, below
et cancel
du composant de rétroaction d'utilisateur. Par exemple, si vous souhaitez ajouter une mesure nommée Feedback Type au rapport Custom Metrics, procédez comme suit :
- Insérez les états Définir des mesures personnalisées avant chacun des états nommés par les actions de transition
above
,below
etcancel
du composant de rétroaction d'utilisateur. - Pour chaque état, entrez Feedback Type comme nom de dimension.
- Ajoutez des valeurs distinctes pour chaque état, selon le type de transition (par exemple,
Canceled
,Positive
,Negative
). Maintenant que vous avez instrumenté le flux de dialogue pour enregistrer les données de rétroaction, vous pouvez interroger les différentes valeurs dans le rapport Mesures personnalisées.
Dans les flux YAML, vous suivez les mesures de rétroaction en ajoutant des états System.SetCustomMetrics
.
Vérifier les mesures personnalisées
Le rapport Mesures personnalisées vous donne une perspective ajoutée sur les données clés en suivant les données de conversation pour les dimensions propres à la compétence. Les dimensions suivies par ce rapport sont créées dans la définition du flux de dialogue à l'aide du composant Définir des mesures personnalisées (et du composant System.SetCustomMetrics
dans les flux YAML). À l'aide de ce composant, vous pouvez créer des dimensions pour explorer les besoins en matière d'affaires et de développement propres à votre compétence. Par exemple, vous pouvez créer des dimensions qui indiquent la consommation d'un produit ou d'un service (la pâte à pizza la plus demandée ou le type de rapport de frais le plus souvent déposé), ou effectuer un suivi lorsque la compétence échoue aux utilisateurs en les forçant à quitter ou en les transmettant à des agents actifs.
Les dimensions et les catégories apparaissent dans le rapport uniquement lorsque les conversations mesurées par elles se sont produites.
Instrumenter la compétence pour les mesures personnalisées
To generate the Custom Metrics report, you need to define one or more dimensions using the Set Custom Metrics component (accessed by clicking Variables > Set Custom Metrics or Variables > Set Insights Custom Metrics in YAML dialogs ).
Description de l'illustration set-insights-component-dialog.png
Si le rapport Mesures personnalisées ne contient aucune donnée, il est probable qu'aucun état de définition de mesures personnalisées n'a été défini ou que les transitions vers ces états n'ont pas été définies correctement.
Vous pouvez définir jusqu'à six dimensions pour chaque compétence.
Création de dimensions pour les valeurs de variable
Vous pouvez suivre les valeurs d'entité en réglant une transition next
à un état Définir des mesures personnalisées après l'état de définition des valeurs (par exemple, un état Résoudre l'ensemble composite). Les dimensions et les filtres du rapport Set Custom Metrics sont affichés à partir des dimensions et des valeurs de dimension définies par le composant Set Custom Metrics.
Si l'état de définition de valeur fait référence à une entité composite, vous pouvez effectuer le suivi des éléments d'entité à l'aide d'une expression Apache Freemarker pour définir la valeur de dimension. Par exemple, la valeur d'une dimension Pizza Size peut être définie comme ${pizza.value.pizzaSize.value}
. Les valeurs individuelles retournées par cette expression (petite, moyenne, grande) sont affichées en tant que segments de données dans le rapport Mesures personnalisées et peuvent également être appliquées en tant que filtres. Par exemple, le rapport qui résulte de l'instrumentalisation d'une compétence de pizza décompose les commandes de pizza par taille, type et pâte à pizza. Ces détails supplémentaires complètent les mesures déjà signalées pour l'intention Order Pizza.
Description de l'illustration custom-metrics-example.png
Les dimensions basées sur une valeur d'entité ne sont enregistrées dans le rapport Mesures personnalisées qu'après qu'une valeur d'entité a été définie. Lorsqu'aucune valeur n'a été définie ou lorsque l'état de définition de valeur n'est pas passé à un état Définir des mesures personnalisées, les graphiques du rapport notent les données manquantes comme <not set>.
Création de dimensions permettant de suivre l'utilisation des compétences
En plus des dimensions basées sur des valeurs de variable, vous pouvez créer des dimensions qui suivent non seulement la façon dont les utilisateurs interagissent avec la compétence, mais aussi son efficacité globale. Vous pouvez, par exemple, ajouter une dimension qui indique la fréquence et la raison du transfert des utilisateurs à des agents humains.
Description de l'illustration custom-metrics-agent-transfer-example.png
Des dimensions comme celles-ci vous informent de l'expérience utilisateur. Vous pouvez ajouter la même dimension à différents états Définir des mesures personnalisées dans vos flux. Chacun de ces états Définir des mesures personnalisées définit une catégorie (ou une valeur de dimension) différente. Par exemple, il existe des dimensions de transfert d'agent dans deux flux différents : l'un dans le flux Order Pizza ayant la valeur No Agent Needed (Aucun agent requis) lorsque la compétence termine avec succès une commande et l'autre dans le flux UnresolvedIntent ayant la valeur Bad Input (Entrée incorrecte) qui effectue le suivi lorsque la compétence transfère des utilisateurs vers un agent humain en raison d'une entrée non résolue. Le rapport Mesures personnalisées enregistre les données de ces mesures lorsque ces états sont inclus dans un flux d'exécution.
États de mesure personnalisés pour la dimension Transfert d'agent | Flux | Valeur | Utilisez |
---|---|---|---|
setInsightsCustomMetricsNoAgent |
Commandez Pizza (à partir de la transition next de l'état Résoudre le sac composite,
|
Aucun agent nécessaire | Indique le nombre de conversations réussies où des commandes ont été passées sans aide. |
setInsightsCustomMaxErrors |
Commander une pizza (à partir de la transition cancel de l'état Résoudre le sac composite)
|
Nombre maximal d'erreurs | Reflète le nombre de conversations où les utilisateurs ont été dirigés vers des agents humains parce qu'ils ont atteint le m |
setInsightsCustomMetricsBadInput |
UnresolvedIntent | Entrée incorrecte | Indique le nombre de conversations où l'entrée non résolue a entraîné le transfert des utilisateurs vers un agent humain. |
setInsightsCustomMetricsLiveAgent |
Appeler l'agent (avant la séquence de lancement de l'agent) | Agent demandé | Indique le nombre de conversations pour lesquelles les utilisateurs ont demandé un agent humain. |
Exporter les données des mesures personnalisées
Colonne | Description |
---|---|
CREATED_ON |
Date de l'exportation des données. |
USER_ID |
ID de l'utilisateur de la compétence. |
SESSION_ID |
Identificateur de la session en cours. Il s'agit d'un GUID aléatoire, qui rend cet ID différent de USER_ID. |
BOT_ID |
ID compétence affecté à la compétence lors de sa création. |
CUSTOM_METRICS |
Tableau JSON contenant un objet pour chaque dimension de mesure personnalisée. name est un nom de dimension et value est la valeur de dimension saisie dans la conversation. [{"name":"Custom Metric Name 1","value":"Custom Metric Value"},{"name":"Custom Metric Name 2","value":"Custom Metric Value"},...] Par exemple : [{"name":"Pizza Size","value":"Large"},{"name":"Pizza Type","value":"Hot and Spicy"},{"name":"Pizza Crust","value":"regular"},{"name":"Agent Transfer","value":"No Agent Needed"}] .
|
QUERY |
Énoncé de l'utilisateur ou réponse de la compétence qui contient une valeur de mesure personnalisée. |
CHOICES |
Choix de menu dans les composants d'interface utilisateur. |
COMPONENT |
Composant de boîte de dialogue, System.setCustomMetrics (Définir le composant personnalisé dans les flux visuels) qui exécute les mesures personnalisées.
|
CHANNEL |
Canal qui a dirigé la session. |
Consulter les données clés sur les intentions
Ce rapport retourne les intentions définies pour une compétence pendant une période donnée, de sorte que son contenu peut changer pour refléter les intentions ajoutées, renommées ou supprimées de la compétence à différents moments.
Chemins terminés
Vous pouvez utiliser ces statistiques et comme indicateurs de l'expérience utilisateur. Par exemple, vous pouvez utiliser ce rapport pour déterminer si le temps passé s'accorde à la tâche ou si les chemins les plus courts entraînent une dégradation de l'expérience utilisateur susceptible d'encourager les abandons. Pouvez-vous, par exemple, accélérer la progression de l'utilisateur dans la compétence en insérant des valeurs avec des entités composites au lieu d'invites et de composants de définition de valeurs?
- Vous pouvez tracer le chemin d'exécution d'une intention sélectionnée en cliquant sur View Path (Voir le chemin), ce qui ouvre le rapport Paths (Chemins) filtré par conversations terminées pour l'intention. Pour vous concentrer davantage sur les chemins d'exécution, vous pouvez filtrer les états qui ne vous intéressent pas.
- Vous pouvez lire les transcriptions des conversations terminées pour une intention en cliquant sur View Conversations (Voir les conversations), ce qui ouvre le rapport Conversations filtré par conversations terminées pour l'intention.
Chemins incomplets
System.DefaultErrorHandler
. En l'utilisant, vous pouvez déterminer si un état de flux de dialogue est un point de défaillance continu et les raisons pour lesquelles (erreurs, temporisations ou entrée utilisateur incorrecte). Ce rapport n'affiche pas les chemins ou la vitesse pour les chemins incomplets, car ils ne s'appliquent pas à cette entrée utilisateur. Le graphique à barres affiche chaque intention selon le nombre de messages qui n'ont pas été résolus en intention, ou qui auraient pu l'être (ce qui signifie que le système aurait pu deviner une intention) mais ne l'ont pas été à cause d'une note de confiance faible.
Le graphique États incomplets ne présente pas d'intentions de réponse (intentions statiques) dans les flux YAML, car leurs résultats sont pris en charge uniquement par l'état du composant
System.Intent
, et non par une série d'états dans une définition de flux de dialogue.
{}
). Même si la compétence traite la transaction avec succès, les données clés classent toujours la conversation comme incomplète et affichent l'état final comme System.DefaultErrorHandler
.
- Cliquez sur View Path (Voir le chemin) pour ouvrir le rapport Paths (Chemin) filtré pour les conversations inachevées pour l'intention sélectionnée. Les états de terminal de ce chemin peuvent inclure des états définis dans la boîte de dialogue ou un état interne qui marque la fin d'une conversation, tels que
System.EndSession
,System.ExpiredSession
,System.MaxStatesExceededHandler
etSystem.DefaultErrorHandler
. - Vous pouvez accéder aux transcriptions des conversations qui ont mené à l'échec en cliquant sur View Conversations (Voir les conversations). Cette option ouvre le rapport Conversations filtré pour les conversations inachevées pour l'intention sélectionnée. Vous pouvez affiner les résultats en appliquant un filtre. Par exemple, vous pouvez filtrer le rapport par conditions d'erreur.
unresolvedIntent
En plus de la durée et des acheminements pour les intentions orientées tâches, le rapport Intents (Intentions) retourne les messages qui n'ont pas pu être résolus. Pour voir ces messages, cliquez sur unresolvedIntent dans la barre de navigation de gauche. Lorsque vous cliquez sur une intention dans le graphique à barres Prédictions plus proches, la fenêtre Message non résolu est mise à jour et les messages non résolus de cette intention sont triés par note de probabilité.
Consulter les données clés sur les chemins
Le rapport Chemins vous permet de savoir combien de conversations ont circulé dans les chemins d'exécution des intentions pour une période donnée. Ce rapport affiche un chemin similaire à un mappage de transit où les arrêts peuvent représenter des intentions, les états définis dans la définition du flux de dialogue et les états internes qui marquent le début et la fin de chaque conversation qui n'est pas classée comme en cours.
Description de l'illustration path-report.png
Vous pouvez faire défiler ce chemin pour voir où les valeurs insérées dans l'entrée utilisateur ont fait avancer la conversation et où elle a été bloquée en raison d'une entrée utilisateur incorrecte, d'une temporisation due à l'absence d'entrée, d'une erreur système ou d'autres problèmes. Le dernier arrêt d'un chemin terminé est en vert, alors qu'il est en rouge pour les chemins incomplets où ces problèmes sont survenus. Grâce à ce rapport, vous pouvez savoir où le nombre de conversations est resté constant dans chaque état et repérer où les conversations ont été ramifiées en raison de valeurs définies (ou non), ou sans fin en raison d'un autre problème tel qu'un composant personnalisé défectueux ou une temporisation.
Interroger le rapport sur les chemins
Tous les flux d'exécution sont rendus par défaut après l'entrée de votre interrogation. La flèche verte Begin (Début)

System.BeginSession
, l'état du système qui démarre chaque conversation. L'icône System.Intent

Pour les conversations incomplètes, le chemin peut se terminer par un état interne, tel que
System.ExpiredSession
, System.MaxStatesExceededHandler
ou System.DefaultErrorHandler
, qui représente l'erreur qui a mis fin à la conversation.
Si l'état final d'un flux d'auteur YAML utilise une transaction vide (ou implcit) (
{}
), les données clés classeront cet état en tant qu'état System.DefaultErrorHandler
et considéreront la conversation comme incomplète, même si la compétence a traité la transaction avec succès.
Le rapport affiche une réponse nulle pour tout message de client vide (ou qui n'est pas du texte brut) ou qui contient une entrée inattendue. Pour les réponses non textuelles qui sont des actions de republication, il affiche les données utiles de l'action la plus récente. Par exemple :
{"orderAction":"confirm""system.state":"orderSummary"}
Lorsque vous cliquez sur View Conversations (Voir les conversations), le rapport Conversations interrogé par le chemin d'accès s'ouvre afin que vous puissiez consulter les messages qui ont conclu la conversation dans le contexte d'une transcription.
Scénario : Interrogation du rapport de cheminement
Dans le rapport d'aperçu pour une compétence financière, vous constatez une augmentation soudaine des conversations inachevées. En ajoutant les valeurs représentées par les segments en orange "incomplets" des graphiques à barres empilées, vous déduisez que les conversations échouent dans les chemins d'exécution des intentions Envoyer de l'argent et des soldes de la compétence.
Pour examiner plus en détails les défaillances d'intention, vous ouvrez le rapport de cheminement et entrez votre première interrogation : filtrer toutes les intentions ayant un résultat incomplet. Le chemin est rendu avec deux branches : une qui commence par startPayments
et se termine par SystemDefaultErrorHandler
et une seconde qui commence par startBalances et se termine également par System.DefaultErrorHandler
. Cliquer sur le noeud final dans l'un ou l'autre chemin ouvre le volet des détails qui note le nombre d'erreurs et affiche les extraits des messages d'utilisateur reçus par la compétence avant que ces erreurs ne se produisent. Pour voir ces extraits en contexte, cliquez sur View Conversations (Voir les conversations) dans le panneau de détails pour afficher la transcription. Dans toutes les conversations, la compétence a été forcée de répondre avec une invite d'erreur inattendue (Oops! I'm encountering a spot of trouble…) car des erreurs système l'ont empêchée de traiter la demande de l'utilisateur.
Pour en savoir plus sur les états qui ont mené à ces erreurs (et leur rôle possible dans les échecs), reportez-vous à la définition du flux de dialogue pour identifier les états qui commencent les chemins d'exécution de chacune des intentions. Ces états sont startBalances
, startTxns
, startPayments
, startTrackSpending
et setDate
.
En comparant les chemins à la définition du flux de dialogue, vous remarquez que dans les flux startPayments
et startBalances
, le dernier état affiché dans le chemin précède un état qui utilise un composant personnalisé. Après avoir vérifié la page Components (Composants), vous remarquez que le service a été désactivé, ce qui empêche la compétence d'extraire les informations de compte nécessaires pour terminer les conversations.
Consulter les données clés sur les conversations de la compétence
À l'aide du rapport Conversations, vous pouvez examiner la transcription des conversations pour voir comment les utilisateurs ont terminé les chemins associés à l'intention ou les raisons pour lesquelles ils ne l'ont pas fait. Vous pouvez filtrer les conversations par canal, par mode (voix, texte, tout), par type (flux d'intention ou LLM) et par période.
Pour une intention donnée, le rapport Conversations répertorie les différentes conversations terminées. Cependant, dans les flux de dialogue créés par YAML, le mot terminé peut signifier des choses différentes en fonction du message de l'utilisateur et de la transition
return
, qui met fin à la conversation et détruit le contexte de la conversation. Pour une intention OrderPizza, par exemple, le rapport Conversations peut présenter deux conversations terminées avec succès. Une des deux seulement a abouti à une commande. L'autre conversation s'est également terminée, mais avec un traitement d'entrée utilisateur incorrecte.
Consulter les transcriptions de conversation
Cliquez sur View Conversation (Voir la conversation) pour ouvrir la conversation dans une fenêtre de clavardage. Cliquer sur l'icône de graphique à barres affiche les mesures vocales pour cette interaction.
Description de l'illustration view-conversation-window.png
Consulter les mesures vocales
Anonymisation des informations d'identification personnelle
Les valeurs CURRENCY et DATE_TIME ne sont pas anonymisées, même si elles contiennent des chiffres. En outre, la valeur "un" de l'invite par défaut pour une entité composite ("Sélectionnez une valeur pour...") est anonymisée sous forme de valeur numérique. Pour éviter cela, ajoutez une invite personnalisée ("Sélectionnez une valeur pour...", par exemple).
- PERSON
- NUMBER
- EMAIL (adresse de courriel)
- PHONE_NUMBER
- URL
Activer le masquage est obsolète dans la version 21.12. Utilisez plutôt l'anonymisation des informations d'identification personnelle pour masquer les valeurs numériques dans les rapports de données clés et les journaux d'exportation. Vous ne pouvez pas appliquer l'anonymisation aux conversations enregistrées avant la version 21.12.
Activer l'anonymisation des informations d'identification personnelle
- Cliquez sur Paramètres > Général.
- Activez Activer l'anonymisation des informations d'identification personnelle.
- Cliquez sur Ajouter une entité pour sélectionner les valeurs d'entité à anonymiser dans les rapports de données clés et les journaux.
NoteSi vous voulez mettre fin à l'anonymisation pour une valeur d'informations d'identification personnelle, ou si vous ne voulez pas qu'un anonym soit utilisé du tout, sélectionnez l'entité correspondante, puis cliquez sur Supprimer l'entité. Une fois que vous avez supprimé une entité, la valeur des informations d'identification personnelle réelle apparaît dans les rapports de données clés pour les conversations suivantes. Sa forme anonymisée, cependant, restera pour les conversations antérieures.
Les valeurs anonymisées sont conservées dans la base de données uniquement après l'activation de l'anonymisation des valeurs d'informations d'identification personnelle pour les entités sélectionnées. Elles ne sont pas appliquées aux conversations précédentes. Selon l'intervalle de dates sélectionné pour les rapports de données clés ou les fichiers d'exportation, les valeurs d'informations d'identification personnelle peuvent apparaître dans leurs formulaires réels et anonymisés. Vous pouvez appliquer l'anonymisation à toute valeur d'informations d'identification personnelle non anonymisées (y compris celles des conversations qui ont eu lieu avant d'activer l'anonymisation dans les paramètres de la compétence ou de l'assistant numérique) lorsque vous créez une tâche d'exportation. Ces anonymes s'appliquent uniquement au fichier exporté et ne sont pas conservés dans la base de données.Note
L'anonymisation est permanente (nonobstant l'anonymisation appliquée à la tâche d'exportation). Vous ne pouvez pas récupérer les valeurs d'informations d'identification personnelle après avoir activé l'anonymisation.
Anonymisation des informations d'identification personnelle dans le fichier d'exportation
L'anonymisation dans un fichier de données clés exporté dépend de l'activation ou non de l'anonymisation des informations d'identification personnelle pour la compétence ou l'assistant numérique dans les paramètres.
- Les valeurs d'informations d'identification personnelle reconnues pour les entités sélectionnées sont remplacées par des anonymes. Ces anonymes sont conservés dans la base de données et remplacent les valeurs d'informations d'identification personnelle dans les journaux et les rapports de données clés. Cette anonymisation est appliquée aux conversations qui se produisent après - et non avant - votre activation de l'anonymisation dans les paramètres.
- L'option Activer l'anonymisation des informations d'identification personnelle pour l'option de fichier pour la tâche d'exportation est activée par défaut pour s'assurer que les valeurs des informations d'identification personnelle reconnues pour les entités sélectionnées dans les paramètres sont appliquées aux conversations qui se sont produites avant que l'anonymisation des informations d'identification personnelle ait été définie. Les anonymes appliqués lors de l'exportation vers des conversations antérieures à l'anonymisation des informations d'identification personnelle existent uniquement dans le fichier d'exportation. Les valeurs d'informations d'identification personnelle d'origine restent dans la base de données, les journaux de données clés et les rapports de données clés).
- Si vous désactivez Activer l'anonymisation des informations d'identification personnelle pour le fichier, seules les valeurs d'informations d'identification personnelle reconnues pour les entités sélectionnées dans les paramètres seront anonymisées. Les fichiers journaux contiendront les anonymes des conversations qui ont eu lieu après que les paramètres d'anonymisation ont été activés pour la compétence ou l'assistant numérique. Les conversations précédentes apparaîtront comme des énoncés originaux non modifiés avec leurs valeurs d'informations d'identification personnelle intactes. Par conséquent, le fichier d'exportation peut inclure des conversations anonymisées et non anonymisées si une partie de l'intervalle de dates de la tâche d'exportation est antérieure à l'anonymisation.
Note
Si votre tâche d'exportation inclut des conversations anonymisées qui se sont produites avant la version 22.04, les anonymes appliqués aux conversations antérieures à la version 22.04 seront modifiés ou réanonymisés dans les fichiers d'exportation lorsque vous sélectionnez Activer l'anonymisation des informations d'identification personnelle pour le fichier pour la tâche d'exportation. Les anonymes du fichier exporté ne correspondront ni aux anonymes des fichiers d'exportation avant la version 22.04, ni aux anonymes qui apparaissent dans les rapports de données clés.
- L'option Activer l'anonymisation des informations d'identification personnelle pour le fichier sera désactivée par défaut pour la tâche d'exportation afin que le fichier exporté contienne tous les énoncés non modifiés initiaux, y compris les valeurs des informations d'identification personnelle.
- Si vous sélectionnez Activer l'anonymisation des informations d'identification personnelle pour le fichier, les valeurs des informations d'identification personnelle seront anonymisées dans le fichier exporté uniquement pour les entités par défaut, PERSON, EMAIL, URL et NUMBER. Les valeurs des informations d'identification personnelle resteront dans la base de données, les journaux et les rapports de données clés.
Appliquer le rapport de réentraînement
- période
- language (langue) - Pour une fonction multilingue activée au moyen de la prise en charge linguistique native ou de services de traduction. Par défaut, le rapport est filtré selon la langue principale.
- intents (intentions) - Filtrer en faisant correspondre les noms des deux intentions de premier ordre, et en utilisant des opérateurs de comparaison pour leurs propriétés de résolution, le niveau de confiance et la marge de succès.
- channels (canaux) – Comprend le canal d'agent créé pour les intégrations Oracle Service Cloud.
- text or voice modes (modes texte ou voix) – Inclut les conversations permutées.
Mettre à jour les intentions avec le rapport de réentraînement
- Vous ne pouvez ajouter des entrées utilisateur qu'au corpus d'entraînement appartenant à une version provisoire de compétence, et non à une version publiée.
- Vous ne pouvez pas ajouter d'entrée utilisateur qui figure comme énoncé dans le corpus d'entraînement ou que vous avez déjà ajoutée à l'aide du rapport de réentraînement.
- Comme vous ne pouvez pas mettre à jour une compétence publiée, vous devez créer une version provisoire avant d'ajouter de nouvelles données au corpus.
Conseil :
Cliquez sur Compare All Versions (Comparer toutes les versions)ou désactivez l'option Show Only Latest (Afficher uniquement la dernière) pour accéder aux versions provisoires et publiées de la compétence.
- Dans la version provisoire de la compétence, appliquez un filtre, au besoin, puis cliquez sur Search (Rechercher).
- Sélectionnez le message d'utilisateur, puis l'intention cible dans le menu Select Intent (Sélectionner une intention). Si votre compétence prend en charge plusieurs langues, vous pouvez l'ajouter au jeu d'entraînement approprié en choisissant parmi les langues du menu Select Language (Sélectionner une langue).
Conseil :
Vous pouvez ajouter des énoncés à une intention individuellement, ou sélectionner plusieurs intentions, puis choisir l'intention cible et, le cas échéant, une langue dans le menu Add To (Ajouter à) qui se trouve dans le coin supérieur gauche du tableau. Si vous voulez ajouter toutes les demandes retournées à une intention, sélectionnez Utterances (Énoncés) (dans le coin supérieur droit du tableau), puis l'intention et la langue dans le menu Add To (Ajouter à). - Cliquez sur Ajouter un exemple.
- Entraînez de nouveau la compétence.
- Republiez la compétence.
- Mettez à jour l'assistant numérique avec la nouvelle compétence.
- Surveillez dans le rapport Overview (Aperçu) les modifications apportées aux mesures au fil du temps et comparez également les différentes versions de la compétence pour savoir si de nouvelles versions ont contribué à la réussite globale de cette dernière. Répéter le processus de réentraînement améliore la réactivité de la compétence pour chaque nouvelle version. Pour les compétences intégrées au clavardage Oracle Service Cloud, par exemple, le réentraînement devrait provoquer une réduction des escalades, ce qui est indiqué par une tendance à la baisse de l'utilisation des intentions de transfert vers des agents.
Autoapprentissage modéré
En réglant le filtre Top Confidence en dessous du seuil de confiance défini pour la compétence, ou au moyen du filtre par défaut, Intent Matchs unresolvedIntent, vous pouvez mettre à jour votre corpus d'entraînement à l'aide du classement de confiance fourni par le cadre de traitement des intentions. Par exemple, si la recherche unresolvedIntent retourne "someone used my credit card" (quelqu'un a utilisé ma carte de crédit), vous pouvez l'affecter à une intention nommée Dispute (Litige). C'est ce qu'on appelle l'autoapprentissage modéré : il améliore la résolution d'intention tout en préservant l'intégrité de la compétence.
Par exemple, les critères de recherche par défaut du rapport indiquent que l'entrée utilisateur aléatoire ne peut pas être résolue au niveau de confiance requis, car elle est inappropriée, hors sujet ou contient des fautes d'orthographe. En vous référant au graphique à barres, vous pouvez affecter l'entrée utilisateur : vous pouvez renforcer la compétence pour le traitement des intentions non résolues en affectant l'entrée inintelligible, ou vous pouvez ajouter des entrées mal orthographiées à l'intention orientée tâche appropriée ("envoi argnt" à une intention d'envoi d'argent, par exemple). Si votre compétence a une intention d'accueil, par exemple, vous pouvez affecter des messages irrévérencieux ou hors sujet auxquels votre compétence peut retourner une réplique du genre : "Ce n'est pas dans mes compétences, mais je peux vous aider à commander des fleurs".
Prise en charge des services de traduction
Si votre compétence utilise un service de traduction, le rapport de réentraînement affiche les messages des utilisateurs dans la langue cible. Toutefois, le rapport de réentraînement n'ajoute pas les messages traduits au corpus d'entraînement. Il les ajoute en anglais, qui est la langue acceptée du modèle d'entraînement. Cliquez sur pour afficher la version anglaise qui peut potentiellement être ajoutée au corpus. Par exemple, si vous cliquez sur cette icône pour le mot français contester, le mot anglais dispute s'affiche.
Créer des tâches de fabrication de données
Au lieu d'affecter des énoncés à des intentions vous-même, vous pouvez alimenter cette tâche en masse en créant des tâches d'annotation d'intention et de validation d'intention. Vous n'avez pas besoin de compiler les journaux de conversation dans un fichier CSV pour créer ces tâches. À la place, cliquez sur Créer, puis sur Tâche de fabrication de données.
Vous choisissez ensuite le type de tâche pour l'entrée utilisateur filtrée dans le rapport de réentraînement. Par exemple, vous pouvez créer une tâche d'annotation d'intention à partir d'un rapport filtré par l'intention supérieure correspondant à unresolvedIntent, ou vous pouvez créer une tâche de validation d'intention à partir d'un rapport filtré sur des énoncés qui correspondent à une intention.
Description de l'illustration retrainer-data-manufacturing-job-dialog.png
Conseil :
À l'aide des options Sélectionner des énoncés, vous pouvez sélectionner tous les résultats retournés par le filtre appliqué au rapport de réentraînement pour la tâche de fabrication de données, ou créer une tâche à partir d'un sous-ensemble de ces résultats qui peut inclure un échantillonnage aléatoire d'énoncés. La sélection de l'option Exclure les énoncés des tâches précédentes signifie que les énoncés sélectionnés pour une tâche de fabrication de données précédente ne seront plus disponibles pour les tâches suivantes : les énoncés inclus dans une tâche d'annotation d'intention, par exemple, ne seront pas disponibles pour une tâche d'annotation d'intention ultérieure. Utilisez cette option lorsque vous créez plusieurs travaux pour consulter un grand nombre de résultats.Créer une suite de tests
Comme pour les tâches de fabrication de données à partir des résultats interrogés dans le rapport de réentraînement, vous pouvez également créer des cas de test à partir des énoncés retournés par votre interrogation. Vous pouvez ajouter une suite de ces scénarios de test au testeur d'énoncé en cliquant sur Create (Créer), puis sur Test Suite (Suite de tests).
Vous pouvez filtrer les énoncés de la suite de tests à l'aide des options Sélectionner des énoncés de la boîte de dialogue Créer une suite de tests. Vous pouvez inclure tous les énoncés retournés par le filtre appliqué au rapport de réentraînement dans la suite de tests, ou un sous-ensemble de ces résultats qui peut inclure un échantillonnage aléatoire des énoncés. Sélectionnez Inclure le marqueur de langue pour vous assurer que la langue associée à un scénario de test reste la même tout au long du test.
Description de l'illustration create-test-suite-dialog-insights.png
Vous pouvez accéder à la suite de tests terminée en cliquant sur Go to Test Cases (Aller aux scénarios de test) dans le testeur d'énoncé.
Consulter l'utilisation des langues
Pour une compétence multilingue, vous pouvez comparer l'utilisation des langues prises en charge à l'aide des segments du graphique Languages (Langues). Chaque segment représente une langue utilisée.
Description de l'illustration languages-chart-overview-skill.png
Si vous souhaitez consulter les conversations représentées par une langue du graphique, vous pouvez cliquer sur un segment ou sur la légende pour accéder au Rapport Conversations, qui est filtré selon la langue sélectionnée.
Description de l'illustration conversations-report-filtered-language.png
Exporter des données clés
Les rapports variés offrent différentes perspectives. Mais si vous avez besoin de voir d'autres informations, vous pouvez créer vos propres rapports à partir d'un fichier CSV de données clés exportées.
Les données peuvent être réparties dans une série de CSV lorsque la tâche d'exportation retourne plus de 1 048 000 rangées. Dans de tels cas, le fichier ZIP contiendra une série de fichiers ZIP, contenant chacun un fichier CSV.
- Name (Nom) : Nom de la tâche d'exportation.
- Last Run (Dernière exécution) : Date à laquelle la tâche a été exécutée pour la dernière fois.
- Created By (Création par) : Nom de l'utilisateur qui a créé la tâche.
- Export Status (Statut d'exportation) : Submitted (Soumission), In Progress (En cours), Failed (Échec), No Data (Aucune donnée) (lorsqu'il n'y a aucune donnée à exporter dans l'intervalle de dates défini pour la tâche), ou Completed (Terminée), un hyperlien qui vous permet de télécharger les données exportées dans un fichier CSV. Si vous passez le curseur sur le statut Failed, un message d'explication s'affiche.
Une tâche d'exportation s'applique à la version courante de la compétence.
Créer une tâche d'exportation
- Ouvrez la page Exports (Exportations), puis cliquez sur + Export (Exporter).
- Entrez un nom pour le rapport, puis un intervalle de dates.
- Cliquez sur Activer l'anonymisation des informations d'identification personnelle pour le fichier exporté pour remplacer les valeurs d'informations d'identification personnelle par des anonymes dans le fichier exporté. Ces anonymes existent uniquement dans le fichier exporté si les informations d'identification personnelle ne sont pas activées dans les paramètres de la compétence. Dans ce cas, les valeurs d'informations d'identification personnelle, et non leurs équivalents anonymes, sont toujours stockées dans la base de données et apparaissent dans les journaux de données clés exportés et dans tous les rapports de données clés, y compris le rapport Conversations, le rapport de réentraînement et les expressions clés dans le nuage de mots. Si les informations d'identification personnelle ont été activées dans les paramètres de la compétence, les journaux et les rapports de données clés contiendront des anonymes.
Note
L'anonymisation des informations d'identification personnelle activée pour les paramètres de compétence ou d'assistant numérique tient compte de la manière dont les valeurs d'informations d'identification personnelle sont anonymisées dans le fichier d'exportation et contribue également à la consistance de l'anonymisation dans le fichier d'exportation. - Cliquez sur Exporter.
- Lorsque la tâche réussit, cliquez sur Completed (Terminé) pour télécharger un ZIP du CSV (ou des CSV pour les exportations importantes). Le nom du fichier CSV d'exportation au niveau compétence commence par
B_
. Les noms de fichiers pour les exportations au niveau de l'assistant numérique commencent parD_
.

Description de l'illustration insights-export-dialog.png
Consulter les journaux d'exportation
BOT_NAME
contient le nom de la compétence ou de l'assistant numérique. Vous pouvez utiliser cette colonne pour voir comment la boîte de dialogue est acheminée du système numérique aux compétences (et entre les compétences).CHANNEL_SESSION_ID
stocke l'ID session de canal. Vous pouvez utiliser cet ID, conjointement avec la troisième colonneCHANNEL_ID
, pour créer un identificateur unique pour la session. Comme les sessions peuvent expirer ou être arrêtées, vous pouvez utiliser cet identificateur pour découvrir si la session a changé.TIMESTAMP
indique la chronologie ou la séquence dans laquelle les événements se sont produits. Généralement, vous triez selon cette colonne.USER_UTTERANCE
etBOT_RESPONSE
contiennent la conversation réelle entre la compétence et l'utilisateur. Ces deux champs rendent facilement visible l'enchaînement des messages de l'utilisateur et de la compétence lorsque vous triez selonTIMESTAMP
.La colonne
USER_UTTERANCE
peut contenir des énoncés en double. Cela peut se produire lorsque le test utilisateur est exécuté sur la même instance, mais plus vraisemblablement parce que l'énoncé est utilisé dans différentes parties de la conversation.- Vous pouvez utiliser
COMPONENT_NAME
,CURR_STATE
etNEXT_STATE
pour déboguer le flux de dialogue.
Filtrer les données clés exportées
TIMESTAMP
pour voir la séquence des événements. Pour avoir d'autres points de vue, comme la conversation compétence-utilisateur, vous pouvez filtrer les colonnes selon les états internes générés par le système. Les techniques de filtrage courantes sont les suivantes :
- Tri de la conversation entre la compétence et l'assistant numérique – Lorsqu'une exportation contient des données provenant à la fois d'un assistant numérique et de ses compétences enregistrées, le contenu du champ
BOT_NAME
peut sembler déroutant, car la conversation semble sauter arbitrairement entre les différentes compétences, et entre les compétences et l'assistant numérique. Pour voir le dialogue dans l'ordre correct (et avec le bon contexte), affichez la colonneTIMESTAMP
dans l'ordre croissant. - Recherche des limites de conversation – Utilisez le champ
System. BeginSession
et l'un des états finaux pour trouver le début et la fin d'une conversation. Les conversations commencent par l'étatSystem. BeginSession
. Elles peuvent se terminer par l'un des états finaux suivants :System.EndSession
System.ExpiredSession
System.MaxStatesExceededHandler
System.DefaultErrorHandler
- Consultation de la conversation compétence-utilisateur réelle – Pour isoler le contenu des colonnes
USER_UTTERANCE
etBOT_RESPONSE
, filtrez la colonneCURR_STATE
selon les états générés par le systèmeSystem.MsgReceived
etSystem.MsgSent
NoteParfois, certaines parties du dialogue utilisateur-compétence peuvent être répétées dans les colonnes
Dans le cas d'une réponse de message non texte, provenant par exemple d'états de résolution d'entités, la sortie de la compétence sera composée de réponses partielles jointes par un caractère de saut de ligne.USER_UTTERANCE
etBOT_RESPONSE
. Le texte de l'utilisateur est répété en cas de transition automatique qui ne nécessite pas d'entrée utilisateur. Les réponses de compétence sont répétées si l'état suivant est l'un des états finaux, telsque System.EndSession
ouSystem.DefaultErrorHandler
. - Consultation uniquement de l'exécution du flux de dialogue avec le dialogue utilisateur-compétence - Pour consulter les transactions internes ou afficher uniquement les messages non textuels, vous devez filtrer selon les états
System.MsgReceived
etSystem.MsgReceived
dans la colonneCURR_STATE
(approche opposée de l'affichage du dialogue uniquement). - Identification d'une session – Comparez les valeurs des colonnes
CHANNEL_SESSION_ID
etSESSION_ID
(qui sont côte à côte).
Champs de journal d'exportation
Nom de colonne | Description | Exemple de valeur |
---|---|---|
BOT_NAME |
Nom de la compétence | PizzaBot |
CHANNEL_SESSION_ID |
ID utilisateur pour la session. Cette valeur identifie une nouvelle session. Une modification de cette valeur indique que la session a expiré ou a été réinitialisée pour le canal. | 2e62fb24-8585-40c7-91a9-8adf0509acd6 |
SESSIONID |
Identificateur de la session en cours. Il s'agit d'un GUID aléatoire, qui rend cet ID différent de CHANNEL_SESSION_ID ou USER_ID . Une session indique qu'un ou plusieurs chemins d'exécution d'intention ont été terminés par une transition explicite return dans la définition d'état, ou par un retour implicite injecté par le moteur de dialogue.
|
00cbecbb-0c2e-4749-bfa9-c1b222182e12 |
TIMESTAMP |
Horodatage "created on" (création le). Utilisé pour l'ordre chronologique ou le séquencement d'événements. | 14-SEP-20 01.05.10.409000 PM |
USER_ID |
ID utilisateur | 2880806 |
DOMAIN_USERID |
Référence le USER_ID .
|
2880806 |
PARENT_BOT_ID |
ID de la compétence ou de l'assistant numérique. Lorsqu'une conversation est déclenchée par un assistant numérique, il s'agit de l'ID de l'assistant numérique. | 9148117F-D9B8-4E99-9CA9-3C8BA56CE7D5 |
ENTITY_MATCHES |
Identifie les valeurs d'élément d'entité composite qui sont mises en correspondance dans le premier énoncé résolu en intention. Si le premier message d'un utilisateur est "Commander une pizza volumineuse", cette colonne contiendra la correspondance pour l'élément PizzaSize dans l'entité composite, Pizza : Les autres valeurs d'élément dans les messages utilisateur suivants ne font pas l'objet d'un suivi. Par conséquent, si le message suivant d'un utilisateur inclut une valeur PizzaType, il ne sera pas inclus dans le fichier d'exportation. Si un utilisateur entre d'abord "Commander une pizza" puis, une fois l'intention résolue, ajoute un message de suivi avec une valeur d'entité pour l'élément PizzaSize ("Rendre la pizza volumineuse"), une valeur nulle est enregistrée dans la colonne ENTITY_MATCHES , car le message initial qui a été résolu pour l'intention ne contenait aucune valeur d'élément.
Un objet vide ( |
{"Pizza":[{"entityName":"Pizza","PizzaType":["CHEESE BASIC"],"PizzaSize":["Large"]}]} |
PHRASE |
Interprétation ODA de l'entrée utilisateur | large thin pizza |
INTENT_LIST |
Classement des intentions candidates, exprimées en tant qu'objets JSON. | [{"INTENT_NAME":"OrderPizza","INTENT_SCORE":0.4063},{"INTENT_NAME":"OrderPasta","INTENT_SCORE":0.1986}] Pour les exportations de l'assistant numérique, il s'agit d'un classement des compétences qui ont été appelées par son intermédiaire. Par exemple : |
BOT_RESPONSE |
Réponses apportées par la compétence aux énoncés de l'utilisateur. | How old are you? |
USER_UTTERANCE |
Entrée de l'utilisateur. | 18 |
INTENT |
Intention choisie par la compétence pour traiter la conversation. Indique la toute première intention parmi celles qui ont été considérées comme possibles pour la conversation. | OrderPizza |
LOCALE |
Paramètres régionaux de l'utilisateur | en-US |
COMPONENT_NAME |
Composant (système ou personnalisé) exécuté à l'état courant. Vous pouvez utiliser ce champ avec CURR_STATE et NEXT STATE pour déboguer la boîte de dialogue flow.There sont d'autres valeurs de la colonne COMPONENT_NAME qui ne sont pas des composants :
|
AgeChecker |
CURR_STATE |
État actuel de la conversation, que vous utilisez pour déterminer la source du message. Ce champ contient le nom des états configurés dans la définition du flux de dialogue, ainsi que celui des états générés par le système. Vous pouvez filtrer le fichier CSV selon ces états, qui incluent System.MsgRecieved pour les messages d'utilisateur et System.MsgSent pour les messages envoyés par la compétence ou par les agents pour les intégrations du service à la clientèle.
|
checkage
|
NEXT_STATE |
État suivant du chemin d'exécution. Les transitions d'état configurées dans la définition du flux de dialogue indiquent l'état suivant dans le chemin d'exécution. | crust |
Language |
Langue utilisée pendant la session. | fr |
SKILL_VERSION |
Version de la compétence | 1.2 |
INTENT_TYPE |
Indique si l'intention est transactionnelle (TRANS ) ou une intention de réponse (STATIC )
|
STATIC |
CHANNEL_ID |
Identifie le canal sur lequel la conversation a eu lieu. Ce champ, avec CHANNEL_SESSION_ID , représente une session.
|
AF5D45A0EF4C02D4E053060013AC71BD |
ERROR_MESSAGE |
Message d'erreur retourné. | Session expired due to inactivity .
|
INTENT_QUERY_TEXT |
Entrée envoyée au serveur d'intentions aux fins de classification. Le contenu de INTENT_QUERY_TEXT et de USER_UTTERANCE est le même lorsque l'entrée d'utilisateur est dans l'une des langues fournies, mais il est différent lorsque cette entrée est dans une langue qui n'est pas prise en charge de manière native et donc traitée par un service de traduction. Dans ce cas, INPUT_QUERY_TEXT est en anglais.
|
|
TRANSLATE_ENABLED |
Indique si un service de traduction est utilisé. | NO |
SKILL_SESSION_ID |
ID session | 6e2ea3dc-10e2-401a-a621-85e123213d48 |
ASR_REQUEST_ID |
Champ clé unique qui identifie chaque entrée vocale, c'est-à-dire Speech Request ID (ID demande verbale). La présence de cette valeur indique qu'il s'agit d'une entrée vocale. | cb18bc1edd1cda16ac567f26ff0ce8f0 |
ASR_EE_DURATION |
Durée d'un seul énoncé vocal dans une fenêtre de conversation. | 3376 |
ASR_LATENCY |
Latence vocale, mesurée en millisecondes. La reconnaissance vocale nécessite un grand nombre de calculs, mais la bande passante de mémoire et la capacité de la batterie sont limitées. Cela introduit une latence entre la réception d'une entrée vocale et sa transcription. En outre, les mises en oeuvre basées sur un serveur ajoutent une latence en raison de l'aller-retour. | 50 |
ASR_RTF |
Mesure standard de performance dans le système de reconnaissance vocale. S'il faut le temps {P} pour traiter une entrée de durée {I}, le facteur en temps réel est défini comme suit : RTF = \frac{P}{I}. Rapport du temps nécessaire pour traiter l'entrée audio par rapport au temps UC. Par exemple, s'il faut une seconde de temps UC pour traiter une seconde d'audio, le RTF est 1 (1/1). Le RTF pour 500 millisecondes pour traiter une seconde d'audio est 0,5 ou ½. | 0.330567 |
CONVERSATION_ID |
ID conversation | 906ed6bd-de6d-4f59-a2af-3b633d6c7c06 |
CUSTOM_METRICS |
Tableau JSON contenant un objet pour chaque dimension de mesure personnalisée. name est un nom de dimension et value est la valeur retournée. Cette colonne est disponible pour les versions 22.02 et supérieures.
|
|
États internes
Nom de l'état | Description |
---|---|
System.MsgReceived |
Événement de réception de message déclenché dans les données clés lorsqu'une compétence reçoit un message texte d'une source externe, comme un utilisateur ou une autre compétence. |
System.MsgSent |
Événement d'envoi de message déclenché dans les données clés lorsqu'une compétence répond à une source externe, comme un utilisateur ou une autre compétence.
Pour chaque événement |
System.BeginSession |
Un événement System.BeginSession est envoyé comme marqueur pour démarrer la session quand :
|
System.EndSession |
Un événement System.EndSession est saisi comme marqueur de fin de session lorsque l'état courant n'a généré aucune erreur non traitée et qu'il comporte une transition return , ce qui indique qu'il n'y aura pas d'autre état de dialogue à exécuter. L'événement System.EndSession peut également être enregistré lorsque l'état courant comporte :
|
System.ExpiredSession (Error type: "systemHandled") |
Temporisation de session. La temporisation par défaut est d'une heure.
Lorsqu'une conversation s'arrête pendant plus d'une heure, l'expiration de la session est déclenchée. L'expiration de la session est saisie sous la forme de deux événements distincts dans les données clés. Le premier événement est l'état idle (inactif), qui indique que la communication de l'utilisateur est arrêtée. Le deuxième est l'événement |
System.DefaultErrorHandler |
Le programme de traitement des erreurs par défaut est exécuté lorsqu'aucun traitement d'erreurs n'est défini dans le flux de dialogue, soit globalement (par exemple, le noeud defaultTransitions dans des flux basés sur YAML), soit au niveau de l'état avec des transitions error . Lorsque le flux de dialogue inclut des transitions error , un événement System.EndSession est déclenché.
|
System.ExpiredSessionHandler |
L'événement System.ExpiredSessionHandler est généré si un message est envoyé à la compétence par un système externe ou un utilisateur après l'expiration de la session. Par exemple, cet événement est déclenché lorsqu'un utilisateur cesse de clavarder avec la compétence en milieu de conversation, puis envoie un message après avoir laissé la fenêtre de clavardage ouverte pendant plus d'une heure.
|
System.MaxStatesExceededHandler |
Cet événement est généré s'il y a plus de 100 états de dialogue déclenchés dans le cadre d'un seul message utilisateur. |
Tutoriel : Utiliser les données clés d'Oracle Digital Assistant
Créez des rapports de données clés (y compris le rapport de réentraînement) avec ce tutoriel : Utiliser les données clés d'Oracle Digital Assistant.