Informations sur les conversations pour les compétences
Les rapports de conversation pour les briques, qui suivent les conversations vocales et textuelles par période et par canal, vous permettent d'identifier les parcours d'exécution, de déterminer la précision de vos résolutions d'intention et d'accéder à des transcriptions de conversation complètes.
Pour accéder aux mesures de niveau session, sélectionnez Couvertures dans le filtre Mesure du rapport Aperçu.
Les analyses vocales sont suivies pour les briques acheminées vers les clients de discussion configurés pour la reconnaissance vocale et en cours d'exécution sur la version 20.8 ou versions ultérieures des kits SDK Oracle Web, iOS et Android.
Types de rapport
- Présentation : utilisez ce tableau de bord pour visualiser rapidement le nombre total de conversations vocales et texte par canal et par période. Les mesures du rapport décomposent ce total selon le nombre de conversations terminées, non terminées et en cours. De plus, ce rapport vous indique comment la brique a terminé (ou n'a pas réussi à terminer) les conversations en classant l'utilisation des intentions transactionnelles et de réponse de la brique dans des graphiques à barres et des nuages de mots.
- Mesures personnalisées : permet de mesurer les dimensions personnalisées qui ont été appliquées à la brique.
- Intentions : fournit des données propres aux intentions et des informations relatives aux mesures d'exécution (états, durée de la conversation, parcours les plus et les moins populaires).
- Chemins : affiche une représentation visuelle du flux de conversation d'une intention.
- Conversations : affiche la transcription réelle du dialogue entre la brique et l'utilisateur dans le contexte du flux de dialogue et de la fenêtre de discussion.
- Réentraînement : vous permet d'utiliser les données actives et les analyses obtenues pour améliorer votre brique par le biais d'un autoapprentissage modéré.
- Exporter : permet de télécharger un fichier CSV des données d'analyse collectées par Oracle Digital Assistant. Vous pouvez créer un rapport d'analyse personnalisé à partir du fichier CSV.
Examen des mesures et graphiques récapitulatifs
Vous pouvez ajuster cette vue en activant/désactivant les modes Voix et Texte, ou vous pouvez comparer les deux en activant l'option Comparer les conversations textuelles et vocales.
Lorsque vous sélectionnez Texte, le rapport affiche un ensemble de mesures communes. Lorsque vous sélectionnez Voix, le rapport inclut d'autres mesures propres à la voix. Ces mesures s'appliquent uniquement aux conversations vocales, de sorte qu'elles n'apparaissent pas lorsque vous sélectionnez l'option Comparer les conversations textuelles et vocales.
Les options de mode dépendent de la présence de messages vocaux ou texte. En présence, par exemple, de messages texte uniquement, seule l'option Texte apparaît.
Mesures communes
- Nombre total de conversations : nombre total de conversations, qui se compose des conversations terminées, non terminées et en cours. Quel que soit le statut, une conversation peut être composée d'un ou plusieurs tours de dialogue. Chaque tour est un échange unique entre l'utilisateur et la brique.
Remarque
Les conversations ne sont pas les demandes mesurées. Pour en savoir plus sur les mesures, reportez-vous à Descriptions de service de crédits universels Oracle PaaS et IaaS. - Conversations terminées : conversations qui se sont terminées en répondant à la requête d'un utilisateur. Les conversations qui se terminent par un état de fin de flux ou à un état où le flux de fin (implicite) est sélectionné comme transition sont considérées comme terminées. Dans les briques rédigées par YAML, les conversations sont comptabilisées comme terminées lorsque la traversée du flux de dialogue se termine par une transition
return
ou à un état avec la propriétéinsightsEndConversation
.Remarque
Cette propriété et la transitionreturn
ne sont pas disponibles dans Visual Flow Designer. - Conversations non terminées : conversations que les utilisateurs n'ont pas terminées car ils ont abandonné la brique ou n'ont pas pu terminer en raison d'erreurs au niveau du système, d'expirations ou de boucles infinies.
- Conversations en cours : conversations en cours de traitement (conversations qui n'ont pas encore abouti et n'ont pas expiré). Cette mesure effectue le suivi des conversations à plusieurs niveaux. Une conversation en cours expire après l'expiration d'une session.
- Temps moyen passé sur les conversations : durée moyenne de toutes les conversations de la brique.
- Nombre total d'utilisateurs et Nombre d'utilisateurs uniques – Mesures de base utilisateur qui indiquent le nombre d'utilisateurs dont dispose une brique et le nombre d'utilisateurs renvoyant des utilisateurs.
Mesures vocales
Ces mesures sont fournies à titre d'information uniquement : vous ne pouvez pas les modifier.
- Temps moyen passé sur les conversations : durée moyenne des conversations vocales.
- Facteur temps réel moyen : ratio du temps nécessaire au traitement de l'entrée audio par rapport au temps UC. Par exemple, si une seconde de temps UC est nécessaire pour traiter une seconde d'audio, le facteur temps réel est de 1 (1/1). Si 500 millisecondes sont nécessaires pour traiter une seconde d'audio, le facteur temps réel est de 0,5 ou ½. Idéalement, le facteur temps réel doit être inférieur à 1 pour que le traitement ne soit pas décalé par rapport à l'entrée audio. Si le facteur temps réel est supérieur à 1, contactez le support technique Oracle.
- Latence vocale moyenne : délai, en millisecondes, entre la détection de la fin de la variation et la génération du résultat final (ou de la transcription). Si vous observez une latence, contactez le support technique Oracle.
- Temps audio moyen : durée moyenne, en secondes, de toutes les conversations vocales.
- Conversations commutées : pourcentage des conversations de la brique qui ont commencé par des commandes vocales, mais qui ont dû basculer sur du texte pour terminer l'interaction. Cette mesure indique que plusieurs parcours d'exécution ont été impliqués dans le passage de la voix au texte.
Répartition des conversations non terminées
- Expirations : les expirations sont déclenchées lorsqu'une conversation en cours est inactive pendant plus d'une heure, ce qui entraîne l'expiration de la session.
- Erreurs gérées par le système : ces erreurs sont gérées par le système et non par la brique. Ces erreurs se produisent lorsque la définition de flux de dialogue n'est pas équipée de la gestion des erreurs.
- Boucle infinie : des boucles infinies peuvent se produire en raison de défauts dans la définition de flux de dialogue, tels que des transitions mal définies.
- Annulé : nombre de fois où les utilisateurs ont quitté une brique en annulant explicitement la conversation.
En cliquant sur une catégorie d'erreur dans la table ou sur l'un des arcs du graphique, vous pouvez accéder au rapport Conversations pour voir ces erreurs dans le contexte des conversations non terminées. Lorsque vous accédez au rapport Conversations à partir d'ici, les filtres Résultat et Erreurs du rapport sont définis sur Non terminé et sur la catégorie d'erreur sélectionnée. Par exemple, si vous cliquez sur Boucle infinie, le rapport Conversations est filtré sur Non terminé et Boucle infinie. Les filtres Intentions et Résultat du rapport sont définis sur Afficher tout, et le champ Trier par est défini sur Elément le plus récent.
Mesures utilisateur
- Nombre d'utilisateurs : total en cours d'exécution de tous les types d'utilisateur qui ont interagi avec la brique : utilisateurs avec des ID affectés par canal qui persistent d'une session à l'autre (les utilisateurs uniques) et utilisateurs dont les ID affectés automatiquement durent pour une seule session.
- Nombre d'utilisateurs uniques : nombre d'utilisateurs ayant accédé à la brique, identifié par leurs ID utilisateur uniques. Chaque canal a une méthode différente pour affecter un ID à un utilisateur : les utilisateurs qui discutent avec la brique via le canal Web sont identifiés par la valeur définie pour le champ
userId
, par exemple. Le canal de test du testeur de briques vous affecte un nouvel ID utilisateur chaque fois que vous terminez une session de discussion en cliquant sur Réinitialiser.Une fois affectés, ces ID uniques persistent dans les sessions de discussion de sorte que le nombre d'utilisateurs uniques comptabilisé par cette mesure n'augmente pas lorsqu'un utilisateur revient sur la brique. Le nombre augmente uniquement lorsqu'un autre utilisateur affecté avec un ID unique est ajouté au pool d'utilisateurs.Conseil :
Comme les ID utilisateur ne sont uniques qu'au sein d'un canal (un utilisateur ayant des ID identiques sur deux canaux différents sera compté comme deux utilisateurs, pas un), vous pouvez avoir une meilleure idée de la base d'utilisateurs en filtrant le rapport par canal.
Activer le suivi des nouveaux utilisateurs
"purgeUserData": true
dans la charge utile de la demande POST de démarrage de tâche d'export.
La collecte des nouvelles données utilisateur commence uniquement à la date à laquelle cette fonction a été livrée avec la version 23.10.
Examen des analyses sur les tendances des conversations
- Terminé : conversations que les utilisateurs ont terminées avec succès. Les conversations qui se terminent par un état de fin de flux ou à un état où le flux de fin (implicite) est sélectionné comme transition sont considérées comme terminées. Dans les briques rédigées par YAML, les conversations sont comptabilisées comme terminées lorsque la traversée du flux de dialogue se termine par une transition
return
ou à un état avec la propriétéinsightsEndConversation
.Remarque
Cette propriété et la transitionreturn
ne sont pas disponibles dans Visual Flow Designer. - Non terminé : conversations que les utilisateurs n'ont pas terminées car ils ont abandonné la brique ou n'ont pas pu terminer en raison d'erreurs, d'expirations ou de défauts au niveau de la conception de la brique.
- En cours : conversations en cours de traitement (conversations qui n'ont pas encore abouti et n'ont pas expiré). Cette mesure effectue le suivi des conversations à plusieurs niveaux.
Visualisation de l'utilisation des intentions
Les conversations ne sont pas toutes résolues en intentions. Lorsque Aucune intention apparaît dans le graphique à barres Intentions et le cloud de mots, cela indique qu'une intention n'a pas été résolue par l'entrée utilisateur, mais par une action de transition, une conversation lancée par la brique ou par l'acheminement à partir d'un assistant numérique.
Vous pouvez filtrer le graphique à barres Intentions et le nuage de mots à l'aide des options Toutes les intentions, Répondre aux intentions et Intention de transaction du graphique à barres.
Description de l'illustration tous-intents.png
Ces options vous permettent de décomposer rapidement l'utilisation. For example, for mixed skills – ones that have both transactional and answer intents – you can view usage for these two types of intents using the Answer Intents and Transaction Intents options.
Description of the illustration transactional-intents.png
The key phrases rendered in the word cloud reflect the option, so for example, only the key phrases associated answer intents display when you select Answer Intents.
Description of the illustration answer-intents.png
Examen et réentraînement des intentions à l'aide des nuages d'expressions clés
La couleur représente le niveau de succès de la résolution d'intention :
- Le vert représente une moyenne élevée de résolution des demandes au niveau ou au-delà du seuil de marge de gain de confiance au cours de la période indiquée.
- Le jaune représente la résolution d'intention qui, en moyenne, n'atteint pas le seuil de marge de gain de confiance au cours de la période donnée. Cette couleur est un bon indicateur signalant que l'intention doit être réentraînée.
- La couleur rouge est réservée à unresolvedIntent. Il s'agit de l'ensemble des demandes utilisateur qui n'ont pas pu être mises en correspondance avec une intention et qui peuvent potentiellement être incorporées au corpus.
Par ailleurs, il fournit une vue plus précise de l'utilisation des intentions via des expressions clés, qui sont des représentations de la saisie utilisateur réelle, et pour les expressions en langue anglaise (le comportement diffère lorsque des expressions en langue autre que l'anglais sont résolues en intention), l'accès au réentraînement.
Examen des expressions clés
En cliquant sur une intention, vous pouvez effectuer une analyse descendante sur un ensemble d'expressions clés. Ces expressions sont des abstractions du message utilisateur d'origine qui conservent son intention d'origine. Par exemple, l'expression clé cancel my order est obtenue à partir du message d'origine I want to cancel my order. Vous pouvez regrouper les messages similaires dans une même expression clé. Les expressions I want to cancel my order, can you cancel my order et cancel my order please peuvent être regroupées dans l'expression clé cancel my order par exemple. Comme les intentions, la taille représente l'importance pour la période en question et la couleur reflète le niveau de confiance.
Description de l'illustration key-phrases-for-intent.png
You can see the actual user message (or the messages grouped within a key phrase) within the context of a conversation when you click a phrase and then choose View Conversations from the context menu.
Description of the illustration view-conversations-option.png
This option opens the Conversations Report.
Description of the illustration key-phrases-conversation-report.png
Anonymized values display in the phrase cloud when you enable PII Anonymization.
Description of the illustration pii-skill-phrase-cloud.png
Réentraînement à partir du nuage de mots
Cette option ouvre le réentraînement, où vous pouvez ajouter l'expression réelle au corpus d'entraînement.
Examen des expressions en langue native
Le comportement du nuage d'expressions clés diffère pour les briques avec prise en charge des langues natives, car vous ne pouvez pas accéder au réentraînement pour les expressions qui ne sont pas en anglais. Lorsque des expressions dans différentes langues ont été résolues en intentions, les langues, et non les expressions clés, apparaissent dans le nuage lorsque vous cliquez sur une intention. Par exemple, si le français et l'anglais s'affichent après que vous cliquez sur unresolvedIntent, cela signifie que des expressions en anglais et en français n'ont pu être résolues en aucune intention.
Description de l'illustration ml-phrase-cloud.png
Si l'anglais fait partie des langues, vous pouvez effectuer une analyse descendante sur le nuage d'expressions clés en cliquant sur Anglais. A partir du nuage d'expressions clés, vous pouvez utiliser les options Afficher les conversations et Réentraînement du menu contextuel pour effectuer une analyse descendante sur le rapport Conversations et le réentraînement. Toutefois, lorsque vous effectuez une analyse descendante à partir d'une langue autre que l'anglais, vous accédez au rapport Conversations, filtré par intention et par langue. L'accès direct au réentraînement est impossible. Pour revenir à l'exemple unresolvedIntent, si vous avez cliqué sur Anglais, vous pouvez effectuer une analyse descendante sur le nuage d'expressions clés. Si vous avez cliqué sur Français, vous effectuez une analyse descendante sur le rapport Conversations, filtré sur unresolvedIntent et français.
Description de l'illustration ml-conversation-report.png
Si vous voulez intégrer ou réaffecter une expression après l'avoir examinée dans le contexte de la conversation, vous devez l'intégrer directement à partir du réentraînement en filtrant l'expression sur l'intention, la langue et tout autre critère.
Examen de l'utilisation des langues
Pour une brique multilingue, vous pouvez comparer l'utilisation des langues prises en charge via les segments du graphique Langues. Chaque segment représente une langue actuellement utilisée.
Description de l'illustration languages-chart-overview-skill.png
Si vous voulez examiner les conversations représentées par une langue dans le graphique, vous pouvez cliquer sur un segment ou sur la légende pour accéder au rapport Conversations, filtré sur la langue sélectionnée.
Description de l'illustration conversations-report-filtered-by-language.png
Consulter les évaluations et les commentaires des utilisateurs
Le score de satisfaction client moyen, qui est proportionnel au nombre de conversations pour chacune des notations, est affiché au centre du graphique en beignet. Les totaux individuels sur une base par conversation pour chaque nombre sur la plage sont représentés sous forme d'arcs du graphique en anneau de notation de l'utilisateur qui varient en longueur selon l'occurrence. Lorsque vous cliquez sur l'un de ces arcs, le rapport Conversations est filtré par score.
Si votre brique est exécutée sur une plate-forme antérieure à la version 21.12, vous devez désactiver l'option Activer le masquage pour afficher la notation de l'utilisateur dans la transcription de la conversation. Pour conserver la notation utilisateur réelle dans les transcriptions des briques exécutées sur les plates-formes 21.12 et supérieures (où l'option Activer le masquage est en phase d'abandon), vous devez supprimer l'entité NUMBER de la liste des entités traitées en tant qu'informations d'identification personnelle lorsque vous activez l'anonymisation des informations d'identification personnelle.
Par défaut, le seuil minimum du composant Commentaires utilisateur pour déterminer une réaction positive ou négative est défini sur deux (Non satisfait). Si le retour utilisateur est activé pour le composant, le nuage de mots Commentaires utilisateur affiche les commentaires utilisateur qui accompagnent les notations négatives et les taille en fonction de leur fréquence. Vous pouvez voir ces commentaires dans le contexte de l'interaction globale en cliquant sur l'arc du graphique Notation de l'utilisateur qui représente une notation inférieure au seuil (une ou deux par les paramètres par défaut du composant), puis en explorant vers le bas le rapport Conversation, qui est filtré par le score sélectionné.
Description de l'illustration conversation-report-user-feedback.png
Ajout du composant Feedback au flux de dialogue
System.Feedback
à l'aide de la transition next
.) Votre flux de dialogue peut passer à une séquence d'états de retour utilisateur à chaque fois que vous souhaitez évaluer la réaction d'un utilisateur. Cela peut être, par exemple, une fois qu'un utilisateur a terminé ou annulé une transaction.
Si l'état précédant l'état Retour utilisateur dispose d'une propriété Conserver la rotation, définissez-la sur
True
pour vous assurer que la brique ne transmet pas la conversation à l'utilisateur avant que le flux ne passe au retour utilisateur. Pour maintenir le contrôle de la brique dans les flux écrits par YAML, définissez keepTurn: true
sur l'état antérieur à l'état System.Feedback
.
above
, below
et cancel
transitions. Dans les flux de dialogue YAML, chacun de ces états comporte des transitions return: done
.Ces états s'adaptent à la plage haute et basse de l'évaluation telle que déterminée par la propriété Seuil. Vous pouvez ajouter ces états en tant que messages utilisateur confirmant la réception de la note de l'utilisateur.
Type de commentaire en retour | Exemple de message |
---|---|
above |
Thank you for rating us ${system.userFeedbackRating.value} |
below |
You entered: ${system.userFeedbackText.value} We appreciate your feedback. |
cancel |
Skipped giving a rating or feedback? Maybe next time. |
systemComponent_Feedback_
dans un fichier CSV de groupes de ressources.
Utiliser des mesures personnalisées pour mesurer les retours utilisateur
Chacun de ces états Définir des mesures personnalisées correspond à l'un des états nommés par les actions de transition
above
, below
et cancel
du composant Commentaires utilisateur. Par exemple, si vous voulez ajouter une mesure nommée Type de retour au rapport Mesures personnalisées, vous devez effectuer les opérations suivantes :
- Insérez les états Définir des mesures personnalisées avant chacun des états nommés par les actions de transition
above
,below
etcancel
du composant Commentaires utilisateur. - Pour chaque état, entrez Feedback Type comme nom de dimension.
- Ajoutez des valeurs distinctes pour chaque état, selon le type de transition (par exemple,
Canceled
,Positive
,Negative
). Maintenant que vous avez instrumenté le flux de dialogue pour enregistrer les données de retour, vous pouvez interroger les différentes valeurs dans le rapport Mesures personnalisées.
Dans les flux basés sur YAML, vous suivez les mesures de retour en ajoutant les états System.SetCustomMetrics
.
Vérifier les mesures personnalisées
Le rapport Mesures personnalisées vous donne une perspective supplémentaire sur les données d'analyse en suivant les données de conversation pour les dimensions propres à la brique. Les dimensions suivies par ce rapport sont créées dans la définition du flux de dialogue à l'aide du composant Définir des mesures personnalisées (et du composant System.SetCustomMetrics
dans les flux YAML). A l'aide de ce composant, vous pouvez créer des dimensions pour explorer les besoins métier et de développement propres à votre brique. Par exemple, vous pouvez créer des dimensions qui signalent la consommation d'un produit ou d'un service (la pâte à pizza la plus demandée ou le type de note de frais le plus souvent classée), ou suivre l'échec des utilisateurs par la brique en les forçant à quitter ou en les transmettant à des agents actifs.
Les dimensions et les catégories apparaissent dans le rapport uniquement lorsque les conversations mesurées par elles ont eu lieu.
Instrumenter la compétence pour les mesures personnalisées
Pour générer le rapport Mesures personnalisées, vous devez définir des dimensions à l'aide du composant Définir des mesures personnalisées (accessible en cliquant sur Variables > Définir des mesures personnalisées ou sur Variables > Définir des mesures personnalisées d'analyse dans les boîtes de dialogue YAML).
Description de l'illustration set-insights-component-dialog.png
Si le rapport Mesures personnalisées ne contient aucune donnée, il est probable qu'aucun état Définir des mesures personnalisées n'a été défini ou que les transitions vers ces états n'ont pas été correctement définies.
Vous pouvez définir jusqu'à six dimensions pour chaque brique.
Créer des dimensions pour les valeurs de variable
Vous pouvez suivre les valeurs d'entité en définissant une transition next
vers un état Définir des mesures personnalisées après l'état de définition de valeur (par exemple, un état Résoudre un conteneur composite). Les dimensions et les filtres du rapport Définir les mesures personnalisées sont affichés à partir des dimensions et des valeurs de dimension définies par le composant Définir les mesures personnalisées.
Si l'état de définition de valeur référence une entité de conteneur composite, vous pouvez suivre les éléments de conteneur à l'aide d'une expression Apache Freemarker pour définir la valeur de dimension. Par exemple, la valeur d'une dimension Taille de pizza peut être définie sur ${pizza.value.pizzaSize.value}
. Les valeurs individuelles renvoyées par cette expression (petites, moyennes, grandes) sont affichées en tant que segments de données dans le rapport Mesures personnalisées et peuvent également être appliquées en tant que filtres. Par exemple, le rapport résultant de l'instrumentation d'une brique de pizza décompose les commandes de pizza par taille, type et pâte à pizza. Ces détails ajoutés complètent les mesures déjà signalées pour l'intention Order Pizza.
Description de l'illustration custom-metrics-example.png
Les dimensions basées sur une valeur d'entité ne sont enregistrées dans le rapport Mesures personnalisées qu'après la définition d'une valeur d'entité. Lorsqu'aucune valeur n'a été définie ou que l'état de définition de valeur ne passe pas à l'état Définir des mesures personnalisées, les graphiques du rapport notent les données manquantes comme étant <not set>.
Créer des dimensions permettant de suivre l'utilisation des aptitudes
En plus des dimensions basées sur des valeurs variables, vous pouvez créer des dimensions qui suivent non seulement la façon dont les utilisateurs interagissent avec la brique, mais également son efficacité globale. Vous pouvez, par exemple, ajouter une dimension indiquant la fréquence et le motif du transfert des utilisateurs vers des agents actifs.
Description de l'illustration custom-metrics-agent-transfer-example.png
De telles dimensions vous informent de l'expérience utilisateur. Vous pouvez ajouter la même dimension à différents états Définir des mesures personnalisées dans vos flux. Chacun de ces états Définir des mesures personnalisées définit une catégorie (ou une valeur de dimension) différente. Par exemple, il existe des dimensions de transfert d'agent dans deux flux différents : l'un dans le flux Order Pizza ayant la valeur Aucun agent requis lorsque la brique termine une commande et l'autre dans le flux UnresolvedIntent ayant la valeur Mauvaise entrée qui suit le moment où la brique transfère des utilisateurs vers un agent physique en raison d'une entrée non résolue. Le rapport Mesures personnalisées enregistre les données de ces mesures lorsque ces états sont inclus dans un flux d'exécution.
Etats de mesure personnalisés pour la dimension de transfert d'agent | Flux | Valeur | Utilisez |
---|---|---|---|
setInsightsCustomMetricsNoAgent |
Order Pizza (à partir de la transition next de l'état Resolve Composite Bag,
|
Aucun agent nécessaire | Reflète le nombre de conversations réussies où des prescriptions ont été saisies sans aide. |
setInsightsCustomMaxErrors |
Order Pizza (à partir de la transition cancel de l'état Résoudre le conteneur composite)
|
Nombre maximal d'erreurs | Reflète le nombre de conversations où les utilisateurs ont été dirigés vers des agents en direct car ils ont atteint le m |
setInsightsCustomMetricsBadInput |
UnresolvedIntent | Entrée incorrecte | Reflète le nombre de conversations dans lesquelles des entrées non résolues ont entraîné le transfert des utilisateurs vers un agent physique. |
setInsightsCustomMetricsLiveAgent |
Appeler l'agent (avant la séquence de lancement de l'agent) | Agent demandé | Reflète le nombre de conversations dans lesquelles les utilisateurs ont demandé un agent physique. |
Exporter les données de mesures personnalisées
Colonne | Description |
---|---|
CREATED_ON |
Date de l'export de données. |
USER_ID |
ID de l'utilisateur de la brique. |
SESSION_ID |
Identificateur de la session en cours. Il s'agit d'un GUID aléatoire qui rend cet ID différent de USER_ID. |
BOT_ID |
ID de brique affecté à la brique lors de sa création. |
CUSTOM_METRICS |
Tableau JSON contenant un objet pour chaque dimension de mesure personnalisée. name est un nom de dimension et value est la valeur de dimension capturée dans la conversation. [{"name":"Custom Metric Name 1","value":"Custom Metric Value"},{"name":"Custom Metric Name 2","value":"Custom Metric Value"},...] Par exemple : [{"name":"Pizza Size","value":"Large"},{"name":"Pizza Type","value":"Hot and Spicy"},{"name":"Pizza Crust","value":"regular"},{"name":"Agent Transfer","value":"No Agent Needed"}] .
|
QUERY |
Variation utilisateur ou réponse de brique contenant une valeur de mesure personnalisée. |
CHOICES |
Options de menu dans les composants d'interface utilisateur. |
COMPONENT |
Composant de dialogue, System.setCustomMetrics (Définir le composant personnalisé dans les flux visuels) qui exécute les mesures personnalisées.
|
CHANNEL |
Canal qui a effectué la session. |
Examen des analyses sur les intentions
Ce rapport renvoie les intentions définies pour une brique sur une période donnée, de sorte que son contenu peut changer pour refléter l'ajout, le changement de nom ou la suppression d'intentions dans la brique à différents moments.
Chemins terminés
Vous pouvez utiliser ces statistiques et comme des indicateurs de l'expérience utilisateur. Par exemple, vous pouvez utiliser ce rapport pour déterminer si le temps passé est approprié à la tâche, ou si les parcours les plus courts entraînent toujours une expérience utilisateur atténuée qui peut inciter les utilisateurs à abandonner. Par exemple, pouvez-vous acheminer plus rapidement un utilisateur au fil de la brique en insérant des valeurs à l'aide d'entités de conteneur composite au lieu d'invites et de composants de définition de valeur ?
- Vous pouvez tracer le chemin d'exécution d'une intention sélectionnée en cliquant sur Afficher le chemin, ce qui ouvre le rapport Chemins filtré par conversations terminées pour l'intention. Pour vous concentrer davantage sur les chemins d'exécution, vous pouvez filtrer les états qui ne vous intéressent pas.
- Vous pouvez lire les transcriptions des conversations terminées pour une intention en cliquant sur Afficher les conversations, ce qui ouvre le rapport Conversations filtré par conversations terminées pour l'intention.
Chemins incomplets
System.DefaultErrorHandler
. Elle vous permet de déterminer si un état de flux de dialogue est un point d'échec continu et les raisons (erreurs, délais d'attente ou entrées utilisateur incorrectes). Ce rapport n'affiche pas les parcours ou la vitesse pour les parcours incomplets car ils ne s'appliquent pas à cette saisie utilisateur. Au lieu de cela, le graphique à barres classe chaque intention en fonction du nombre de messages qui n'ont pas pu être résolus en une intention ou qui auraient pu être résolus (le système aurait pu deviner une intention), mais ne l'ont pas été en raison de faibles scores de confiance.
Le graphique Etats incomplets n'affiche pas les intentions de réponse (intentions statiques) dans les flux basés sur YAML car leurs résultats sont pris en charge par l'état de composant
System.Intent
seul, et non par une série d'états dans une définition de flux de dialogue.
{}
). Même si la brique gère la transaction avec succès, les analyses classeront toujours la conversation comme incomplète et représenteront l'état final sous la forme System.DefaultErrorHandler
.
- Cliquez sur Afficher le chemin pour ouvrir le rapport Chemins filtré et rechercher les conversations incomplètes pour l'intention sélectionnée. Les états de terminal sur ce chemin peuvent inclure des états définis dans la boîte de dialogue ou un état interne qui marque la fin d'une conversation, tel que
System.EndSession
,System.ExpiredSession
,System.MaxStatesExceededHandler
etSystem.DefaultErrorHandler
. - Vous pouvez accéder aux transcriptions des conversations qui mènent à l'échec en cliquant sur Visualiser les conversations. Cette option ouvre le rapport Conversations filtré pour les conversations incomplètes pour l'intention sélectionnée. Vous pouvez affiner davantage les résultats en appliquant un filtre. Par exemple, vous pouvez filtrer le rapport par conditions d'erreur.
unresolvedIntent
En plus de la durée et des acheminements des intentions orientées tâche, le rapport Intentions renvoie également les messages qui n'ont pas pu être résolus. Pour consulter ces messages, cliquez sur unresolvedIntent dans la barre de navigation de gauche. Lorsque vous cliquez sur une intention dans le graphique à barres Prévisions les plus proches, la fenêtre Message non résolu est mise à jour avec les messages non résolus de cette intention triés par score de probabilité.
Examen des analyses sur les parcours
Le rapport Chemins vous permet de connaître le nombre de conversations parcourues par les chemins d'exécution des intentions pour une période donnée. Ce rapport affiche un chemin similaire à une carte de transit où les arrêts peuvent représenter des intentions, les états définis dans la définition du flux de dialogue et les états internes qui marquent le début et la fin de chaque conversation qui n'est pas classée comme en cours.
Description de l'illustration path-report.png
Vous pouvez faire défiler ce chemin pour voir où les valeurs saisies par l'utilisateur ont fait avancer la conversation et où elles ont bloqué la conversation en raison d'entrées utilisateur incorrectes, d'expirations n'ayant entraîné aucune entrée utilisateur, d'erreurs système ou d'autres problèmes. Le dernier arrêt d'un chemin terminé est vert, tandis que celui des chemins incomplets sur lesquels des problèmes sont survenus est rouge. Grâce à ce rapport, vous pouvez savoir où le nombre de conversations est resté constant dans chaque état et identifier l'endroit où les conversations se sont déroulées en raison de valeurs définies (ou non définies) ou d'une interruption en raison d'autres problèmes comme un composant personnalisé défectueux ou un délai d'attente.
Interrogation du rapport sur les chemins
Tous les flux d'exécution s'affichent par défaut une fois que vous avez saisi votre requête. La flèche verte de début

System.BeginSession
, l'état du système qui démarre chaque conversation. L'icône System.Intent

Pour les conversations incomplètes, le chemin peut se terminer par un état interne tel que
System.ExpiredSession
, System.MaxStatesExceededHandler
ou System.DefaultErrorHandler
qui représente l'erreur ayant mis fin à la conversation.
Si l'état final d'un flux rédigé par YAML utilise une transaction vide (ou implcit) (
{}
), les analyses classent cet état en tant qu'état System.DefaultErrorHandler
et considèrent la conversation comme incomplète, même si la brique a géré la transaction avec succès.
Le rapport affiche Réponse NULL pour tout message client vide (ou non constitué de texte brut) ou contenant une entrée inattendue. Pour les réponses non textuelles qui constituent des actions de postback, le rapport affiche la charge utile de l'action la plus récente. Par exemple :
{"orderAction":"confirm""system.state":"orderSummary"}
Si vous cliquez sur Afficher les conversations, le rapport Conversations interrogé par le chemin s'ouvre afin que vous puissiez consulter les messages qui ont conclu la conversation dans le contexte d'une transcription.
Scénario : interrogation du rapport sur les parcours
En observant le rapport Aperçu, vous remarquez qu'une brique financière est soudainement reprise dans les conversations incomplètes. En ajoutant les valeurs représentées par les segments orange "incomplet" des graphiques à barres empilées, vous avez déterminé que les conversations échouent sur les parcours d'exécution pour les intentions Send Money et Balances de la brique.
Pour en savoir plus sur les échecs d'intention, vous ouvrez le rapport sur les parcours et vous saisissez votre première requête : filtrer toutes les intentions dont le résultat est non terminées. Le chemin est affiché avec deux branches : une qui commence par startPayments
et se termine par SystemDefaultErrorHandler
et une seconde qui commence par startBalances et se termine également par System.DefaultErrorHandler
. Lorsque vous cliquez sur le noeud final dans l'un ou l'autre des chemins, le volet de détails indique le nombre d'erreurs et affiche les fragments de code des messages utilisateur reçus par la brique avant que ces erreurs ne se produisent. Pour afficher ces snippets en contexte, vous cliquez sur Visualiser les conversations dans le panneau des détails afin d'afficher la transcription. Dans toutes les conversations, la brique a été obligée de répondre avec une invite d'erreur inattendue (Oups ! Je rencontre quelques difficultés) car des erreurs système l'ont empêché de traiter la demande utilisateur.
Pour en savoir plus sur les états qui ont conduit à ces erreurs (et leurs rôles possibles dans la survenue de ces échecs), reportez-vous à la définition de flux de dialogue afin d'identifier les états qui lancent les chemins d'exécution pour chaque intention. Ces états sont startBalances
, startTxns
, startPayments
, startTrackSpending
et setDate
.
En comparant les chemins à la définition de flux de dialogue, vous remarquez que dans les flux startPayments
et startBalances
, le dernier état affiché dans le chemin précède un état qui utilise un composant personnalisé. Après avoir vérifié la page Composants, vous remarquez que le service a été désactivé, ce qui empêche la brique d'extraire les informations de compte nécessaires pour terminer les conversations.
Examen des analyses sur les conversations des briques
Le rapport Conversations vous permet d'examiner les transcriptions réelles des conversations afin d'examiner comment les entrées utilisateur ont terminé les parcours d'intention ou pourquoi elles ne l'ont pas fait. Vous pouvez filtrer les conversations par canal, par mode (Voix, Texte, Tout), par type (flux d'intention ou flux LLM) et par période.
Pour une intention unique, le rapport Conversations répertorie les différentes conversations terminées. Toutefois, dans les flux de dialogue rédigés par YAML, une conversation terminée peut avoir différentes significations en fonction du message utilisateur et de la transition
return
, qui met fin à la conversation et détruit le contexte de conversation. Par exemple, pour une intention OrderPizza, le rapport Conversations peut afficher deux conversations terminées. Une seule de ces deux conversations s'est achevée par l'exécution d'une commande. L'autre conversation s'est elle aussi terminée, mais au lieu d'exécuter une commande, elle gère une saisie utilisateur incorrecte.
Visualisation des transcriptions de conversation
Cliquez sur Afficher la conversation pour ouvrir la conversation dans le contexte d'une fenêtre de discussion. Cliquez sur l'icône du graphique à barres pour afficher les mesures vocales de cette interaction.
Description de l'illustration view-conversation-window.png
Visualisation des mesures vocales
Anonymisation des informations d'identification personnelle
Les valeurs MONNAIE et DATE_TIME ne sont pas anonymisées, même si elles contiennent des nombres. En outre, le "un" de l'invite par défaut pour une entité de conteneur composite ("Sélectionnez une valeur pour...") est anonymisé en tant que valeur numérique. Pour éviter cela, ajoutez une invite personnalisée ("Sélectionner une valeur a pour...", par exemple).
- PERSON
- NUMBER
- PHONE_NUMBER
- URL
L'option Activer le masquage est en phase d'abandon dans la version 21.12. Utilisez plutôt l'anonymisation des informations d'identification personnelle pour masquer les valeurs numériques dans les rapports d'analyse et exporter les journaux. Vous ne pouvez pas appliquer l'anonymisation aux conversations enregistrées avant la version 21.12.
Activer l'anonymisation des informations d'identification personnelle
- Cliquez sur Paramètres > Général.
- Activez Activer l'anonymisation des informations d'identification personnelle.
- Cliquez sur Ajouter une entité pour sélectionner les valeurs d'entité à anonymiser dans les rapports d'analyse et les journaux.
RemarqueSi vous voulez mettre fin à l'anonymisation d'une valeur d'informations d'identification personnelle ou si vous ne voulez pas qu'un anonymat soit utilisé, sélectionnez l'entité correspondante, puis cliquez sur Supprimer l'entité. Une fois que vous avez supprimé une entité, la valeur d'informations d'identification personnelle réelle apparaît dans les rapports d'analyse pour les conversations suivantes. Sa forme anonyme, cependant, restera pour les conversations antérieures.
Les valeurs anonymisées sont conservées dans la base de données uniquement après l'activation de l'anonymisation des valeurs d'informations d'identification personnelle pour les entités sélectionnées. Elles ne sont pas appliquées aux conversations précédentes. Selon la plage de dates sélectionnée pour les rapports d'analyse ou les fichiers d'export, les valeurs d'informations d'identification personnelle peuvent apparaître dans leurs formulaires réels et anonymisés. Vous pouvez appliquer l'anonymisation à toute valeur d'informations d'identification personnelle non anonymisée (y compris celles des conversations qui se sont produites avant l'activation de l'anonymisation dans les paramètres de brique ou d'assistant numérique) lorsque vous créez une tâche d'export. Ces anonymes s'appliquent uniquement au fichier exporté et ne sont pas conservés dans la base de données.Remarque
L'anonymisation est permanente (nonobstant l'anonymisation appliquée à la tâche d'export). Vous ne pouvez pas récupérer les valeurs d'informations d'identification personnelle après avoir activé l'anonymisation.
Anonymisation des informations d'identification personnelle dans le fichier d'exportation
L'anonymisation dans un fichier d'analyse exporté varie selon que vous avez activé l'anonymisation des informations d'identification personnelle pour la brique ou l'assistant numérique dans Paramètres.
- Les valeurs d'informations d'identification personnelle reconnues pour les entités sélectionnées sont remplacées par des anonymes. Ces anonymes sont conservés dans la base de données et remplacent les valeurs d'informations d'identification personnelle dans les journaux et les rapports d'analyse. Cette anonymisation est appliquée aux conversations qui se produisent après – et non avant – votre activation de l'anonymisation dans les paramètres.
- L'option Activer l'anonymisation des informations d'identification personnelle pour l'option de fichier de la tâche d'export est activée par défaut pour garantir que les valeurs d'informations d'identification personnelle reconnues pour les entités sélectionnées dans les paramètres sont appliquées aux conversations qui ont eu lieu avant la définition de l'anonymisation des informations d'identification personnelle. Les anonymes appliqués lors de l'exportation vers les conversations antérieures à l'anonymisation des informations d'identification personnelle existent uniquement dans le fichier d'exportation. Les valeurs d'informations d'identification personnelle d'origine restent dans la base de données, les journaux d'analyse et les rapports d'analyse).
- Si vous désactivez l'option Activer l'anonymisation des informations d'identification personnelle pour le fichier, seules les valeurs d'informations d'identification personnelle reconnues pour les entités sélectionnées dans les paramètres seront anonymisées. Les fichiers journaux contiennent les anonymes des conversations qui ont eu lieu après l'activation des paramètres d'anonymisation pour la brique ou l'assistant numérique. Les conversations précédentes apparaissent sous la forme de variations originales et non modifiées avec leurs valeurs d'informations d'identification personnelle intactes. Par conséquent, le fichier d'exportation peut inclure des conversations anonymisées et non anonymisées si une partie de la plage de dates de la tâche d'exportation est antérieure à l'anonymisation.
Remarque
Si votre tâche d'export inclut des conversations anonymisées survenues avant la version 22.04, les anonymes appliqués aux conversations antérieures à la version 22.04 seront modifiés ou rendus anonymisés dans les fichiers d'export lorsque vous sélectionnez Activer l'anonymisation des informations d'identification personnelle pour le fichier pour la tâche d'export. Les anonymes du fichier exporté ne correspondent ni aux anonymes des fichiers d'export antérieurs à la version 22.04, ni aux anonymes qui apparaissent dans les rapports d'analyse.
- L'option Activer l'anonymisation des informations d'identification personnelle pour le fichier est désactivée par défaut pour la tâche d'export, de sorte que le fichier exporté contienne toutes les variations non modifiées d'origine, y compris les valeurs d'informations d'identification personnelle.
- Si vous sélectionnez Activer l'anonymisation des informations d'identification personnelle pour le fichier, les valeurs des informations d'identification personnelle seront anonymisées dans le fichier exporté uniquement pour les entités par défaut, PERSON, EMAIL, URL et NUMBER. Les valeurs d'informations d'identification personnelle resteront dans la base de données, les journaux et les rapports d'analyse.
Application du réentraînement
- Période
- Langue : pour une fonction multilingue activée via les services de traduction ou la prise en charge des langues natives. Par défaut, le rapport est filtré sur la langue principale.
- Intentions : filtrez l'affichage en mettant en correspondance les noms des deux intentions les mieux classées et en utilisant des opérateurs de comparaison pour leurs propriétés de résolution, leur confiance et leur marge de gain.
- Canaux : inclut le canal d'agent créé pour les intégrations Oracle Service Cloud.
- Mode texte ou vocal : inclut les conversations basculées.
Mise à jour d'intentions avec le réentraînement
- Vous pouvez uniquement ajouter une saisie utilisateur au corpus d'entraînement appartenant à une version brouillon d'une brique, et non à une version publiée.
- Vous ne pouvez pas ajouter une saisie utilisateur déjà présente en tant que variation dans le corpus d'entraînement, ou que vous avez déjà ajoutée à l'aide du réentraînement.
- Etant donné que vous ne pouvez pas mettre à jour une brique publiée, vous devez créer une version brouillon pour pouvoir ajouter de nouvelles données au corpus.
Conseil :
Cliquez sur Comparer toutes les versionsou désactivez le commutateur Afficher uniquement la plus récente pour accéder aux versions brouillon et publiée de la brique.
- Dans la version brouillon de la brique, appliquez un filtre, si nécessaire, puis cliquez sur Rechercher.
- Sélectionnez le message utilisateur, puis choisissez l'intention cible dans le menu Sélectionner une intention. Si votre brique prend en charge plusieurs langues natives, vous pouvez l'ajouter à l'ensemble d'entraînement adapté à la langue en choisissant l'une des langues du menu Langue.
Conseil :
Vous pouvez ajouter des variations individuellement à une intention, ou sélectionner plusieurs intentions puis l'intention cible et, si nécessaire, une langue dans le menu Ajouter à situé en haut à gauche de la table. Pour ajouter toutes les demandes renvoyées à une intention, sélectionnez Variations (en haut à droite de la table), puis choisissez l'intention et la langue dans le menu Ajouter à. - Cliquez sur Ajouter un exemple.
- Entraînez de nouveau la brique.
- Publiez de nouveau la brique.
- Mettez à jour l'assistant numérique avec la nouvelle brique.
- Surveillez le rapport Aperçu pour connaître l'évolution des mesures au fil du temps et comparer les différentes versions de la brique afin de déterminer si les nouvelles versions ont contribué au succès global de la brique. La répétition du processus de réentraînement améliore la réactivité de la brique à chaque nouvelle version. Pour les briques intégrées à Oracle Service Cloud Chat, par exemple, le réentraînement doit provoquer une évolution à la baisse des escalades, indiquée par une évolution à la baisse de l'utilisation des intentions de transfert vers un agent.
Auto-apprentissage modéré
En définissant le filtre Niveau de confiance le plus élevé sous le seuil de confiance défini pour la brique ou via le filtre par défaut Intention correspondant à unresolvedIntent, vous pouvez mettre à jour votre corpus d'entraînement à l'aide du classement de confiance défini par la structure de traitement des intentions. Par exemple, si la recherche sur unresolvedIntent renvoie l'expression "quelqu'un a utilisé ma carte de crédit", vous pouvez l'affecter à une intention appelée Litige. Il s'agit d'un auto-apprentissage modéré : la résolution de l'intention est améliorée sans que l'intégrité de la brique ne soit dégradée.
Par exemple, les critères de recherche par défaut du rapport vous montrent une saisie utilisateur aléatoire ne pouvant pas être résolue au niveau de confiance car elle est inappropriée, hors sujet ou contient des erreurs. Vous pouvez vous reporter au graphique à barres pour affecter la saisie utilisateur. Vous pouvez ainsi renforcer l'intention de la brique afin de gérer les intentions non résolues en affectant une entrée contenant du langage incompréhensible. Vous pouvez également ajouter des entrées orthographiées de façon incorrecte à l'intention orientée tâche appropriée (par exemple, "send moneey" à une intention Send Money). Par exemple, si votre brique comporte une intention Welcome, vous pouvez affecter à vos briques des messages irrévérencieux et hors sujet auxquels votre brique pourra renvoyer avec une réplique comme "I don’t know about that, but I can help you order some flowers".
Prise en charge des services de traduction
Si votre brique utilise un service de traduction, le réentraînement affiche les messages de l'utilisateur dans la langue cible. Cependant, le réentraînement n'ajoute pas de messages traduits au corpus d'entraînement. Il les ajoute en anglais, c'est-à-dire la langue acceptée par le modèle d'entraînement. Cliquez sur pour afficher la version anglaise qui peut éventuellement être ajoutée au corpus. Par exemple, si vous cliquez sur cette icône pour le mot français contester, le mot anglais dispute est affiché.
Création de travaux de fabrication de données
Au lieu d'affecter vous-même des variations à des intentions, vous pouvez alimenter cette tâche en foule en créant des travaux d'annotation d'intention et de validation d'intention. Vous n'avez pas besoin de compiler les journaux de conversation dans un fichier CSV pour créer ces travaux. A la place, cliquez sur Créer, puis sur Travail de fabrication de données.
Vous choisissez ensuite le type de travail pour la saisie utilisateur filtrée dans le rapport Réentraînement. Par exemple, vous pouvez créer un travail d'annotation d'intention à partir d'un rapport filtré par l'intention supérieure correspondant à unresolvedIntent, ou vous pouvez créer un travail de validation d'intention à partir d'un rapport filtré sur les variations qui correspondent à une intention.
Description de l'illustration retrainer-data-manufacturing-job-dialog.png
Conseil :
A l'aide des options Sélectionner des variations, vous pouvez choisir tous les résultats renvoyés par le filtre appliqué au réentraînement pour le travail de fabrication de données, ou créer un travail à partir d'un sous-ensemble de ces résultats qui peut inclure un échantillonnage aléatoire des variations. La sélection de l'option Exclure les variations des travaux précédents signifie que les variations sélectionnées pour un travail de fabrication de données précédent ne seront plus disponibles pour les travaux suivants : les variations incluses dans un travail d'annotation d'intention, par exemple, ne seront plus disponibles pour un travail d'annotation d'intention ultérieur. Utilisez cette option lorsque vous créez plusieurs travaux pour consulter un grand ensemble de résultats.Créer une suite de test
Comme pour les travaux de fabrication de données à partir des résultats interrogés dans le rapport de réentraînement, vous pouvez également créer des cas de test à partir des variations renvoyées par votre requête. Vous pouvez ajouter une suite de ces cas de test au testeur de variations en cliquant sur Créer, puis sur Suite de tests.
Vous pouvez filtrer les variations de la série de tests à l'aide des options Sélectionner des variations de la boîte de dialogue Créer une série de tests. Vous pouvez inclure toutes les variations renvoyées par le filtre appliqué au réentraînement dans la suite de tests, ou un sous-ensemble de ces résultats qui peut inclure un échantillonnage aléatoire des variations. Sélectionnez Inclure la balise de langue pour vous assurer que la langue associée à un scénario de test reste la même tout au long du test.
Description de l'image create-test-suite-dialog-insights.png
Vous pouvez accéder à la suite de tests terminée en cliquant sur Accéder aux cas de test dans le testeur de variations.
Examen de l'utilisation des langues
Pour une brique multilingue, vous pouvez comparer l'utilisation des langues prises en charge via les segments du graphique Langues. Chaque segment représente une langue actuellement utilisée.
Description de l'illustration languages-chart-overview-skill.png
Si vous voulez examiner les conversations représentées par une langue dans le graphique, vous pouvez cliquer sur un segment ou sur la légende pour accéder au rapport Conversations, filtré sur la langue sélectionnée.
Description de l'illustration conversations-report-filtered-by-language.png
Export des données d'analyse
Les différents rapports d'analyse présentent les données sous différents angles. Toutefois, si vous avez besoin de visualiser ces données d'une autre manière, vous pouvez créer votre propre rapport à partir d'un fichier CSV contenant les données d'analyse exportées.
Les données peuvent être réparties sur plusieurs fichiers CSV lorsque la tâche renvoie plus de 1 048 000 lignes. Dans ce cas, le fichier ZIP contient une série de fichiers ZIP incluant chacun un unique fichier CSV.
- Nom : nom de la tâche d'export.
- Dernière exécution : date à laquelle la tâche a été exécutée pour la dernière fois.
- Créateur : nom de l'utilisateur qui a créé la tâche.
- Statut de l'export : Soumis, En cours, Echec, Aucune donnée (lorsque la plage de dates définie pour la tâche ne contient aucune donnée) ou bien Terminé, qui est un lien hypertexte permettant de télécharger les données exportées en tant que fichier CSV. Positionnez le curseur sur le statut Echec pour afficher un message explicatif.
Une tâche d'export s'applique à la version actuelle de la brique.
Création d'une tâche d'export
- Ouvrez la page Exports et cliquez sur + Exporter.
- Saisissez le nom du rapport, puis entrez une plage de dates.
- Cliquez sur Activer l'anonymisation des informations d'identification personnelle pour le fichier exporté pour remplacer les valeurs d'informations d'identification personnelle par des anonymes dans le fichier exporté. Ces anonymes existent uniquement dans le fichier exporté si les informations d'identification personnelle ne sont pas activées dans les paramètres de brique. Dans ce cas, les valeurs d'informations d'identification personnelle, et non leurs équivalents d'anonymat, sont toujours stockées dans la base de données et apparaissent dans les journaux d'analyse exportés et dans les rapports d'analyse, y compris le rapport Conversations, le réentraînement et les expressions clés dans le cloud de mots. Si les informations d'identification personnelle ont été activées dans les paramètres de brique, les journaux et les rapports d'analyse contiendront des anonymes.
Remarque
L'anonymisation des informations d'identification personnelle activée pour les paramètres de brique ou d'assistant numérique prend en compte la façon dont les valeurs d'informations d'identification personnelle sont anonymisées dans le fichier d'export et contribue également à la consistance de l'anonymisation dans le fichier d'export. - Cliquez sur Exporter.
- Une fois la tâche terminée, cliquez sur Terminé pour télécharger le fichier CSV (ou les fichiers CSV pour les exports importants) sous forme de fichier ZIP. Le nom du fichier CSV d'export au niveau de la brique commence par
B_
. Les noms de fichier des exports au niveau de l'assistant numérique commencent parD_
.

Description de l'image insights-export-dialog.png
Examen des journaux d'export
BOT_NAME
contient le nom de la brique ou le nom de l'assistant numérique. Vous pouvez utiliser cette colonne pour savoir comment le dialogue est acheminé du système numérique vers les briques (et entre les briques).CHANNEL_SESSION_ID
stocke l'ID de session de canal. Vous pouvez utiliser cet ID, en conjonction avec la troisième colonne,CHANNEL_ID
, afin de créer un type d'identificateur unique pour la session. Etant donné que les sessions peuvent expirer ou être interrompues, vous pouvez utiliser cet identificateur pour déterminer si la session a changé.TIMESTAMP
indique la chronologie ou l'ordre dans lequel les événements se sont produits. En règle générale, le tri est effectué sur cette colonne.USER_UTTERANCE
etBOT_RESPONSE
contiennent la conversation entre la brique et son utilisateur. Ces deux champs affichent clairement l'imbrication des messages de l'utilisateur et de la brique en cas de tri surTIMESTAMP
.La colonne
USER_UTTERANCE
peut contenir des variations en double. Cela peut se produire lorsque les tests utilisateur sont exécutés sur la même instance, mais il est plus probable que cela soit dû à l'utilisation de la variation dans différentes parties de la conversation.- Vous pouvez utiliser
COMPONENT_NAME
,CURR_STATE
etNEXT_STATE
pour déboguer le flux de dialogue.
Filtrage des données d'analyse exportées
TIMESTAMP
pour visualiser la séquence d'événements. Pour d'autres perspectives, par exemple, la conversation entre l'utilisateur et la brique, vous pouvez filtrer les colonnes sur les états internes générés par le système. Les techniques de filtrage courantes sont les suivantes :
- Tri de la conversation entre la brique et l'assistant numérique : lorsqu'un export contient des données provenant d'un assistant numérique et de ses briques inscrites, le contenu du champ
BOT_NAME
peut sembler confus, car la conversation semble basculer arbitrairement entre les différentes briques, et entre les briques et l'assistant numérique. Pour afficher le dialogue dans le bon ordre (et en contexte), la colonneTIMESTAMP
est présentée dans l'ordre croissant. - Recherche des limites de la conversation : utilisez le champ
System.BeginSession
et l'un des états terminaux pour rechercher le début et la fin d'une conversation. Les conversations commencent par un étatSystem.BeginSession
. Elles peuvent se terminer par l'un des états terminaux suivants :System.EndSession
System.ExpiredSession
System.MaxStatesExceededHandler
System.DefaultErrorHandler
- Examen de la conversation entre l'utilisateur et la brique : pour isoler le contenu des colonnes
USER_UTTERANCE
etBOT_RESPONSE
, filtrez la colonneCURR_STATE
sur les états générés par le systèmeSystem.MsgReceived
etSystem.MsgSent
RemarqueParfois, certaines parties du dialogue entre l'utilisateur et la brique peuvent se répéter dans les colonnes
En cas de réponse à un message non texte, comme celles provenant des états des entités de résolution, la sortie de la brique contient des réponses partielles jointes par un caractère de retour à la ligne.USER_UTTERANCE
etBOT_RESPONSE
. Le texte utilisateur est répété lorsqu'une transition automatique ne nécessite pas de saisie utilisateur. Les réponses de la brique sont répétées si l'état suivant est l'un des états terminaux, commeSystem.EndSession
ouSystem.DefaultErrorHandler
. - Examen de l'exécution du flux de dialogue avec le dialogue entre l'utilisateur et la brique : pour visualiser les transactions internes ou afficher uniquement les messages non textuels, vous devez retirer du filtre les états
System.MsgReceived
etSystem.MsgReceived
de la colonneCURR_STATE
(approche opposée à la visualisation du dialogue uniquement). - Identification d'une session : comparez les valeurs de
CHANNEL_SESSION_ID
et deSESSION_ID
(les unes à côté des autres).
Champs du journal d'export
Nom de la colonne | Description | Exemple de valeur |
---|---|---|
BOT_NAME |
Nom de la brique. | PizzaBot |
CHANNEL_SESSION_ID |
ID d'un utilisateur pour la session. Cette valeur identifie une nouvelle session. La modification de cette valeur indique que la session a expiré ou a été réinitialisée pour le canal. | 2e62fb24-8585-40c7-91a9-8adf0509acd6 |
SESSIONID |
Identificateur de la session en cours. Il s'agit d'un GUID aléatoire qui rend cet ID différent des valeurs CHANNEL_SESSION_ID et USER_ID . Une session indique que des parcours d'exécution d'intention ont été terminés par une transition return explicite dans la définition d'état, ou par un retour implicite injecté par le moteur de dialogue.
|
00cbecbb-0c2e-4749-bfa9-c1b222182e12 |
TIMESTAMP |
Horodatage de création. Utilisé pour déterminer l'ordre chronologique ou la séquence des événements. | 14-SEP-20 01.05.10.409000 PM |
USER_ID |
ID utilisateur | 2880806 |
DOMAIN_USERID |
Fait référence à USER_ID .
|
2880806 |
PARENT_BOT_ID |
ID de la brique ou de l'assistant numérique. Lorsqu'une conversation est déclenchée par un assistant numérique, il s'agit de l'ID de l'assistant numérique. | 9148117F-D9B8-4E99-9CA9-3C8BA56CE7D5 |
ENTITY_MATCHES |
Identifie les valeurs d'élément de conteneur composite mises en correspondance dans la première variation résolue en intention. Si le premier message d'un utilisateur est "Order a large pizza", cette colonne contiendra la correspondance pour l'élément PizzaSize dans l'entité de conteneur composite Pizza : Les autres valeurs d'élément dans les messages utilisateur suivants ne sont pas suivies. Par conséquent, si le message suivant d'un utilisateur inclut une valeur PizzaType, il ne sera pas inclus dans le fichier d'export. Si un utilisateur saisit d'abord "Order a pizza" puis, une fois l'intention résolue, ajoute un message de suivi avec une valeur d'entité pour l'élément PizzaSize ("make it a large"), une valeur NULL est enregistrée dans la colonne ENTITY_MATCHES , car le message initial qui a été résolu en intention ne contenait aucune valeur d'élément.
Un objet vide ( |
{"Pizza":[{"entityName":"Pizza","PizzaType":["CHEESE BASIC"],"PizzaSize":["Large"]}]} |
PHRASE |
Interprétation ODA de la saisie utilisateur. | large thin pizza |
INTENT_LIST |
Classement des intentions candidates, exprimé sous forme d'objet JSON. | [{"INTENT_NAME":"OrderPizza","INTENT_SCORE":0.4063},{"INTENT_NAME":"OrderPasta","INTENT_SCORE":0.1986}] Pour les exports d'assistant numérique, il s'agit du classement des briques appelées via l'assistant numérique. Par exemple : |
BOT_RESPONSE |
Réponses apportées par la brique aux variations utilisateur. | How old are you? |
USER_UTTERANCE |
Saisie utilisateur. | 18 |
INTENT |
Intention sélectionnée par la brique pour traiter la conversation. Indique l'intention principale de la liste des intentions considérées comme possibles pour la conversation. | OrderPizza |
LOCALE |
Environnement local de l'utilisateur. | en-US |
COMPONENT_NAME |
Composant (système ou personnalisé) exécuté dans l'état en cours. Vous pouvez utiliser ce champ avec CURR_STATE et NEXT STATE pour déboguer la boîte de dialogue flow.There sont d'autres valeurs de la colonne COMPONENT_NAME qui ne sont pas des composants :
|
AgeChecker |
CURR_STATE |
Etat en cours de la conversation, que vous utilisez pour déterminer la source du message. Ce champ contient les noms des états établis dans la définition de flux de dialogue, ainsi que les états générés par le système. Vous pouvez filtrer le fichier CSV sur ces états, notamment System.MsgRecieved pour les messages utilisateur et System.MsgSent pour les messages envoyés par la brique ou les agents pour les intégrations de service client.
|
checkage
|
NEXT_STATE |
Etat suivant sur le parcours d'exécution. Les transitions d'état dans la définition de flux de dialogue indiquent l'état suivant sur le parcours d'exécution. | crust |
Language |
Langue utilisée pendant la session. | fr |
SKILL_VERSION |
Version de la brique. | 1.2 |
INTENT_TYPE |
Indique si l'intention est une intention transactionnelle (TRANS ) ou une intention de réponse (STATIC ).
|
STATIC |
CHANNEL_ID |
Identifie le canal sur lequel la conversation a été effectuée. Ce champ, avec CHANNEL_SESSION_ID , représente une session.
|
AF5D45A0EF4C02D4E053060013AC71BD |
ERROR_MESSAGE |
Message d'erreur renvoyé. | Session expired due to inactivity .
|
INTENT_QUERY_TEXT |
Entrée envoyée au serveur d'intentions pour classification. Le contenu de INTENT_QUERY_TEXT et de USER_UTTERANCE est identique lorsque la saisie utilisateur est dans l'une des langues natives, mais il est différent lorsque la saisie utilisateur est dans une langue qui n'est pas prise en charge de façon native, et donc gérée par un service de traduction. Dans ce cas, INPUT_QUERY_TEXT est en anglais.
|
|
TRANSLATE_ENABLED |
Indique si un service de traduction est utilisé. | NO |
SKILL_SESSION_ID |
ID de la session. | 6e2ea3dc-10e2-401a-a621-85e123213d48 |
ASR_REQUEST_ID |
Champ de clé unique identifiant chaque entrée vocale, c'est-à-dire l'ID de demande vocale. La présence de cette valeur indique que l'entrée est une entrée vocale. | cb18bc1edd1cda16ac567f26ff0ce8f0 |
ASR_EE_DURATION |
Durée d'une variation vocale particulière dans une fenêtre de conversation. | 3376 |
ASR_LATENCY |
Latence vocale, mesurée en millisecondes. Bien que la reconnaissance vocale exige un grand nombre de calculs, la bande passante de mémoire et la capacité de la batterie sont limitées. Cela présente la latence à partir de la réception de l'entrée vocale jusqu'à sa transcription. De plus, les implémentations basées sur un serveur ajoutent également de la latence en raison de l'aller-retour. | 50 |
ASR_RTF |
Mesure standard de performances dans le système de reconnaissance vocale. Si un temps {P} est nécessaire pour traiter une entrée de durée {I}, le facteur temps réel est défini comme suit : RTF = \frac{P}{I}. Ratio du temps nécessaire au traitement de l'entrée audio par rapport au temps UC. Par exemple, si une seconde de temps UC est nécessaire pour traiter une seconde d'audio, le facteur temps réel est de 1 (1/1). Si 500 millisecondes sont nécessaires pour traiter une seconde d'audio, le facteur temps réel est de 0,5 ou ½. | 0.330567 |
CONVERSATION_ID |
ID de la conversation. | 906ed6bd-de6d-4f59-a2af-3b633d6c7c06 |
CUSTOM_METRICS |
Tableau JSON contenant un objet pour chaque dimension de mesure personnalisée. name est un nom de dimension et value est la valeur renvoyée. Cette colonne est disponible pour les versions 22.02 et supérieures.
|
|
Etats internes
Nom du département | Description |
---|---|
System.MsgReceived |
Evénement de message reçu déclenché pour les analyses lorsqu'une brique reçoit un message texte d'une source externe, telle qu'un utilisateur ou une autre brique. |
System.MsgSent |
Evénement de message envoyé déclenché pour les analyses lorsqu'une brique répond à une source externe, telle qu'un utilisateur ou une autre brique.
Pour chaque événement |
System.BeginSession |
Un événement System.BeginSession est envoyé en tant que marqueur pour le démarrage de la session dans les circonstances suivantes :
|
System.EndSession |
Un événement System.EndSession est capturé en tant que marqueur pour la terminaison de session lorsque l'état en cours n'a généré aucune erreur non gérée et qu'il comporte une transition return , ce qui indique qu'aucun autre état de dialogue ne sera à exécuter. L'événement System.EndSession peut également être enregistré lorsque l'état en cours comporte ce qui suit :
|
System.ExpiredSession (Error type: "systemHandled") |
Délai d'expiration de session. Le délai d'expiration par défaut est d'une heure.
Lorsqu'une conversation s'arrête pendant plus d'une heure, l'expiration de la session est déclenchée. L'expiration de la session est capturée en deux événements distincts dans les analyses. Le premier événement est l'état inactif, qui est l'état dans le flux de dialogue où la communication avec l'utilisateur s'est arrêtée. Le second est l'événement |
System.DefaultErrorHandler |
Le gestionnaire d'erreurs par défaut est exécuté lorsqu'aucun traitement d'erreur n'est défini dans le flux de dialogue, soit globalement (par exemple, le noeud defaultTransitions dans les flux basés sur YAML), soit au niveau de l'état avec des transitions error . Lorsque le flux de dialogue inclut des transitions error , un événement System.EndSession est déclenché.
|
System.ExpiredSessionHandler |
L'événement System.ExpiredSessionHandler est déclenché si un message est envoyé à la brique à partir d'un système externe ou par un utilisateur après l'expiration de la session. Par exemple, cet événement est déclenché lorsqu'un utilisateur arrête de discuter avec la brique au milieu d'une conversation, puis envoie un message après avoir laissé la fenêtre de discussion ouverte pendant plus d'une heure.
|
System.MaxStatesExceededHandler |
Cet événement est déclenché si plus de 100 états de dialogue sont déclenchés dans le cadre d'un message utilisateur unique. |
Tutoriel : Utilisation des analyses Oracle Digital Assistant
Utilisez la génération de rapports d'analyse (y compris le réentraînement) grâce au tutoriel Utilisation des analyses Oracle Digital Assistant.