Données clés sur les assistants numériques

Pour chaque assistant numérique, vous pouvez voir des rapports de données clés, qui constituent des analyses orientées développeur des modèles d'utilisation.

Vous pouvez suivre les mesures au niveau de la session utilisateur et au niveau de la conversation. Une session de clavardage d'utilisateur commence lorsqu'un utilisateur contacte un assistant numérique et se termine lorsqu'un utilisateur a fermé la fenêtre de clavardage ou après l'expiration de la session de clavardage spécifiée par la configuration du canal. Vous pouvez basculer entre les rapports de conversation et de session de clavardage à l'aide du filtre Metric (Mesure).
Description de da-conversation-sessions-toggle.png :
Description de l'illustration da-conversation-sessions-toggle.png

Le service de données clés assure le suivi des sessions de clavardage à la source. Dans ce cas, c'est l'assistant numérique qui a lancé une session de clavardage, et non les compétences de ses collaborateurs. Comme les utilisateurs se connectent directement à l'assistant numérique, les compétences n'ont aucune incidence sur le suivi des sessions de clavardage.

Note

Toutes les sessions de clavardage en cours expireront après la version 21.12.

Mesures de session de clavardage pour les assistants numériques

Nombre de sessions lancées - Nombre total de sessions de clavardage lancées par l'assistant numérique.
Terminé - Nombre de sessions de clavardage qui se sont terminées explicitement par des utilisateurs fermant la fenêtre de clavardage ou qui ont expiré après la période spécifiée par la configuration du canal.
Note

Toutes les sessions en cours expireront après la version 21.12. Les sessions lancées au moyen du testeur de compétence expirent après 24 heures d'inactivité. Actuellement, la fonctionnalité de fin d'une session en fermant la fenêtre de clavardage est prise en charge par la trousse SDK client native d'Oracle Digital Assistant pour le Web.
Actif - Sessions de clavardage qui restent actives parce que la fenêtre de clavardage reste ouverte ou parce qu'elles n'ont pas encore expiré.
Nombre moyen de réponses d'utilisateur par session - Nombre moyen de réponses d'utilisateurs pour le nombre total de sessions lancées par l'assistant numérique. Chaque fois qu'un utilisateur pose une question, répond à l'assistant numérique ou interagit avec celui-ci est compté comme réponse.

Description de l'illustration da-sessions-metrics.png
Tendances de session - Comparaison des sessions actives, terminées et lancées. Ces mesures sont affichées proportionnellement les unes aux autres sur le graphique en beignet, ce qui compare les totaux des sessions terminées et actives au nombre total de sessions lancées. Le graphique linéaire de tendance trace les nombres pour ces mesures par date.

Description de l'illustration da-session-trends.png

Mesures de conversation pour les assistants numériques

Grâce aux rapports de données clés sur un assistant numérique, vous pouvez découvrir les éléments suivants :

Le nombre de conversations lancées par un assistant numérique pendant une période donnée et leur taux d'achèvement.
Note

Les conversations ne sont pas les mêmes que les demandes mesurées. Pour en savoir plus sur les mesures, voir Description des services Oracle PaaS et IaaS - Crédits universels.
La popularité des compétences enregistrées auprès d'un assistant numérique telle que déterminée par le trafic vers chaque compétence.

Ces rapports affichent les données lorsque l'option Enable Insights (Activer les données clés), située dans la page générale Settings (Paramètres) est activée. Pour accéder aux rapports, ouvrez un assistant numérique, puis sélectionnez dans sa barre de navigation gauche.

Vous pouvez également afficher des rapports détaillés sur des compétences particulières qui montrent, par exemple, la fréquence d'appel de chaque intention (ainsi que le pourcentage des appels conclus) et les parcours suivis par les utilisateurs dans cette compétence. Voir Données clés.

Types de rapport

Aperçu - Utilisez ce tableau de bord pour connaître rapidement le nombre total de conversations vocales et textuelles par canal et par période. Les mesures du rapport segmentent ce total en conversations terminées (complete), inachevées (incomplete) et en cours (in progress). Ce rapport vous indique également comment la compétence a terminé les conversations ou n'a pas pu les conclure en classant l'utilisation de ses intentions transactionnelles et de réponse dans des graphiques à barres et des nuages de mots.
Conversations - Affiche les transcriptions des conversations qui ont eu lieu pendant une session. Vous pouvez lire une version en texte brut de cette conversation et la vérifier dans le contexte de l'acheminement des compétences et de la résolution d'intention de l'assistant numérique.
Événements - Affiche les mesures et les graphiques pour les événements externes relayés aux compétences au sein de l'assistant numérique et les événements sortants envoyés aux écritures de journal externes.
Réentraînement - Il s'agit de la contrepartie du réentraînement au niveau de la compétence, où vous améliorez la résolution d'intention des compétences enregistrées à l'aide des données réelles qui circulent par l'assistant numérique.
Exporter - Permet de télécharger un fichier CSV des données clés collectées par Oracle Digital Assistant. Vous pouvez créer un rapport de données clés personnalisé à partir du fichier CSV.

Consulter les mesures et graphiques d'aperçu

Cliquez sur

dans la barre de navigation gauche pour accéder aux rapports suivants.

Completed (Terminé) – Nombre de conversations acheminées par l'assistant numérique et terminées par les compétences individuelles. Les conversations qui se terminent par un état End Flow ou à un état où End flow (implicite) est sélectionné comme transition sont considérées comme terminées. Dans les compétences d'auteur YAML, les conversations sont comptées comme terminées lorsque le parcours dans le flux de dialogue se termine par une transition return ou à un état avec la propriété insightsEndConversation.
Note

Cette propriété et la transition return ne sont pas disponibles dans Visual Flow Designer.
Incomplete (Inachevées) — Conversations que les utilisateurs n'ont pas pu terminer, soit parce qu'ils ont abandonné la compétence, soit en raison d'erreurs au niveau du système, de temporisations ou de défauts de conception de la compétence.
In Progress (En cours) – Nombre de conversations de compétence (qui ont été lancées par l'assistant numérique) toujours en cours. Utilisez cette mesure pour suivre les conversations multitours. Une conversation en cours devient une conversation inachevée après l'expiration d'une session.
No Match (Aucune correspondance) - Nombre de fois où l'assistant numérique n'a pu faire correspondre aucune de ses compétences enregistrées au message d'un utilisateur.
Canceled (Annulé) - Nombre de fois où les utilisateurs ont quitté une compétence en entrant "cancel" (annuler).
Help (Aide) - Nombre de fois où l'intention du système d'aide a été appelée.
Lorsque les données clés ont été désactivées pour un assistant numérique, le nombre Completed continuera d'augmenter si l'option a été activée pour l'une des compétences de membre. Malgré cela, aucune donnée ne sera consignée pour les mesures Help et No Match spécifiques à l'assistant numérique tant que vous n'activez pas l'option Activer les données clés.

Description de l'illustration da-insights-overview.png
Languages (Langues) : Graphique le nombre de conversations pour chaque compétence par langue prise en charge.

Description de l'illustration da-languages-graph.png
Performance : Affiche le nombre de conversations par compétence.
La vue Trend (Tendance) présente un graphique des conversations terminées sur la période sélectionnée.

Description de l'illustration da-insights-skills-trend.png
Aptitudes - La vue Sommaire affiche le nombre de conversations traitées par la compétence pour une période donnée. En survolant la barre de progression, vous pouvez déterminer le nombre de conversations terminées par rapport au total.
Description de l'illustration da-insights-skills-summary.png
Si une compétence a fait l'objet d'un contrôle des versions au cours de la période sélectionnée, vous pouvez connaître la répartition par version des conversations à l'aide du graphique Trafic. Cliquer sur une compétence ouvre ce graphique, qui illustre le volume de conversations traitées par chaque version de la compétence en termes de nombre total de conversations traitées par la compétence pour la période sélectionnée. Chaque arc du graphique Traffic (Trafic) représente une version de la compétence, avec la longueur et le pourcentage d'accompagnement indiquant le volume des conversations traitées. Le texte de survol de chacun de ces arcs décrit le pourcentage en termes de nombre de conversations. Pour décomposer ce nombre, par exemple, pour savoir ce que ce nombre signifie en termes d'intentions appelées pour une version particulière de la compétence, cliquez sur l'arc pour forer jusqu'aux données clés au niveau de la compétence.

Description de l'illustration da-insights-skill-traffic.png
Si des conversations inachevées ont été détectées pendant la période sélectionnée, leur nombre total est réparti selon les catégories d'erreur suivantes :
- Timeouts (Temporisations) – Les temporisations sont déclenchées lorsqu'une conversation en cours est inactive pendant plus d'une heure, ce qui entraîne l'expiration de la session.
- System-Handled Errors (Erreurs traitées par le système) – Ces erreurs sont traitées par le système, et non par la compétence. Ces erreurs se produisent lorsque la définition de flux de dialogue n'est pas équipée d'un traitement des erreurs.
- Infinite Loop (Boucle sans fin) – Des boucles sans fin peuvent se produire en raison de défauts dans la définition du flux de dialogue, tels que des transitions mal définies.
- Canceled (Annulé) - Nombre de fois où les utilisateurs ont quitté une compétence en annulant explicitement la conversation.
Description de l'illustration da-incomplete-conversations-chart.png

Voir le rapport sur les conversations

Au lieu de filtrer une feuille de calcul exportée, vous pouvez utiliser le rapport Conversation pour suivre l'acheminement du clavardage par l'assistant numérique vers ses différentes compétences et déterminer les intentions qui ont été appelées en cours de route.

Ce rapport, que vous pouvez filtrer par canal et par compétence, répertorie les conversations dans l'ordre chronologique par ID session (l'ID de la session de l'utilisateur sur un canal) et présente une transcription de la conversation dans ses colonnes Messages d'utilisateur et Réponses d'aptitude. L'ID session est créé lorsqu'un client se connecte au canal et contient toutes les données des compétences qui ont participé à une conversation. Cet ID expire s'il n'y a aucune activité pendant 24 heures, mais peut ne jamais expirer si le client poursuit ses conversations.
Description de da-conversations-report.png :
Description de l'illustration da-conversations-report.png

En cliquant sur View Conversations (Voir les conversations) dans la colonne Actions, vous pouvez voir toutes les conversations qui se sont produites pour la session dans le contexte d'une fenêtre de clavardage. Dans ce mode, vous pouvez voir le routage de l'assistant numérique au travail en voyant comment il a changé de compétences en réponse à l'entrée de l'utilisateur et également savoir quelles intentions des compétences ont été appelées à la suite de ce changement de contexte. Lorsqu'une session s'étend sur plusieurs jours, les conversations les plus anciennes s'affichent en premier.

Note

Les filtres Voir et Aptitudes que vous pouvez appliquer au rapport Conversations ne modifient pas le contenu des transcriptions de conversation affichées dans les colonnes Messages d'utilisateur et Réponses d'aptitude ou en mode Voir les conversations.

Vous pouvez partager la session avec un collègue qui a accès à votre instance en fournissant un lien qui peut être collé dans une fenêtre du navigateur. Pour obtenir ce lien, cliquez sur Options, puis sur Copier le lien de conversation.

Lancer le rapport de réentraînement ODA

Vous pouvez améliorer la résolution d'intention des compétences enregistrées en mettant à jour leurs données d'entraînement avec des entrées de client. Une partie de ces entrées n'a peut-être pas été résolue en compétence, ou a été acheminée vers la mauvaise compétence. Le rapport de réentraînement vous aide à évaluer cette entrée utilisateur et à l'ajouter à une compétence si vous la considérez comme un ajout utile aux données d'entraînement.
Description de da-retrainer.png :
Description de l'illustration da-retrainer.png
Par défaut, le rapport de réentraînement applique le filtre NoMatch de sorte qu'il retourne tous les messages d'utilisateur qui n'ont pu être mis en correspondance avec aucune compétence enregistrée à l'assistant numérique. Pour chacune de ces phrases retournées, le rapport présente les deux premières compétences, la marge de succès qui les sépare et, à l'aide d'un diagramme à barres horizontales, leurs notes de confiance contrastantes.

Avant d'utiliser le rapport de réentraînement, gardez les points suivants à l'esprit : Pour mettre à jour le corpus d'entraînement d'une compétence à partir du rapport de réentraînement :

Filtrez les compétences enregistrées. Par exemple, vous pouvez filtrer toutes les phrases correspondant à une compétence particulière au sein de l'assistant numérique, ou appliquer NoMatch pour les phrases sans correspondance.
Sélectionnez l'énoncé.
Sélectionnez une version provisoire de la compétence pour l'énoncé. S'il n'existe aucune version provisoire, créez-en une. Si une compétence ne peut pas être sélectionnée, c'est qu'elle utilise la prise en charge multilingue de manière native. Dans ce cas, vous ne pouvez pas mettre à jour la compétence d'ici. Vous devrez utiliser le rapport de réentraînement au niveau de la compétence à la place.
Sélectionnez l'intention. Après avoir ajouté la phrase en tant qu'énoncé dans le corpus d'entraînement, vous ne pouvez plus la sélectionner pour le réentraînement.
Si votre compétence prend en charge plusieurs langues, vous pouvez ajouter l'énoncé au jeu d'entraînement de la langue concernée en effectuant une sélection dans le menu Langue.
Note Cette option n'est disponible que pour les compétences dans les langues prises en charge de manière native.

Description de l'illustration select-native-language-skill-da-retrainer.png
Entraînez de nouveau la compétence.
Republiez la compétence.
Mettez à jour l'assistant numérique avec la dernière version de la compétence.

Anonymisation des informations d'identification personnelle

Comme les données clés au niveau de la compétence, vous pouvez appliquer l'anonymisation aux valeurs d'informations d'identification personnelle. Au niveau de l'assistant numérique, l'anonymisation est appliquée aux conversations traitées par l'assistant numérique. L'anonymisation activée au niveau de l'assistant numérique ne s'étend pas aux compétences. Si l'anonymisation est activée pour une compétence, mais pas pour l'assistant numérique, seules les conversations de compétence seront anonymisées et vice versa. Pour des conversations complètement anonymisées, vous devez appliquer l'anonymisation à l'assistant numérique et à ses compétences séparément.

Vous pouvez anonymiser les valeurs d'informations d'identification personnelle reconnues pour les entités système suivantes :

PERSON
NUMBER
EMAIL (adresse de courriel)
NUMÉRO DE TÉLÉPHONE
URL

Activer l'anonymisation des informations d'identification personnelle

Cliquez sur Paramètres > Général.
Activez Activer l'anonymisation des informations d'identification personnelle.
Cliquez sur Ajouter une entité pour sélectionner les valeurs d'entité à anonymiser dans les rapports de données clés et les journaux.
Note

Les valeurs anonymisées pour les entités sélectionnées sont conservées uniquement après l'activation de l'anonymisation. Elles ne sont pas appliquées aux conversations précédentes. Selon l'intervalle de dates sélectionné pour les rapports de données clés ou les fichiers d'exportation, les valeurs d'entité peuvent apparaître dans leurs formulaires réels et anonymisés. Vous pouvez appliquer l'anonymisation à toute valeur non anonyme lorsque vous créez une tâche d'exportation. Ces anonymes s'appliquent uniquement au fichier exporté et ne sont pas conservés dans la base de données.
Si vous voulez mettre fin à l'anonymisation d'une entité ou si vous ne voulez pas qu'un anonymat soit utilisé, sélectionnez l'entité, puis cliquez sur Supprimer l'entité. Une fois que vous avez supprimé une entité, la valeur réelle apparaît dans le rapport de données clés et dans les rapports de données clés pour les conversations suivantes, même si elle était précédemment affichée sous sa forme anonymisée.
Note

L'anonymisation est permanente (nonobstant l'anonymisation appliquée à la tâche d'exportation). Vous ne pouvez pas récupérer les valeurs réelles après avoir activé l'anonymisation.

Description de pii-settings-configuration.png :

Description de l'illustration pii-settings-configuration.png

Créer une tâche d'exportation

Si vous voulez une autre perspective sur les rapports sur les données clés, vous pouvez créer vos propres rapports à partir de données exportées. Ces données sont exportées dans un fichier CSV. Vous pouvez écrire un script pour trier le contenu de ce fichier.

Pour créer une tâche d'exportation :

Ouvrez la page Exports (Exportations), puis cliquez sur + Export (Exporter).
Entrez un nom pour le rapport, puis un intervalle de dates.
Cliquez sur Activer l'anonymisation des informations d'identification personnelle pour le fichier exporté pour remplacer toutes les valeurs non anonymisées par des anonymes dans le fichier exporté. Ces anonymes existent uniquement dans le fichier exporté si les informations d'identification personnelle ne sont pas activées dans les paramètres de l'assistant numérique. Elles ne sont pas conservées dans la base de données et n'apparaissent pas dans les journaux ni dans le rapport Conversations. Cette option est activée par défaut chaque fois que vous définissez l'anonymisation de l'assistant numérique.
Note

L'anonymisation des informations d'identification personnelle activée pour les paramètres de compétence ou d'assistant numérique tient compte de la manière dont les valeurs d'informations d'identification personnelle sont anonymisées dans le fichier d'exportation et contribue également à la consistance de l'anonymisation dans le fichier d'exportation.
Cliquez sur Exporter.
Lorsque la tâche réussit, cliquez sur Completed (Terminé) pour télécharger un ZIP du CSV.
Note

Le fichier CSV d'un assistant numérique contient des données pour les compétences directement appelées par ce dernier. Les données relatives aux compétences appelées en dehors du contexte d'un assistant numérique ne sont pas incluses dans ce fichier.

Description de insights-export-dialog.png :

Description de l'illustration insights-export-dialog.png

Note

Les données peuvent être réparties dans une série de CSV lorsque la tâche d'exportation retourne plus de 1 048 000 rangées. Dans de tels cas, le fichier ZIP contiendra une série de fichiers ZIP, contenant chacun un fichier CSV.

Mesures de remplacement d'agent humain pour les assistants numériques

Utilisez les mesures de l'agent humain pour évaluer la capacité de votre assistant numérique à détourner les demandes d'utilisateur des agents humains. Vous pouvez accéder à ces mesures en sélectionnant Agent en direct dans le filtre Programme de traitement (qui s'affiche uniquement lorsque vous filtrez le rapport par une date ou un intervalle de dates qui inclut des conversations de transfert d'agent humain).

Description de live-agent-option-da-insights.png :

Description de l'illustration live-agent-option-da-insights.png

Note

La production de rapports de données clés, au moyen de ses programmes de traitement d'aptitude et d'agent humain, couvre toutes les communications entre l'utilisateur final, la compétence et l'agent humain. Ce n'est pas le cas pour les conversations d'assistant numérique utilisé comme agent, où les données clés ne couvrent la conversation que jusqu'à ce que le clavardage ait été transféré à l'agent humain. Pour produire des rapports complets sur les conversations d'assistant numérique utilisé comme agent, utilisez Oracle Fusion Service Analytics.

À l'aide de ces mesures, vous pouvez évaluer le taux de déflexion de votre assistant numérique et de ses compétences en comparant le nombre de conversations traitées avec le nombre de conversations terminées. transfert vers des flux de transfert d'agent (séquence des états Lancement d'agent et Conversation d'agent qui lancent le transfert du canal d'agent et gèrent la conversation compétence-agent, respectivement). Selon la définition du flux de dialogue de la compétence, les clavardages d'agent humain peuvent être demandés explicitement par l'utilisateur ou par la compétence au nom de l'utilisateur (ou les deux).

Mesures de conversation avec un agent humain pour les assistants numériques

Ces mesures reflètent l'efficacité de votre assistant numérique et de ses compétences à décharger des tâches d'agents humains.

Une description de live-agent-metrics-da.png suit

Description de l'illustration live-agent-metrics-da.png

Total Number of Conversations (Nombre total de conversations) - Nombre total de conversations acheminées par l'assistant numérique pour la période sélectionnée et le canal. Ce total inclut les conversations avec et sans demandes d'agent humain.
Conversations traitées par un agent humain - Nombre total de conversations acheminées par l'assistant numérique qui incluaient une demande pour un agent humain.
Conversations traitées par ODA - Nombre total de conversations (terminées ou incomplètes) traitées par l'assistant numérique ou ses compétences, car aucune demande d'agent humain n'a été effectuée.
Conversations résolues par ODA - Nombre de conversations acheminées par l'assistant numérique qui se sont terminées (c'est-à-dire qui ont atteint un état de sortie) sans demande d'agent humain.
Conversations abandonnées en attente d'un agent humain - Nombre de conversations acheminées par l'assistant numérique qui n'ont jamais été transmises à un agent humain, même si l'agent en a fait la demande. Les conversations peuvent être considérées comme abandonnées lorsque les utilisateurs ne se connectent jamais à des agents en direct, peut-être parce qu'ils ont quitté la conversation ou qu'ils ont expiré.
Deflection (Déflexion) - Pourcentage de conversations déviées de l'agent humain qui est calculé en divisant le nombre de conversations résolues par ODA par le nombre total de conversations (traitées par l'assistant numérique).

Données clés sur les événements

Si votre assistant numérique inclut des compétences qui ont été équipées pour recevoir des événements de sources externes et les publier à nouveau, vous pouvez surveiller le volume de ces événements entrants et sortants à l'aide des graphiques et des graphiques du service de données clés sur les événements.

Événements entrants

Les compétences avec un flux contenant un état Aviser l'utilisateur sont les consommateurs d'événements entrants, qui sont relayés à partir de la source de l'événement au moyen du canal d'événement acheminé vers l'assistant numérique. La réception de cet événement entraîne l'envoi d'un message d'avis à l'utilisateur par l'état Aviser l'utilisateur. Le contenu du message d'événement entrant reçu par une compétence est fourni par un objet JSON. Voici les mesures pour les événements entrants :

Nombre total de messages entrants - Comptage des événements reçus par la compétence. Les événements entrants comportant des erreurs sont également inclus dans ce total. Les événements suivis dans ces rapports dépendent du cas d'utilisation tel qu'indiqué dans l'objet JSON d'événement. Etant donné que le contenu d'un événement entrant est fourni par cet objet, un événement peut représenter une commande répétée effectuée par l'utilisateur. Dans ce cas, il ne s'agit pas de l'échange entre la compétence et l'utilisateur, mais du résultat d'une conversation précédente. Lorsque l'utilisateur consulte les commandes passées et touche à nouveau Commande, par exemple, la compétence reçoit l'événement et envoie un message de confirmation à l'utilisateur. En ce qui concerne les données clés, le décompte pour la mesure Nombre total de messages entrants, qui représente ces ordres de répétition, est incrémenté, de même que le nombre de conversations terminées dans le rapport Aperçu. En consultant le rapport Conversation, ces commandes répétées sont agrégées par ID session d'utilisateur (l'attribut de contexte d'événement userid).

Description de l'illustration inbound-event-json.png
Nombre de messages d'événement entrant avec des erreurs - Comptage des événements entrants qui n'ont pas généré de messages d'avis d'utilisateur en raison d'erreurs. En général, il s'agit d'erreurs de validation survenues parce que les données utiles de l'événement n'étaient pas conformes au schéma, de problèmes de configuration pour la compétence qui consomme l'événement ou de configuration de l'événement lui-même.
Nombre de sources d'événements entrants - Nombre de sources qui commencent les événements entrants.

Ces nombres sont répartis par les autres graphiques relatifs aux événements entrants :

Tendance des messages entrants - Volume des messages entrants (y compris ceux comportant des erreurs) sur une période.
Répartition des messages entrants - Nombre total d'événements entrants (y compris ceux comportant des erreurs) répartis par source d'événement.

Conseil :
Vous pouvez créer des noms conviviaux pour les sources d'événements entrants en créant des ensembles de ressources définis par l'utilisateur pour ces sources.
Messages entrants avec erreurs - Comparaison des événements entrants qui ont entraîné des événements d'avis aux événements entrants avec des erreurs.

Événements sortants

Les événements sortants proviennent de flux dont l'état est Publier un événement et qui sont configurés pour publier un événement dans la même source d'événement que les événements entrants.

Note

Les événements sortants n'existent pas sans les événements entrants.

Le service de données clés enregistre les mesures et graphiques suivants pour les événements sortants :

Nombre total de messages sortants - Comptage des événements publiés par les compétences enregistrées dans l'assistant numérique.
Tendance des messages sortants - Volume d'événements publiés sur une période.
Répartition des messages sortants - Répartition des messages sortants par source. Pour la version 22.10, seuls les événements d'application font l'objet d'un suivi.
Répartition des événements - Fréquence des événements publiés.

Conseil :
Vous pouvez créer des noms conviviaux pour les événements dans le nuage de mots en créant des ensembles de ressources définis par l'utilisateur pour les noms d'événement.

Documentation sur Oracle Cloud Infrastructure