Informations des assistants numériques

Pour chaque assistant numérique, vous pouvez consulter des rapports d'analyse, à savoir des analyses orientées développement sur des modèles d'utilisation.

Vous pouvez suivre les métriques au niveau de la session utilisateur et au niveau de la conversation. Une session de discussion utilisateur commence lorsqu'un utilisateur contacte un assistant numérique et se termine lorsqu'un utilisateur a fermé la fenêtre de discussion ou après l'expiration de la session de discussion indiquée par la configuration de canal. Vous pouvez basculer entre la conversation et la génération de rapports de session de discussion à l'aide du filtre Mesure.
Description de l'image da-conversation-sessions-toggle.png
Description de l'illustration da-conversation-sessions-toggle.png

Les analyses suivent les sessions de discussion à la source. Dans ce cas, il s'agit de l'assistant numérique qui a lancé une session de discussion, et non des compétences constitutives de l'assistant numérique. Les utilisateurs se connectant directement à l'assistant numérique, les briques n'ont aucune incidence sur le suivi des sessions de discussion.

Remarque

Toutes les sessions de discussion en cours expireront après la version 21.12.

Mesures de session de discussion pour les assistants numériques

Nombre de sessions lancées : nombre total de sessions de discussion lancées par l'assistant numérique.
Terminé : nombre de sessions de discussion qui se sont terminées explicitement par les utilisateurs fermant la fenêtre de discussion ou qui ont expiré après la période indiquée par la configuration de canal.
Remarque

Toutes les sessions en cours expireront après la version 21.12. Les sessions lancées via le testeur de briques ont expiré après 24 heures d'inactivité. Actuellement, la fonctionnalité permettant d'arrêter une session en fermant la fenêtre de discussion est prise en charge par le kit SDK client natif Oracle Digital Assistant pour le Web.
Actif : sessions de discussion qui restent actives car la fenêtre de discussion reste ouverte ou parce qu'elles n'ont pas encore expiré.
Moyenne des réponses utilisateur par session : nombre moyen de réponses des utilisateurs sur le nombre total de sessions lancées par l'assistant numérique. Chaque fois qu'un utilisateur pose une question, répond à l'assistant numérique ou interagit avec celui-ci est comptabilisé comme une réponse.

Description de l'image da-sessions-metrics.png
Tendances de session : comparaison des sessions actives, terminées et lancées. Ces mesures sont affichées proportionnellement les unes aux autres sur le graphique en anneau, ce qui contraste les totaux des sessions terminées et actives par rapport au nombre total de sessions lancées. Le graphique à courbes de tendance représente le nombre de ces métriques par date.

Description de l'image da-session-trends.png

Mesures de conversation pour les assistants numériques

Les rapports d'analyse des assistants numériques vous permettent de consulter les informations suivantes :

Nombre de conversations lancées via un assistant numérique sur une période donnée et taux d'achèvement
Remarque

Les conversations ne sont pas les demandes mesurées. Pour en savoir plus sur les mesures, reportez-vous à Descriptions de service de crédits universels Oracle PaaS et IaaS.
Popularité des briques inscrites auprès d'un assistant numérique, déterminée par le trafic vers chaque brique

Ces rapports affichent des données lorsque l'option Activer les analyses, de la page Général des paramètres est activée. Pour accéder aux rapports, ouvrez un assistant numérique, puis sélectionnez dans la barre de navigation de gauche.

Vous pouvez également afficher des rapports détaillés sur les briques individuelles qui donnent des informations telles que la fréquence à laquelle chaque intention est appelée (ainsi que le pourcentage de ces appels qui aboutit) et les parcours empruntés par les utilisateurs dans la brique. Reportez-vous à Informations.

Types de rapport

Présentation : utilisez ce tableau de bord pour visualiser rapidement le nombre total de conversations vocales et textuelles par canal et par période. Les mesures du rapport décomposent ce total selon le nombre de conversations terminées, non terminées et en cours. De plus, ce rapport vous indique comment la brique a terminé (ou n'a pas réussi à terminer) les conversations en classant l'utilisation des intentions transactionnelles et de réponse de la brique dans des graphiques à barres et des nuages de mots.
Conversations : affiche les transcriptions des conversations qui ont eu lieu lors de la création d'une session. Vous pouvez lire une version en texte brut de cette conversation et la consulter dans le contexte de l'acheminement des briques et de la résolution d'intention de l'assistant numérique.
Evénements : affiche des mesures et des graphiques pour les événements externes transmis aux briques de l'assistant numérique et aux événements sortants envoyés aux deuil externes.
Réentraînement : homologue du réentraînement au niveau de la brique, qui permet d'améliorer la résolution d'intention pour les briques inscrites à l'aide des données actives qui transitent via l'assistant numérique.
Exporter : permet de télécharger un fichier CSV des données d'analyse collectées par Oracle Digital Assistant. Vous pouvez créer un rapport d'analyse personnalisé à partir du fichier CSV.

Examen des mesures et graphiques d'aperçu

Cliquez sur

dans la barre de navigation de gauche pour accéder aux rapports suivants.

Terminé : nombre de conversations acheminées via l'assistant numérique, puis terminées par les différentes briques. Les conversations qui se terminent par un état de flux final ou à un état où le flux final (implicite) est sélectionné comme transition sont considérées comme terminées. Dans les briques rédigées par YAML, les conversations sont comptées comme terminées lorsque le parcours dans le flux de dialogue se termine par une transition return ou à un état avec la propriété insightsEndConversation.
Remarque

Cette propriété et la transition return ne sont pas disponibles dans le concepteur de flux visuel.
Non terminé : conversations que les utilisateurs n'ont pas terminées car ils ont abandonné la brique ou n'ont pas pu terminer en raison d'erreurs, d'expirations ou de défauts au niveau de la conception de la brique.
En cours : nombre de conversations de brique (lancées par l'assistant numérique) qui sont toujours en cours. Utilisez cette mesure pour suivre les conversations à plusieurs niveaux. Une conversation en cours devient une conversation non terminée après l'expiration d'une session.
Aucune correspondance : nombre de fois où l'assistant numérique n'a pu mettre en correspondance aucune de ses briques inscrites avec un message utilisateur.
Annulé : nombre de fois où les utilisateurs ont quitté une brique en saisissant "cancel".
Aide : nombre d'appels de l'intention de système d'aide.
Lorsque les analyses ont été désactivées pour un assistant numérique, le nombre de conversations terminées continue d'augmenter si les analyses ont été activées pour l'une des briques membres. Néanmoins, aucune donnée n'est journalisée pour les mesures Aide et Aucune correspondance propres à l'assistant numérique tant que vous n'activez pas l'option Activer les analyses.

Description de l'illustration da-insights-overview.png
Langues : représente le nombre de conversations pour chaque brique par langue prise en charge.

Description de l'image da-languages-graph.png
Performances : affiche le nombre de conversations par brique.
La vue Tendance fournit un graphique des conversations terminées au cours de la période sélectionnée.

Description de l'image da-insights-skills-trend.png
Briques : la vue Récapitulatif affiche le nombre de conversations gérées par la brique pour une période donnée. En survolant la barre de progression, vous pouvez déterminer le nombre de conversations terminées par rapport au total.
Description de l'image da-insights-skills-summary.png
Si une brique a fait l'objet d'un numéro de version au cours de la période sélectionnée, vous pouvez déterminer la distribution par version des conversations à l'aide du graphique Trafic. Cliquez sur une brique pour ouvrir ce graphique, qui illustre le volume de conversations gérées par chaque version de la brique en termes de nombre total de conversations gérées par la brique pour la période sélectionnée. Chaque arc du graphique de trafic représente une version de la brique, la longueur et le pourcentage associé indiquant le volume de conversations qu'elle a gérées. Le texte de pointage de chacun de ces arcs décrit le pourcentage en termes de nombre de conversations. Pour décomposer ce nombre, par exemple, pour déterminer ce que signifie ce nombre en termes d'intentions appelées pour une version particulière de la brique, cliquez sur l'arc pour effectuer une analyse descendante vers les analyses de niveau brique.

Description de l'image da-insights-skill-traffic.png
S'il existe des conversations non terminées au cours de la période sélectionnée, le nombre total est réparti dans les catégories d'erreur suivantes :
- Expirations : les expirations sont déclenchées lorsqu'une conversation en cours est inactive pendant plus d'une heure, ce qui entraîne l'expiration de la session.
- Erreurs gérées par le système : ces erreurs sont gérées par le système et non par la brique. Ces erreurs se produisent lorsque la définition de flux de dialogue n'inclut pas la gestion des erreurs.
- Boucle infinie : des boucles infinies peuvent se produire en raison de défauts dans la définition de flux de dialogue, tels que des transitions mal définies.
- Annulé : nombre de fois où les utilisateurs ont quitté une brique en annulant explicitement la conversation.
Description de l'image da-incomplete-conversations-chart.png

Visualiser le rapport Conversations

Au lieu de filtrer une feuille de calcul exportée, vous pouvez utiliser le rapport Conversation pour suivre l'acheminement de la discussion par l'assistant numérique vers ses différentes briques, ainsi que pour savoir quelles intentions ont été appelées en cours de route.

Ce rapport, que vous pouvez filtrer par canal et par brique, répertorie les conversations dans l'ordre chronologique par ID de session (ID de la session de l'utilisateur sur un canal) et présente une transcription de la conversation dans ses colonnes Messages utilisateur et Réponses de brique. L'ID de session est créé lorsqu'un client se connecte au canal et contient toutes les données des briques qui ont participé à une conversation. Cet ID expire s'il n'y a pas d'activité pendant 24 heures, mais peut ne jamais expirer si le client poursuit ses conversations.
Description de l'image da-conversations-report.png
Description de l'illustration da-conversations-report.png

Si vous cliquez sur Visualiser les conversations dans la colonne Actions, vous pouvez visualiser toutes les conversations survenues pour la session dans le contexte d'une fenêtre de discussion. Dans ce mode, vous pouvez voir le routage de l'assistant numérique au travail en observant comment il a changé de brique en réponse à l'entrée utilisateur et déterminer quelles intentions des briques ont été appelées à la suite de ce changement de contexte. Lorsqu'une session s'étend sur plusieurs jours, les conversations les plus anciennes s'affichent en premier.

Remarque

Les filtres de vue et d'aptitudes que vous pouvez appliquer au rapport Conversations ne modifient pas le contenu des transcriptions de conversation affichées dans les colonnes Messages utilisateur et Réponses d'aptitude ou en mode Afficher les conversations.

Vous pouvez partager la session avec un collègue qui a accès à votre instance en fournissant un lien qui peut être collé dans une fenêtre de navigateur. Pour obtenir ce lien, cliquez sur Options, puis sur Copier le lien de conversation.

Application du réentraînement ODA

Vous pouvez améliorer la résolution d'intention pour les briques inscrites en mettant à jour leurs données d'entraînement avec les entrées client. Certaines de ces entrées n'ont peut-être été résolues par aucune brique ou ont été acheminées vers la mauvaise brique. Le réentraînement vous aide à évaluer cette entrée utilisateur et à l'ajouter à une brique si vous le considérez comme un ajout utile aux données d'entraînement.
Description de l'image da-retrainer.png
Description de l'illustration da-retrainer.png
Par défaut, le réentraînement applique le filtre NoMatch afin qu'il renvoie tous les messages utilisateur qui n'ont pu être mis en correspondance avec aucune brique inscrite auprès de l'assistant numérique. Pour chacune de ces expressions renvoyées, le rapport présente les deux briques les mieux classées, la marge de gain qui les sépare et, via un graphique à barres horizontales, leurs scores de confiance comparés.

Avant d'utiliser le réentraînement, gardez certains points à l'esprit. Pour mettre à jour le corpus d'entraînement d'une brique à partir du réentraînement, procédez comme suit :

Filtrez les briques inscrites. Par exemple, vous pouvez filtrer toutes les expressions qui correspondent à une brique particulière au sein de l'assistant numérique, ou appliquer le filtre NoMatch pour obtenir les expressions qui ne correspondent à aucune des briques.
Sélectionnez la variation.
Sélectionnez une version brouillon de la brique pour la variation. S'il n'existe pas de version brouillon, créez-en une. Si vous ne pouvez pas sélectionner une brique, elle utilise la prise en charge multilingue native. Dans ce cas, vous ne pouvez pas mettre à jour la brique avec cette procédure. Vous devez utiliser le réentraînement au niveau de la brique.
Sélectionnez l'intention. Une fois l'expression ajoutée en tant que variation dans le corpus d'entraînement, vous ne pouvez plus la sélectionner pour un réentraînement.
Si votre brique prend en charge plusieurs langues natives, vous pouvez ajouter la variation à l'ensemble d'entraînement adapté à la langue en choisissant l'une des langues du menu Langue.
Remarque

Cette option est disponible uniquement pour les briques prises en charge de façon native.

Description de l'illustration select-native-langue-habile-da-retrainer.png
Entraînez de nouveau la brique.
Publiez de nouveau la brique.
Mettez à jour l'assistant numérique avec la dernière version de la brique.

Anonymisation des informations d'identification personnelle

Comme les informations de niveau brique, vous pouvez appliquer l'anonymisation aux valeurs d'informations d'identification personnelle. Au niveau de l'assistant numérique, l'anonymisation est appliquée aux conversations gérées par l'assistant numérique. L'anonymisation activée au niveau de l'assistant numérique ne s'étend pas aux briques. Si l'anonymisation est activée pour une brique, mais pas pour l'assistant numérique, seules les conversations de brique sont anonymisées, et inversement. Pour les conversations complètement anonymisées, vous devez appliquer l'anonymisation à l'assistant numérique et à ses briques séparément.

Vous pouvez anonymiser les valeurs d'informations d'identification personnelle reconnues pour les entités système suivantes :

PERSON
NUMBER
EMAIL
NUMÉRO DE TÉLÉPHONE
URL

Activer l'anonymisation des informations d'identification personnelle

Cliquez sur Paramètres > Général.
Activez Activer l'anonymisation des informations d'identification personnelle.
Cliquez sur Ajouter une entité pour sélectionner les valeurs d'entité à anonymiser dans les rapports d'analyse et les journaux.
Remarque

Les valeurs anonymisées pour les entités sélectionnées sont conservées uniquement après l'activation de l'anonymisation. Ils ne sont pas appliqués aux conversations précédentes. En fonction de la plage de dates sélectionnée pour les rapports d'analyse ou les fichiers d'export, les valeurs d'entité peuvent apparaître dans leurs formulaires réels et anonymisés. Vous pouvez appliquer l'anonymisation à toute valeur non anonymisée lorsque vous créez une tâche d'export. Ces anonymes s'appliquent uniquement au fichier exporté et ne sont pas conservés dans la base de données.
Si vous souhaitez arrêter l'anonymisation d'une entité ou si vous ne voulez pas qu'un anonymat soit utilisé du tout, sélectionnez l'entité, puis cliquez sur Supprimer l'entité. Une fois que vous avez supprimé une entité, la valeur réelle apparaît dans le rapport d'analyse et dans les rapports d'analyse pour les conversations suivantes, même si elle apparaissait précédemment sous sa forme anonymisée.
Remarque

L'anonymisation est permanente (nonobstant l'anonymisation appliquée aux tâches d'export). Vous ne pouvez pas récupérer les valeurs réelles après avoir activé l'anonymisation.

Description de l'image pii-settings-configuration.png

Création d'une tâche d'export

Si vous souhaitez une autre perspective sur la génération de rapports d'analyse, vous pouvez créer vos propres rapports à partir des données d'analyse exportées. Ces données sont exportées dans un fichier CSV. Vous pouvez écrire un script pour trier le contenu de ce fichier.

Pour créer une tâche d'export, procédez comme suit :

Ouvrez la page Exports et cliquez sur + Exporter.
Saisissez le nom du rapport, puis entrez une plage de dates.
Cliquez sur Activer l'anonymisation des informations d'identification personnelle pour le fichier exporté pour remplacer les valeurs non anonymisées par des anonymes dans le fichier exporté. Ces anonymes existent uniquement dans le fichier exporté si les informations d'identification personnelle ne sont pas activées dans les paramètres de l'assistant numérique. Elles ne sont pas conservées dans la base de données et n'apparaissent pas dans les journaux ni dans le rapport Conversations. Cette option est activée par défaut chaque fois que vous définissez l'anonymisation de l'assistant numérique.
Remarque

L'anonymisation des informations d'identification personnelle activée pour les paramètres de brique ou d'assistant numérique prend en compte la manière dont les valeurs d'informations d'identification personnelle sont anonymisées dans le fichier d'export et contribue également à la consistance de l'anonymisation dans le fichier d'export.
Cliquez Exporter.
Une fois la tâche effectuée, cliquez sur Terminé pour télécharger le fichier CSV sous forme de fichier ZIP.
Remarque

Le fichier CSV d'un assistant numérique contient les données relatives aux briques directement appelées via l'assistant numérique. Les données relatives aux briques appelées en dehors du contexte d'un assistant numérique ne sont pas incluses dans ce fichier.

Description de l'image insights-export-dialog.png

Remarque

Les données peuvent être réparties sur plusieurs fichiers CSV lorsque la tâche renvoie plus de 1 048 000 lignes. Dans ce cas, le fichier ZIP contient une série de fichiers ZIP incluant chacun un unique fichier CSV.

Mesures d'agent physique pour les assistants numériques

Utilisez les mesures de l'agent en direct pour évaluer la capacité de votre assistant numérique à détourner les demandes utilisateur des agents en direct. Vous pouvez accéder à ces mesures en sélectionnant Agent en direct dans le filtre de gestionnaire (qui s'affiche uniquement lorsque vous filtrez le rapport en fonction d'une date ou d'une plage de dates incluant des conversations de transfert d'agent en direct).

Description de l'image live-agent-option-da-insights.png

Remarque

Le reporting d'analyse, via ses gestionnaires de briques et d'agents actifs, couvre l'ensemble de la communication entre l'utilisateur final, la brique et l'agent physique. Ce n'est pas le cas pour les conversations DA en tant qu'agent, où les analyses couvrent uniquement la conversation jusqu'à ce que la discussion ait été transférée à l'agent physique. Pour générer des rapports complets sur les conversations DA en tant qu'agent, utilisez Oracle Fusion Service Analytics.

A l'aide de ces mesures, vous pouvez évaluer le taux de déviation de votre assistant numérique et de ses briques en comparant le nombre de conversations qu'il a gérées au nombre de conversations qui ont abouti l'obtention de flux de transfert vers l'agent (la séquence des états Initiation de l'agent et Conversation de l'agent qui lancent le transfert du canal de l'agent et gèrent la conversation entre l'agent et la brique, respectivement). Selon la définition du flux de dialogue de la brique, les discussions d'agent en direct peuvent être explicitement demandées par l'utilisateur ou demandées par la brique au nom de l'utilisateur (ou les deux).

Mesures de conversation d'agent physique pour les assistants numériques

Ces mesures reflètent la façon dont votre assistant numérique et ses compétences déchargent les tâches des agents en direct.

Description de l'image live-agent-metrics-da.png

Nombre total de conversations : nombre total de conversations acheminées par l'assistant numérique pour la période sélectionnée et le canal. Ce total inclut les conversations avec et sans demande d'agent en direct.
Conversations gérées par un agent physique : nombre total de conversations acheminées par l'assistant numérique incluant une demande d'agent physique.
Conversations gérées par ODA : nombre total de conversations (complètes ou incomplètes) gérées par l'assistant numérique ou ses briques car aucune demande d'agent physique n'a été effectuée.
Conversations résolues par ODA : nombre de conversations acheminées par l'assistant numérique qui se sont terminées (c'est-à-dire qui ont atteint un état de sortie) sans demande d'agent physique.
Conversations abandonnées en attendant l'agent en direct : nombre de conversations acheminées par l'assistant numérique qui n'ont jamais été transmises à un agent en direct, même si vous en avez demandé une. Les conversations peuvent être considérées comme abandonnées lorsque les utilisateurs ne se connectent jamais avec des agents en direct, peut-être parce qu'ils ont quitté la conversation ou ont expiré.
Déflexion : pourcentage de conversations déviées de l'agent physique, calculé en divisant le nombre de conversations résolues par ODA par le nombre total de conversations (géré par l'assistant numérique).

Informations sur les événements

Si votre assistant numérique inclut des briques qui ont été équipées pour recevoir des événements à partir de sources externes et publier des événements vers ces dernières, vous pouvez surveiller le volume de ces événements entrants et sortants à l'aide des graphiques et des graphiques Event Insights.

Evénements entrants

Les briques avec un flux contenant un état Notifier l'utilisateur sont les destinataires des événements entrants, qui sont relayés à partir de la source d'événement via le canal d'événement acheminé vers l'assistant numérique. La réception de cet événement entraîne l'envoi d'un message de notification à l'utilisateur par l'état Notifier l'utilisateur. Le contenu du message d'événement entrant reçu par une brique est fourni par un objet JSON. Voici les mesures pour les événements entrants :

Nombre total de messages entrants : nombre d'événements reçus par la brique. Les événements entrants comportant des erreurs sont également inclus dans ce total. Les événements suivis dans ces rapports dépendent du cas d'utilisation tel qu'il est reflété dans l'objet JSON d'événement. Etant donné que le contenu d'un événement entrant est fourni par cet objet, un événement peut représenter un ordre répété effectué par l'utilisateur. Dans ce cas, il ne s'agit pas de l'échange entre la brique et l'utilisateur, mais du résultat d'une conversation précédente. Lorsque l'utilisateur examine les commandes passées et touche Commande à nouveau, par exemple, la brique reçoit l'événement et envoie un message de confirmation à l'utilisateur. En termes d'analyse, la mesure de comptage du nombre total de messages entrants, qui représente ces commandes répétées, est incrémentée, tout comme le nombre de conversations terminées dans le rapport Aperçu. Dans le rapport Conversation, ces commandes répétées sont agrégées par ID de session utilisateur (attribut de contexte d'événement userid).

Description de l'image inbound-event-json.png
Nombre de messages d'événement entrants avec des erreurs : nombre d'événements entrants qui n'ont pas généré de messages de notification utilisateur en raison d'erreurs. Il s'agit généralement d'erreurs de validation qui se sont produites car la charge utile d'événement n'était pas conforme au schéma, de problèmes de configuration de la brique qui consomme l'événement ou de configuration de l'événement lui-même.
Nombre de sources d'événement entrantes : nombre de sources qui donnent naissance aux événements entrants.

Ces nombres sont ventilés par les autres graphiques liés aux événements entrants :

Tendance des messages entrants : volume de messages entrants (y compris ceux avec des erreurs), au fil du temps.
Répartition des messages entrants : total des événements entrants (y compris ceux avec des erreurs) ventilés par source d'événement.

Conseil :
Vous pouvez créer des noms conviviaux pour les sources d'événements entrants en créant des groupes de ressources définis par l'utilisateur pour ces sources.
Messages entrants avec erreurs : comparaison des événements entrants ayant entraîné des événements de notification avec des erreurs.

Evénements sortants

Les événements sortants proviennent de flux dont l'état est Publier un événement et qui sont configurés pour publier un événement dans la même source d'événement des événements entrants.

Remarque

Les événements sortants n'existent pas sans les événements entrants.

Les analyses enregistrent les mesures et les graphiques suivants pour les événements sortants :

Nombre total de messages sortants : nombre total d'événements publiés par les briques inscrites à l'assistant numérique.
Tendance des messages sortants : volume d'événements publiés sur une période donnée.
Répartition des messages sortants : répartition des messages sortants par source. Pour la version 22.10, seuls les événements d'application font l'objet d'un suivi.
Répartition des événements : fréquence des événements publiés.

Conseil :
Vous pouvez créer des noms conviviaux pour les événements dans le nuage de mots en créant des groupes de ressources définis par l'utilisateur pour les noms d'événement.

Documentation Oracle Cloud Infrastructure