Estadísticas del asistente digital
Puede ver informes de estadísticas, es decir, análisis de patrones de uso orientados al desarrollador, para cada uno de los asistentes digitales.
Puede realizar un seguimiento de las métricas tanto en el nivel de sesión de usuario como en el nivel de conversación. Una sesión de chat de usuario comienza cuando un usuario se pone en contacto con un asistente digital y finaliza cuando un usuario ha cerrado la ventana de chat o después de la caducidad de la sesión de chat especificada por la configuración del canal. Puede alternar entre la conversación y los informes de sesión de chat mediante el filtro Métrica.
Descripción de la ilustración da-conversation-sessions-toggle.png
Insights realiza un seguimiento de las sesiones de chat en el origen. En este caso, es el asistente digital el que ha iniciado una sesión de chat, no las aptitudes constitutivas del asistente digital. Puesto que los usuarios se conectan directamente al asistente digital, las aptitudes no influyen en el seguimiento de la sesión de chat.
Las sesiones de chat en curso caducarán después de la versión 21.12.
Métricas de sesión de chat para asistentes digitales
- Número de sesiones iniciadas: número total de sesiones de chat iniciadas por el asistente digital.
- Finalizada: número de sesiones de chat que finalizaron explícitamente los usuarios que cerraron la ventana de chat o que caducaron después del período especificado por la configuración del canal.
Nota
Las sesiones en curso caducarán después de la versión 21.12. Las sesiones iniciadas a través del comprobador de aptitudes caducan después de 24 horas de inactividad. Actualmente, la funcionalidad para finalizar una sesión cerrando la ventana de chat está soportada por el SDK de cliente nativo para Web de Oracle Digital Assistant. - Activo: las sesiones de chat que permanecen activas porque la ventana de chat permanece abierta o porque aún no han sufrido un timeout.
- Media de respuestas de usuario por sesión: número medio de respuestas de usuarios en el número total de sesiones iniciadas por el asistente digital. Cada vez que un usuario hace una pregunta, responde al asistente digital o interactúa con él, se cuenta como respuesta.
- Tendencias de sesión: comparación de las sesiones activas, finalizadas e iniciadas. Estas métricas se muestran en proporción entre sí en el gráfico de donut, que contrasta los totales de las sesiones finalizadas y activas con el número total de sesiones iniciadas. El gráfico de líneas de tendencia traza los recuentos de estas métricas por fecha.
Métricas de conversación para asistentes digitales
Con los informes de Insights del asistente digital, puede averiguar:
- El número de conversaciones iniciadas en un asistente digital durante un período de tiempo determinado y su tasa de finalización.
Nota
Las conversaciones no son las mismas que las solicitudes medidas. Para obtener más información sobre la medición, consulte Descripciones del servicio de créditos universales de Oracle PaaS e IaaS. - La popularidad de las aptitudes registradas en un asistente digital según lo determinado por el tráfico a cada aptitud.
Estos informes muestran datos cuando la opción Activar estadísticas, situada en la página General de Configuración 
, está activada. Para acceder a los informes, abra un asistente digital y, a continuación, seleccione 
en la barra de navegación izquierda.
También puede ver informes detallados sobre las aptitudes individuales que muestran aspectos como la frecuencia con la que se llama a cada intención (y el porcentaje de finalización de dichas llamadas) y las rutas que recorren los usuarios a través de la aptitud. Consulte Estadísticas.
Tipos de Informes
- Visión general: utilice este panel de control para averiguar rápidamente el número total de conversaciones de voz y texto por canal y por período de tiempo. Las métricas del informe desglosan este total por el número de conversaciones completas, incompletas y en curso. Además, este informe le indica si la aptitud completó o no completó las conversaciones mediante una clasificación del uso de las intenciones transaccionales y de respuesta de la aptitud en gráficos de barras y nubes de palabras.
- Conversaciones: muestra las transcripciones de las conversaciones que se han producido al duplicar una sesión. Puede leer una versión de texto sin formato de esta conversación y revisarla en el contexto del enrutamiento de aptitudes y la resolución de intenciones del asistente digital.
- Eventos: muestra métricas y gráficos para los eventos externos transmitidos a las aptitudes del asistente digital y los eventos salientes enviados a asientos externos.
- Retrainer: es el equivalente del Retrainer de nivel de aptitud, donde puede mejorar la resolución de la intención de las aptitudes registradas mediante los datos activos que pasan por el asistente digital.
- Exportar: permite descargar un archivo CSV de los datos de Insights recopilados por Oracle Digital Assistant. Puede crear un informe de Insights personalizado a partir del CSV.
Revisión de las métricas y los gráficos de visión general
en la barra de navegación izquierda para acceder a los informes siguientes.
- Completadas: número de conversaciones que se han enrutado a través del asistente digital y que han sido completadas posteriormente por las distintas aptitudes. Conversaciones que terminan con un estado de flujo de finalización o en un estado en el que se selecciona el flujo de finalización (implícito) como transición completa. En las aptitudes creadas por YAML, las conversaciones se cuentan como finalizadas cuando el recorrido a través del flujo de diálogo termina con una transición
returno en un estado con la propiedadinsightsEndConversation.Nota
Esta propiedad y la transiciónreturnno están disponibles en Visual Flow Designer. - Incompletas: conversaciones que los usuarios no han finalizado, porque han abandonado la aptitud o no se han podido completar debido a errores en el nivel del sistema, timeouts o errores en el diseño de la aptitud.
- En curso: número de conversaciones de aptitud (iniciadas por el asistente digital) que siguen en curso. Utilice esta métrica para realizar un seguimiento de las conversaciones de varios turnos. Una conversación en curso se convierte en una conversación incompleta una vez que caduca una sesión.
- Sin coincidencia: número de veces que el asistente digital no ha podido hacer coincidir ninguna de sus aptitudes registradas con un mensaje de usuario.
- Canceladas: número de veces que los usuarios han salido de una aptitud introduciendo "cancelar".
- Ayuda: número de veces que se ha llamado a la intención del sistema de ayuda.
Si se han desactivado las estadísticas para un asistente digital, los recuentos de conversaciones completadas seguirán aumentando si se han activado para alguna de las aptitudes de los miembros. A pesar de esto, no se registrará ningún dato de las métricas Ayuda y Sin Coincidencia específicas del asistente digital hasta que active Activar Insights.
Descripción de la ilustración da-insights-overview.png - Idiomas: representa gráficamente el número de conversaciones para cada aptitud por idioma soportado.
- Rendimiento: muestra el número de conversaciones por aptitud.
La vista Tendencia incluye un gráfico de las conversaciones completadas durante el período de tiempo seleccionado.
- Aptitudes: la vista Resumen muestra el número de conversaciones gestionadas por la aptitud para un período determinado. Al pasar el mouse sobre la barra de progreso, puede averiguar el número de conversaciones finalizadas del total.
Descripción de la ilustración da-insights-skills-summary.pngSi se ha versionado una aptitud durante el período de tiempo seleccionado, puede averiguar la distribución por versión de las conversaciones mediante el gráfico Tráfico. Al hacer clic en una aptitud, se abre este gráfico, que ilustra el volumen de conversaciones gestionadas por cada versión de la aptitud en términos del total de conversaciones gestionadas por la aptitud para el período seleccionado. Cada arco del gráfico Tráfico representa una versión de la aptitud, con la longitud y el porcentaje correspondiente que indican el volumen de conversaciones que ha gestionado. El texto al pasar el mouse por cada uno de estos arcos describe el porcentaje en términos del recuento de conversaciones. Para desglosar este número, por ejemplo, para averiguar lo que significa este recuento en términos de las intenciones llamadas para una versión concreta de la aptitud, haga clic en el arco para aumentar el detalle de las estadísticas de nivel de aptitud.Si hay conversaciones incompletas durante el período seleccionado, el número total se desglosa por las siguientes categorías de error:- Timeouts: los timeouts se disparan cuando una conversación en curso se quede inactiva durante más de una hora, lo que provoca que la sesión caduque.
- Errores gestionados por el sistema: de los errores gestionados por el sistema se encarga el sistema, no la aptitud. Estos errores se producen cuando la definición del flujo de diálogo no incluye el manejo de errores.
- Bucle infinito: los bucles Infinitos se pueden producir debido a fallos en la definición del flujo de diálogo, como transiciones definidas incorrectamente.
- Cancelada: número de veces que los usuarios han salido de una aptitud cancelando explícitamente la conversación.
Vista del informe Conversaciones
En lugar de filtrar una hoja de cálculo exportada, puede utilizar el informe Conversación para realizar un seguimiento del enrutamiento del chat por parte del asistente digital a sus distintas aptitudes y también averiguar qué intenciones se han llamado en el camino.
Este informe, que puede filtrar por canal y aptitud, muestra las conversaciones en orden cronológico por ID de sesión (el ID de la sesión del usuario en un canal) y presenta una transcripción de la conversación en sus columnas Mensajes de usuario y Respuestas de aptitud. El ID de sesión se crea cuando un cliente se conecta al canal y contiene todos los datos de las aptitudes que han participado en una conversación. Este ID caduca si no hay actividad durante 24 horas, pero puede que nunca caduque si el cliente continúa con sus conversaciones.
Descripción de la ilustración da-conversations-report.png
Los filtros Ver y Aptitudes que puede aplicar al informe Conversaciones no alteran el contenido de las transcripciones de conversación mostradas en las columnas Mensajes de usuario y Respuestas a aptitudes o en el modo Ver conversaciones.
Aplicación del reentrenamiento de ODA
Puede mejorar la resolución de la intención de las aptitudes registradas mediante la actualización de los datos de entrenamiento con los datos introducidos por el cliente. Puede que algunos de estos datos no se hayan resuelto en ninguna aptitud o que se hayan enrutado a una aptitud incorrecta. El reentrenamiento le ayuda a evaluar esta entrada de usuario y agregarla a una aptitud si la considera una adición útil a los datos de formación.
Descripción de la ilustración da-retrainer.png
Por defecto, el reentrenamiento aplica el filtro NoMatch para que devuelva todos los mensajes de usuario que no se han podido hacer coincidir con ninguna aptitud registrada en el asistente digital. Para cada una de estas frases devueltas, el informe presenta las dos principales aptitudes, el Margen de ganancia que las separa y, a través de un gráfico de barras horizontales, sus puntuaciones de confianza opuestas.
- Filtre las aptitudes registradas. Por ejemplo, puede filtrar todas las frases que hayan coincidido con una aptitud concreta en el asistente digital o puede aplicar NoMatch para las frases que no hayan coincidido con ninguna de las aptitudes.
- Seleccione la expresión.
- Seleccione una versión en borrador de la aptitud para la expresión. Si no existe ninguna versión en borrador, cree una. Si no puede seleccionar una aptitud, se debe a que utiliza soporte nativo multilingüe. En este caso, no puede actualizar la aptitud desde aquí. En su lugar, deberá utilizar el reentrenamiento de nivel de aptitud.
- Seleccione la intención. Después de agregar la frase como expresión en el corpus de entrenamiento, ya no puede seleccionarla para su nuevo entrenamiento.
- Si la aptitud soporta más de un idioma nativo, puede agregar la expresión al juego de entrenamiento adecuado al idioma seleccionando entre los idiomas del menú Idioma.
Nota
Esta opción solo está disponible para aptitudes con soporte nativo. - Vuelva a entrenar la aptitud.
- Vuelva a publicar la aptitud.
- Actualice el asistente digital con la última versión de la aptitud.
Anonimato de PII
Al igual que las estadísticas de nivel de aptitud, puede aplicar la anonimización a los valores de información de identificación personal (PII). En el nivel de asistente digital, la anonimización se aplica a las conversaciones gestionadas por el asistente digital. La anonimización activada en el nivel de asistente digital no se extiende a las aptitudes. Si la anonimización está activada para una aptitud, pero no para el asistente digital, solo se anonimizarán las conversaciones de aptitud y viceversa. Para conversaciones completamente anónimas, debe aplicar la anonimización al asistente digital y sus aptitudes por separado.
- PERSON
- NÚMERO
- Correo electrónico
- NÚMERO DE TELÉFONO
- URL
Habilitar anonimización de PII
- Haga clic en Configuración > General.
- Active Activar anonimización de PII.
- Haga clic en Agregar entidad para seleccionar los valores de entidad que desea anonimizar en los informes de Insights y los logs.
NotaSi desea interrumpir la anonimización de una entidad o si no desea que se utilice ningún anónimo, seleccione la entidad y, a continuación, haga clic en Suprimir entidad. Una vez suprimida una entidad, el valor real aparece en el informe de estadísticas y en los informes de estadísticas para conversaciones posteriores, incluso si ha aparecido anteriormente en su forma anónima.
Los valores anónimos de las entidades seleccionadas solo se mantienen después de activar la anonimización. No se aplican a conversaciones anteriores. En función del rango de fechas seleccionado para los informes de Insights o los archivos de exportación, los valores de entidad pueden aparecer tanto en sus formularios reales como en los anónimos. Puede aplicar la anonimización a cualquier valor no anonimizado al crear una tarea de exportación. Estos anónimos se aplican solo al archivo exportado y no se mantienen en la base de datos.Nota
La anonimización es permanente (a pesar de la anonimización aplicada a la tarea de exportación). No puede recuperar los valores reales después de activar la anonimización.
Creación de una tarea de exportación
Si desea otra perspectiva sobre la generación de informes de estadísticas, puede crear sus propios informes a partir de los datos exportados de estadísticas. Estos datos se exportan en un archivo CSV. Puede escribir un script para ordenar el contenido de este archivo.
- Abra la página Exportaciones y, a continuación, haga clic en Agregar exportación.
- Introduzca un nombre para el informe y, a continuación, introduzca un rango de fechas.
- Haga clic en Activar anonimización de PII para el archivo exportado para sustituir los valores no anónimos por anónimos en el archivo exportado. Estos anónimos solo existen en el archivo exportado si la PII no está activada en la configuración del asistente digital. No se mantienen en la base de datos y no aparecen en los logs ni en el informe Conversations. Esta opción está activada por defecto siempre que defina la anonimización para el asistente digital.
Nota
La anonimización de PII activada para la aptitud o la configuración del asistente digital influye en cómo los valores de PII que se anonimizan en el archivo de exportación y también contribuyen a la consistencia de la anonimización en el archivo de exportación. - Haga clic en Exportar.
- Si la tarea se realiza correctamente, haga clic en Finalizado para descargar un ZIP del CSV.
Nota
El archivo CSV de un asistente digital contiene datos de las aptitudes que se llaman directamente a través del asistente digital. Los datos de aptitudes que se hayan llamado fuera del contexto de un asistente digital no se incluyen en este archivo.
Descripción de la ilustración insights-export-dialog.png
Los datos se pueden distribuir en una serie de archivos CSV cuando la tarea de exportación devuelve más de 1 048 000 filas. En estos casos, el archivo ZIP contendrá una serie de archivos ZIP, cada uno con un CSV.
Métricas de agente en directo para asistentes digitales
Los informes de estadísticas, a través de sus manejadores de aptitudes y agentes en directo, abarcan toda la comunicación entre el usuario final, la aptitud y el agente en directo. Este no es el caso de las conversaciones de DA como agente, donde Insights solo cubre la conversación hasta que el chat se haya transferido al agente en directo. Para obtener informes completos sobre las conversaciones de DA como agente, utilice Oracle Fusion Service Analytics.
Métricas de conversación de agente en directo para asistentes digitales
- Número total de conversaciones: número total de conversaciones enrutadas por el asistente digital para el período de tiempo seleccionado y el canal. Este total incluye conversaciones con y sin solicitudes de agente en directo.
- Conversaciones gestionadas por agente en directo: número total de conversaciones enrutadas por el asistente digital que incluyen una solicitud para un agente en directo.
- Conversaciones gestionadas por ODA: número total de conversaciones (completas o incompletas) que ha gestionado el asistente digital o sus aptitudes porque no se han realizado solicitudes de agente en directo.
- Conversaciones resueltas por ODA: número de conversaciones enrutadas por el asistente digital que han finalizado (es decir, que han alcanzado un estado de salida) sin solicitudes de agente activo.
- Conversaciones abandonadas mientras se esperaba un agente en directo: número de conversaciones enrutadas por el asistente digital que nunca se han transferido a un agente en directo, a pesar de haber solicitado una. Las conversaciones se pueden considerar abandonadas cuando los usuarios nunca se conectan con agentes activos, posiblemente porque han abandonado la conversación o se ha agotado el tiempo de espera.
- Deflexión: porcentaje de conversaciones desviadas del agente activo que se calcula dividiendo el recuento de conversaciones resueltas por ODA por el recuento del número total de conversaciones (manejadas por el asistente digital).
Estadísticas de eventos
Si el asistente digital incluye aptitudes que se han equipado para recibir eventos de orígenes externos y volver a publicar eventos en ellos, puede supervisar el volumen de estos eventos entrantes y salientes mediante los gráficos de Event Insights.
Eventos entrantes
- Número total de mensajes entrantes: recuento de los eventos recibidos por la aptitud. Los eventos entrantes con errores también se incluyen en este total. Los eventos de los que se realiza un seguimiento en estos informes dependen del caso de uso reflejado en el objeto JSON del evento. Puesto que el contenido de un evento entrante lo proporciona este objeto, un evento puede representar un orden repetido realizado por el usuario. En este caso, no es el intercambio entre la aptitud y el usuario, sino el resultado de una conversación anterior. Cuando el usuario revisa pedidos anteriores y vuelve a pulsar Orden, por ejemplo, la aptitud recibe el evento y envía al usuario un mensaje de confirmación. En términos de estadísticas, el recuento de la métrica Número total de mensajes entrantes, que representa estas órdenes de repetición, se incrementa, al igual que el número de conversaciones finalizadas en el informe Visión general. Si observa el informe Conversación, estas indicaciones repetidas se agregan mediante el ID de sesión de usuario (el atributo de contexto de evento
userid). - Número de mensajes de evento de entrada con errores: recuento de eventos de entrada que no han dado como resultado mensajes de notificación de usuario debido a errores. Normalmente, se trata de errores de validación que se han producido porque la carga útil del evento no se ha ajustado al esquema, problemas con la configuración de la aptitud que consume el evento o con la configuración del evento en sí.
- Número de orígenes de eventos entrantes: número de orígenes que inician los eventos entrantes.
- Tendencia de mensajes entrantes: volumen de mensajes entrantes (incluidos los que tienen errores) a lo largo del tiempo.
- Desglose de mensajes entrantes: total de eventos entrantes (incluidos los que tienen errores) desglosados por origen de evento.
Consejo:
Puede crear nombres fáciles de recordar para los orígenes de eventos entrantes mediante la creación de paquetes de recursos definidos por el usuario para ellos. - Mensajes de entrada con errores: comparación de los eventos de entrada que han dado como resultado eventos de notificación a los eventos de entrada con errores.
Eventos salientes
Los eventos salientes no existen sin los eventos entrantes.
- Número total de mensajes salientes: recuento de los eventos publicados por las aptitudes registradas en el asistente digital.
- Tendencia de mensajes salientes: volumen de eventos publicados durante un período de tiempo.
- Desglose de mensajes salientes: desglose de mensajes salientes por origen. Para la versión 22.10, solo se realiza un seguimiento de los eventos de aplicación.
- Distribución de eventos: frecuencia de eventos publicados.
Consejo:
Puede crear nombres fáciles de recordar para los eventos en la nube de palabras mediante la creación de paquetes de recursos definidos por el usuario para los nombres de eventos.