Estadísticas de conversación para aptitudes
Los informes de conversación para aptitudes, que realizan un seguimiento de las conversaciones de voz y texto por período de tiempo y por canal, permiten identificar rutas de ejecución, determinar la precisión de las resoluciones de intención y acceder a transcripciones de conversación completas.
Para acceder a las métricas de nivel de sesión, seleccione Coversación en el filtro Métrica del informe Visión general.
Se realiza un seguimiento de las estadísticas de voz de las aptitudes enrutadas a los clientes de chat que se han configurado para el reconocimiento de voz y que se están ejecutando en la versión 20.8 de los SDK de Oracle Web, iOS o Android.
Tipos de Informes
- Visión general: utilice este panel de control para averiguar rápidamente el número total de conversaciones de voz y texto por canal y por período de tiempo. Las métricas del informe desglosan este total por el número de conversaciones completas, incompletas y en curso. Además, este informe le indica si la aptitud completó o no completó las conversaciones mediante una clasificación del uso de las intenciones transaccionales y de respuesta de la aptitud en gráficos de barras y nubes de palabras.
- Métricas personalizadas: permite medir las dimensiones personalizadas que se han aplicado a la aptitud.
- Intenciones: proporciona datos e información específicos de la intención para las métricas de ejecución (estados, duración de la conversación y rutas de acceso más y menos populares).
- Rutas: muestra una representación visual del flujo de conversación de una intención.
- Conversaciones: muestra la transcripción real del diálogo entre el usuario y la aptitud, visto en el contexto del flujo de diálogo y la ventana de chat.
- Entrenador: puede utilizar los datos activos y las estadísticas obtenidas para mejorar la aptitud a través del auto aprendizaje moderado.
- Exportar: permite descargar un archivo CSV de los datos de Insights recopilados por Oracle Digital Assistant. Puede crear un informe de Insights personalizado a partir del CSV.
Revisión de las métricas y los gráficos de resumen
Puede ajustar esta vista alternando los modos Voz y Texto, o puede comparar los dos mediante la activación de la opción correspondiente. Comparar conversaciones de texto y de voz.
Cuando se selecciona Texto, el informe muestra un juego de métricas comunes. Cuando se selecciona Voz, el informe incluye métricas específicas de voz adicionales. Estas métricas solo se aplican para conversaciones de voz, por lo que no aparecen si se selecciona Comparar conversaciones de texto y de voz
Las opciones de Modo dependen de la presencia de mensajes de voz o de texto. Por ejemplo, si solo hay mensajes de texto, solo aparece la opción Texto.
Métricas comunes
- Número total de conversaciones: número total de conversaciones, compuesto por conversaciones completas, incompletas y en curso. Independientemente del estado, una conversación puede estar formada por uno o más turnos de diálogo. Cada turno es un único intercambio entre el usuario y la aptitud.
Nota
Las conversaciones no son las mismas que las solicitudes medidas. Para obtener más información sobre la medición, consulte Descripciones del servicio de créditos universales de Oracle PaaS e IaaS. - Conversaciones finalizadas: conversaciones que han finalizado respondiendo correctamente a la consulta de un usuario. Conversaciones que terminan con un estado de flujo de finalización o en un estado en el que se selecciona el flujo de finalización (implícito) como transición completa. En las aptitudes creadas por YAML, las conversaciones se cuentan como finalizadas cuando el recorrido a través del flujo de diálogo termina con una transición
return
o en un estado con la propiedadinsightsEndConversation
.Nota
Esta propiedad y la transiciónreturn
no están disponibles en Visual Flow Designer. - Conversaciones incompletas: conversaciones que los usuarios no han completado, porque han abandonado la aptitud o no han podido completarla debido a errores en el nivel del sistema, timeout o bucles infinitos.
- Conversaciones en curso: conversaciones en curso (conversaciones que aún no se han completado ni han sufrido un timeout). Con esta métrica se realiza un seguimiento de las conversaciones de varios turnos. Una conversación en curso se convierte en un timeout cuando una sesión caduca.
- Tiempo medio empleado en conversaciones: duración media de todas las conversaciones de la aptitud.
- Número total de usuarios y Número de usuarios únicos: métricas base de usuarios que indican cuántos usuarios tiene una aptitud y cuántos de estos usuarios están devolviendo usuarios.
Métricas de voz
Estas métricas solo tienen fines informativos; no se puede puede realizar ninguna acción en ellas.
- Tiempo medio empleado en conversaciones: duración media de las conversaciones de voz.
- Factor medio de tiempo real (RTF): ratio del tiempo empleado para procesar la entrada de audio en relación con el tiempo de CPU. Por ejemplo, si se tarda un segundo de tiempo de CPU en procesar un segundo de audio, el RTF es 1 (1/1). El RTF de 500 milisegundos para procesar un segundo de audio es 0,5 o ½ . Idealmente, el RTF debe estar por debajo de 1 para asegurarse de que el procesamiento no quede demorado por detrás de la entrada de audio. Si el RTF es superior a 1, póngase en contacto con los Servicios de Soporte Oracle.
- Latencia media de voz: retraso, en milisegundos, entre la detección del final de la expresión y la generación del resultado final (o transcripción). Si observa latencia, póngase en contacto con los Servicios de Soporte Oracle.
- Tiempo medio de audio: duración media, en segundos, de todas las conversaciones de voz.
- Conversaciones cambiadas: porcentaje de conversaciones de la aptitud que comenzaron con comandos de voz, pero que han tenido que cambiar a texto para completar la interacción. Esta métrica indica que había varias rutas de ejecución implicadas en el cambio de voz a texto.
Descripción de conversaciones incompletas
- Timeouts: los timeouts se disparan cuando una conversación en curso se quede inactiva durante más de una hora, lo que provoca que la sesión caduque.
- Errores gestionados por el sistema: de los errores gestionados por el sistema se encarga el sistema, no la aptitud. Estos errores se producen cuando la definición del flujo de diálogo no incluye el manejo de errores.
- Bucle infinito: los bucles Infinitos se pueden producir debido a fallos en la definición del flujo de diálogo, como transiciones definidas incorrectamente.
- Cancelada: número de veces que los usuarios han salido de una aptitud cancelando explícitamente la conversación.
Al hacer clic en una categoría de error de la tabla o en uno de los arcos del gráfico, puede aumentar el detalle del informe Conversaciones para ver estos errores en el contexto de conversaciones incompletas. Al acceder al informe de Conversaciones desde aquí, los filtros Resultado y Errores del informe de conversaciones se definen en Incompleta y la categoría de error seleccionada. Por ejemplo, si hace clic en Bucle Infinito, el informe Conversaciones se filtrará por Bucle Incompleto y Bucle infinito. Los filtros Intención y Resultado del informe se definen en Mostrar todo y el campo Ordenar por se define en Más reciente.
Métricas de Usuario
- Número de usuarios: total en ejecución de todos los tipos de usuarios que han interactuado con la aptitud: usuarios con ID asignados por canal que persisten en las sesiones (los usuarios únicos) y usuarios cuyos ID asignados automáticamente duran solo una sesión.
- Número de usuarios únicos: número de usuarios que han accedido a la aptitud identificado por sus ID de usuario únicos. Cada canal tiene un método diferente para asignar un ID a un usuario: los usuarios que chatean con la aptitud a través del canal web se identifican mediante el valor definido para el campo
userId
, por ejemplo. El canal de prueba del comprobador de aptitudes le asigna un nuevo ID de usuario cada vez que finaliza una sesión de chat haciendo clic en Restablecer.Una vez asignados, estos ID únicos persisten en las sesiones de chat para que el recuento de usuarios únicos registrado por esta métrica no aumente cuando un usuario vuelva a visitar la aptitud. El recuento solo aumenta cuando se agrega al grupo de usuarios otro usuario asignado con un ID único.Consejo:
Debido a que los ID de usuario son únicos dentro de un canal (un usuario con ID idénticos en dos canales diferentes se contará como dos usuarios, no uno), puede obtener una mejor idea de la base de usuarios filtrando el informe por canal.
Activar seguimiento de nuevo usuario
"purgeUserData": true
en la carga útil de la solicitud POST de tarea de exportación inicial.
La recopilación de nuevos datos de usuario solo comienza en la fecha de envío de esta función con la versión 23.10.
Revisión de las estadísticas de tendencias de las conversaciones
- Finalizadas: conversaciones que los usuarios han terminado correctamente. Conversaciones que terminan con un estado de flujo de finalización o en un estado en el que se selecciona el flujo de finalización (implícito) como transición completa. En las aptitudes creadas por YAML, las conversaciones se cuentan como finalizadas cuando el recorrido a través del flujo de diálogo termina con una transición
return
o en un estado con la propiedadinsightsEndConversation
.Nota
Esta propiedad y la transiciónreturn
no están disponibles en Visual Flow Designer. - Incompletas: conversaciones que los usuarios no han finalizado, porque han abandonado la aptitud o no se han podido completar debido a errores en el nivel del sistema, timeouts o errores en el diseño de la aptitud.
- En curso: conversaciones en curso (conversaciones que aún no se han completado ni han sufrido un timeout). Con esta métrica se realiza un seguimiento de las conversaciones de varios turnos.
Visualización del uso de la intención
No todas las conversaciones se resuelven en una intención. Si se muestra Sin intención en el gráfico de barras Intención y en la nube de palabras, indica que una intención no se ha resuelto mediante la entrada del usuario, sino mediante una acción de transición, una conversación iniciada por la aptitud o el enrutamiento desde un asistente digital.
Puede filtrar el diagrama de barras Intenciones y la nube de palabra mediante las opciones Todas las intenciones, Intenciones de respuestas e Intenciones de transacción del gráfico.
Descripción de la ilustración all-intents.png
Estas opciones permiten desglosar rápidamente el uso. For example, for mixed skills – ones that have both transactional and answer intents – you can view usage for these two types of intents using the Answer Intents and Transaction Intents options.
Description of the illustration transactional-intents.png
The key phrases rendered in the word cloud reflect the option, so for example, only the key phrases associated answer intents display when you select Answer Intents.
Description of the illustration answer-intents.png
Revisión de intenciones y nuevo entrenamiento con nubes de frases clave
El color representa el nivel de éxito de la resolución de la intención:
- El color verde representa una media alta de resolución de solicitudes en el, o superando, el umbral del margen de ganancia de confianza en un período especificado.
- El color amarillo representa una resolución de intención que, como media, no cumple el umbral de margen de ganancia de confianza dentro del período especificado. Este color es una buena indicación de que se debe realizar un nuevo entrenamiento de la intención.
- El color rojo se reserva para unresolvedIntent. Esta es la recopilación de las solicitudes de usuario que no se han podido confrontar con ninguna intención y que se podría incorporar al corpus.
Además, ofrece una vista más detallada del uso de la intención a través de frases clave, que son representaciones de los datos reales del usuario, y, para las frases en inglés (el comportamiento difiere cuando las frases de idioma no inglés se resuelven en una intención), acceda al reentrenamiento.
Revisión de frases clave
Al hacer clic en una intención, puede aumentar detalle en un juego de frases clave. Estas frases son abstracciones del mensaje de usuario original que mantienen su intención original. Por ejemplo, la frase de clave cancelar mi orden se presenta en el mensaje original, Deseo cancelar mi orden. Los mensajes similares se pueden agrupar en una sola frase clave. Las frases Deseo cancelar mi orden, ¿Puede cancelar mi orden? y Cancele mi orden por favor se pueden agrupar en la frase de clave Cancelar mi orden, por ejemplo. Al igual que ocurre con la intención, el tamaño representa el protagonismo del período de tiempo en cuestión y el color refleja el nivel de confianza.
Descripción de la ilustración key-phrases-intent.png
You can see the actual user message (or the messages grouped within a key phrase) within the context of a conversation when you click a phrase and then choose View Conversations from the context menu.
Description of the illustration view-conversations-option.png
This option opens the Conversations Report.
Description of the illustration key-phrases-conversation-report.png
Anonymized values display in the phrase cloud when you enable PII Anonymization.
Description of the illustration pii-skill-phrase-cloud.png
Nuevo entrenamiento desde la nube de palabras
Con esta opción abre el Nuevo entrenador, donde puede agregar la frase real al corporación de entrenamiento.
Revisión de las frases de idioma nativo
El comportamiento de la nube de frases clave difiere para las aptitudes con soporte de idioma nativo en el hecho de que no puede acceder al reentrenamiento para frases que no estén en inglés. Cuando las frases en diferentes idiomas se hayan resuelto en una intención, los idiomas, no las frases clave, se muestran en la nube al hacer clic en una intención. Por ejemplo, si se muestra Francés e Inglés después del hacer clic en la opción unresolvedIntent, significa que hay frases tanto en inglés como en francés que no se pueden resolver con ninguna intención.
Descripción de la ilustración ml-phrase-cloud.png
Si el inglés está entre los idiomas, puede aumentar el detalle a la nube de frases clave haciendo clic en la opción Inglés. En la nube de frases clave, puede utilizar las opciones Ver conversaciones y Volver a entrenar del menú contextual para aumentar el detalle hasta el informe de conversación y de reentrenamiento. Sin embargo, al aumentar detalle desde un idioma que no sea el inglés, profundizará hasta el informe Conversaciones, filtrado por la intención y el idioma. No hay acceso directo al reentrenamiento. Por lo tanto, volviendo al ejemplo unresolvedIntent, si ha hecho clic en Inglés, profundizaría hasta la nube de frases clave. Si ha hecho clic en Francés, profundizará hasta el informe Conversaciones, filtrado por unresolvedIntent y Francés.
Descripción de la ilustración ml-conversation-report.png
Si desea incorporar o reasignar una frase después de revisarla en el contexto de las conversaciones, tendrá que incorporarla directamente desde el reentrenamiento filtrando la intención, el idioma (y cualquier otro criterio).
Revisión del uso de idioma
Para una aptitud multilingüe, puede comparar el uso de sus idiomas soportados mediante los segmentos del gráfico Idiomas. Cada segmento representa un idioma actualmente en uso.
Descripción de los lenguajes de ilustración-chart-overview-skill.png
Si desea revisar las conversaciones representadas por un idioma en el gráfico, puede hacer clic en un segmento o en la leyenda para acceder al informe Conversaciones, que se filtra por el idioma seleccionado.
Descripción de la ilustración Conversation-report-filtered-language.png
Revisar comentarios y calificaciones de usuario
La puntuación media de satisfacción del cliente, que es proporcional al número de conversaciones para cada una de las calificaciones, se representa en el centro del gráfico de donuts. Los totales individuales por conversación para cada número en el rango se grafican como arcos del gráfico de anillos de calificación del usuario que varían en longitud según la ocurrencia. Al hacer clic en uno de estos arcos, se abre el informe Conversaciones filtrado por la puntuación.
Si la aptitud se ejecuta en una plataforma anterior a la versión 21.12, debe desactivar Activar enmascaramiento para ver la calificación del usuario en la transcripción de conversación. Para conservar la calificación de usuario real en las transcripciones de las aptitudes que se ejecutan en las plataformas 21.12 y posteriores (donde Activar enmascaramiento está en desuso), debe suprimir la entidad NUMBER de la lista de entidades tratadas como PII al activar la anonimización de PII.
Por defecto, el umbral mínimo del componente Comentarios del usuario para determinar una reacción positiva o negativa se establece en dos (No satisfecho). Si los comentarios de usuario están activados para el componente, la nube de palabras Comentarios de usuario muestra los comentarios de usuario que acompañan a las calificaciones negativas y los ajusta en función de su frecuencia. Puede ver estos comentarios en el contexto de la interacción general haciendo clic en el arco del gráfico de calificación de usuario que representa una calificación por debajo del umbral (una o dos por la configuración por defecto del componente) y, a continuación, aumentar detalle del informe de conversación, que se filtra por la puntuación seleccionada.
Descripción de la ilustración Conversation-report-user-feedback.png
Cómo agregar el componente Feedback al flujo de diálogo
System.Feedback
mediante la transición next
). El flujo de diálogo puede pasar a una secuencia de estados de comentarios de usuario siempre que desee medir la reacción de un usuario. Esto podría ser, por ejemplo, después de que un usuario haya completado o cancelado una transacción.
Si el estado que precede al estado Comentarios del usuario tiene una propiedad Mantener rotación, defínala en
True
para asegurarse de que la aptitud no transfiere la conversación al usuario antes de que el flujo pase al comentario del usuario. Para mantener el control de la aptitud en flujos creados por YAML, defina keepTurn: true
en el estado anterior al estado System.Feedback
.
above
, below
y cancel
transiciones. En los flujos de diálogo de YAML, cada uno de estos estados tiene transiciones return: done
.Estos estados admiten el rango alto y bajo de la calificación según lo determinado por la propiedad Umbral. Puede agregar estos estados como mensajes de usuario que confirman la recepción de la calificación de usuario.
Tipo de Comentarios | Ejemplo de mensaje |
---|---|
above |
Thank you for rating us ${system.userFeedbackRating.value} |
below |
You entered: ${system.userFeedbackText.value} We appreciate your feedback. |
cancel |
Skipped giving a rating or feedback? Maybe next time. |
systemComponent_Feedback_
en un archivo CSV de grupo de recursos.
Uso de métricas personalizadas para medir los comentarios de los usuarios
Cada uno de estos estados de definición de métricas personalizadas corresponde a uno de los estados nombrados por las acciones de transición
above
, below
y cancel
del componente de comentarios del usuario. Por ejemplo, si desea agregar una métrica denominada Feedback Type al informe Custom Metrics, debe hacer lo siguiente:
- Inserte los estados Definir métricas personalizadas antes de cada uno de los estados nombrados por las acciones de transición
above
,below
ycancel
del componente Comentarios del usuario. - Para cada estado, introduzca Feedback Type como nombre de dimensión.
- Agregue valores independientes para cada estado, según corresponda, para el tipo de transición (por ejemplo,
Canceled
,Positive
,Negative
). Ahora que ha instrumentado el flujo de diálogo para registrar datos de comentarios, puede consultar los diferentes valores en el informe de métricas personalizadas.
En flujos basados en YAML, puede realizar un seguimiento de las métricas de comentarios agregando estados System.SetCustomMetrics
.
Revisar métricas personalizadas
El informe Métricas personalizadas proporciona una perspectiva adicional de los datos de estadísticas mediante el seguimiento de los datos de conversación para dimensiones específicas de aptitudes. Las dimensiones cuyo seguimiento realiza este informe se crean en la definición del flujo de diálogo mediante el componente Definir métricas personalizadas (y el componente System.SetCustomMetrics
en los flujos de YAML). Con este componente, puede crear dimensiones para explorar las necesidades de negocio y desarrollo que son específicas de su aptitud. Por ejemplo, puede crear dimensiones que informen sobre el consumo de un producto o servicio (la masa de pizza más solicitada o el tipo de informe de gastos que se archiva con mayor frecuencia) o realizar un seguimiento de cuándo la aptitud falla a los usuarios forzándolos a salir o transfiriéndolos a agentes activos.
Las dimensiones y categorías aparecen en el informe solo cuando se han producido las conversaciones medidas por ellas.
Instruir la aptitud para métricas personalizadas
Para generar el informe de métricas personalizadas, debe definir una o más dimensiones mediante el componente Definir métricas personalizadas (al que se accede haciendo clic en Variables > Definir métricas personalizadas o Variables > Definir métricas personalizadas de Insights en los cuadros de diálogo de YAML).
Descripción de la ilustración set-insights-component-dialog.png
Si el informe de métricas personalizadas no tiene datos, es probable que no se haya definido ningún estado de métricas personalizadas definidas o que las transiciones a estos estados no se hayan definido correctamente.
Puede definir hasta seis dimensiones para cada aptitud.
Creación de dimensiones para valores de variables
Puede realizar un seguimiento de los valores de entidad definiendo una transición next
a un estado Definir métricas personalizadas después del estado de definición de valores (por ejemplo, un estado Resolver bolsa compuesta). Las dimensiones y los filtros del informe Definir métricas personalizadas se presentan a partir de las dimensiones y los valores de dimensión definidos por el componente Definir métricas personalizadas.
Si el estado de definición de valores hace referencia a una entidad de bolsa compuesta, puede realizar un seguimiento de los elementos de bolsa mediante una expresión de Apache Freemarker para definir el valor de dimensión. Por ejemplo, el valor de una dimensión Pizza Size se puede definir como ${pizza.value.pizzaSize.value}
. Los valores individuales devueltos por esta expresión (pequeño, medio, grande) se presentan como segmentos de datos en el informe de métricas personalizadas y también se pueden aplicar como filtros. Por ejemplo, el informe que resulta de la instrumentación de una aptitud de pizza desglosa los pedidos de pizza por tamaño, tipo y masa de pizza. Estos detalles agregados complementan las métricas ya informadas para la intención Order Pizza.
Descripción de la ilustración custom-metrics-example.png
Las dimensiones basadas en valores de entidad solo se registran en el informe Métricas personalizadas después de definir un valor de entidad. Cuando no se ha definido ningún valor o cuando el estado de definición de valores no pasa a un estado Definir métricas personalizadas, los gráficos del informe anotan los datos que faltan como <not set>.
Creación de dimensiones que realizan un seguimiento del uso de aptitudes
Además de las dimensiones basadas en valores de variables, puede crear dimensiones que realicen un seguimiento no solo de cómo interactúan los usuarios con la aptitud, sino también de su eficacia general. Por ejemplo, puede agregar una dimensión que le indique con qué frecuencia y por qué se transfieren los usuarios a agentes activos.
Descripción de la ilustración custom-metrics-agent-transfer-example.png
Dimensiones como estas le informan de la experiencia del usuario. Puede agregar la misma dimensión a diferentes estados Definir métricas personalizadas en los flujos. Cada uno de estos estados Definir métricas personalizadas define una categoría diferente (o valor de dimensión). Por ejemplo, hay dimensiones de transferencia de agente en dos flujos diferentes: una en el flujo Order Pizza con el valor No se necesita ningún agente cuando la aptitud completa correctamente una orden y la otra en el flujo UnresolvedIntent con el valor Entrada incorrecta que realiza un seguimiento de cuándo la aptitud transfiere usuarios a un agente activo debido a una entrada no resuelta. El informe Métricas personalizadas registra los datos de estas métricas cuando estos estados se incluyen en un flujo de ejecución.
Estados de métricas personalizadas para dimensión de transferencia de agente | Flujo | Valor | Usar |
---|---|---|---|
setInsightsCustomMetricsNoAgent |
Solicitar pizza (desde la transición next del estado Resolver bolsa compuesta,
|
No se necesita agente | Refleja el número de conversaciones correctas en las que se cursaron indicaciones sin ayuda. |
setInsightsCustomMaxErrors |
Pedir pizza (a partir de la transición cancel del estado Resolver bolsa compuesta)
|
Máximo de Errores | Refleja el número de conversaciones a las que se ha dirigido a los usuarios a agentes activos porque han llegado a la m |
setInsightsCustomMetricsBadInput |
UnresolvedIntent | Entrada incorrecta | Refleja el número de conversaciones en las que la entrada sin resolver ha provocado que los usuarios se transfieran a un agente activo. |
setInsightsCustomMetricsLiveAgent |
Llamar al agente (antes de la secuencia de inicio del agente) | Agente solicitado | Refleja el número de conversaciones en las que los usuarios han solicitado un agente en directo. |
Exportar datos de métricas personalizadas
Columna | Descripción |
---|---|
CREATED_ON |
La fecha de la exportación de datos. |
USER_ID |
ID del usuario de la aptitud. |
SESSION_ID |
Identificador de la sesión actual. Se trata de un GUID aleatorio que hace que este ID sea diferente de USER_ID. |
BOT_ID |
ID de aptitud que se asigna a la aptitud cuando se crea. |
CUSTOM_METRICS |
Matriz de JSON que contiene un objeto para cada dimensión de métrica personalizada. name es un nombre de dimensión y value es el valor de dimensión capturado de la conversación. [{"name":"Custom Metric Name 1","value":"Custom Metric Value"},{"name":"Custom Metric Name 2","value":"Custom Metric Value"},...] Por ejemplo: [{"name":"Pizza Size","value":"Large"},{"name":"Pizza Type","value":"Hot and Spicy"},{"name":"Pizza Crust","value":"regular"},{"name":"Agent Transfer","value":"No Agent Needed"}] .
|
QUERY |
La expresión de usuario o la respuesta de aptitud que contiene un valor de métrica personalizado. |
CHOICES |
Opciones de menú en componentes de interfaz de usuario. |
COMPONENT |
Componente de cuadro de diálogo, System.setCustomMetrics (Definir componente personalizado en flujos visuales) que ejecuta las métricas personalizadas.
|
CHANNEL |
El canal que realizó la sesión. |
Revisión de estadísticas de intenciones
Este informe devuelve las intenciones definidas para una aptitud en un período de tiempo determinado, por lo que su contenido puede cambiar para reflejar las intenciones que se han agregado, cuyo nombre o que se han eliminado de la aptitud en distintos momentos.
Rutas de Acceso Terminadas
Puede utilizar estas estadísticas y como indicadores de la experiencia del usuario. Por ejemplo, puede utilizar este informe para determinar si el tiempo empleado es el adecuado para la tarea o si las rutas más cortas generan una experiencia de usuario atenuada que puede animar a los usuarios a abandonar. ¿Podría, por ejemplo, agilizar el trayecto del usuario en la aptitud introduciendo valores con entidades de bolsa compuesta, en lugar de peticiones de datos y componentes de configuración de valores?
- Puede rastrear la ruta de ejecución de una intención seleccionada haciendo clic en Ver ruta, que abre el informe Rutas filtrado por conversaciones finalizadas para la intención. Para mejorar el enfoque en las rutas de ejecución, puede filtrar los estados en los que no está interesado.
- Puede leer transcripciones de las conversaciones finalizadas para una intención haciendo clic en Ver conversaciones, que abre el informe Conversaciones filtrado por conversaciones finalizadas para la intención.
Rutas incompletas
System.DefaultErrorHandler
. Utilizándolo, puede averiguar si un estado de flujo de diálogo es un punto continuo de fallo y los motivos (errores, timeouts o entrada de usuario incorrecta). Este informe no muestra las rutas ni la velocidad de las rutas incompletas porque no se aplican a esta entrada de usuario. En su lugar, el gráfico de barras clasifica cada intención por el número de mensajes que no se han podido resolver en ninguna intención o que tenían el potencial de resolverse (lo que significa que el sistema podría adivinar una intención), pero no lo hicieron debido a puntuaciones de confianza bajas.
El gráfico de estados incompletos no representa intenciones de respuesta (intenciones estáticas) en flujos basados en YAML porque sus resultados están soportados solo por el estado del componente
System.Intent
, no por una serie de estados en una definición de flujo de diálogo.
{}
). Incluso si la aptitud gestiona la transacción correctamente, Insights seguirá clasificando la conversación como incompleta y trazará el estado final como System.DefaultErrorHandler
.
- Al hacer clic en Ver ruta, se abre el informe Rutas filtrado para conversaciones incompletas para la intención seleccionada. Los estados de terminal de esta ruta pueden incluir estados definidos en el cuadro de diálogo o un estado interno que marca el final de una conversación, como
System.EndSession
,System.ExpiredSession
,System.MaxStatesExceededHandler
ySystem.DefaultErrorHandler
. - Puede acceder a las transcripciones de conversaciones que provocan el fallo haciendo clic en Ver conversaciones. Esta opción abre el informe Conversaciones filtrado para conversaciones incompletas para la intención seleccionada. Puede limitar aún más los resultados aplicando un filtro. Por ejemplo, puede filtrar el informe por condiciones de error.
unresolvedIntent
Además de la duración y las rutas de las intenciones orientadas a tareas, el informe Intenciones también devuelve los mensajes que no se han podido resolver. Para ver estos mensajes, haga clic en unresolvedIntent en la barra de navegación izquierda. Al hacer clic en una intención en el gráfico de barras Predicciones más cercanas, se actualiza la ventana Mensaje no resuelto con los mensajes no resueltos de esa intención ordenados por una puntuación de probabilidad.
Revisión de estadísticas de rutas
El informe Rutas le permite averiguar cuántas conversaciones han pasado por las rutas de ejecución de las intenciones durante un período determinado. Este informe representa una ruta que es similar a un mapa en tránsito donde las paradas pueden representar intenciones, los estados definidos en la definición del flujo de diálogo y los estados internos que marcan el inicio y el final de cada conversación que no está clasificada como en curso.
Descripción de la ruta de la ilustración-report.png
Puede desplazarse por esta ruta para ver de qué punto los valores introducida en la entrada del usuario ha impulsado la conversación y en qué punto se ha quedado estancada debido a la falta de una entrada incorrecta del usuario, a errores de sistema o de otros problemas. Si bien la última parada del trazado de acceso completo es verde, en el casos de las trayectorias de acceso incompletas, en las que siguen surgiendo problemas es roja. Mediante este informe, puede averiguar dónde el número de conversaciones se ha mantenido constante en cada estado y detectar en qué punto se ha ramificado las conversaciones debido al definición de valores (o a la ausencia de Definición), o bien dónde se han bloqueado las conversaciones debido de algún otro problema, como un componente personalizado con Un funcionamiento incorrecto o un timeout.
Consulta del informe Rutas
Todos los flujos de ejecución se presentan por defecto después de introducir la consulta. La flecha verde Iniciar

System.BeginSession
, el estado del sistema que inicia cada conversación. El icono System.Intent

Para conversaciones incompletas, la ruta de acceso puede terminar con un estado interno como
System.ExpiredSession
, System.MaxStatesExceededHandler
o System.DefaultErrorHandler
que representa el error que ha terminado la conversación.
Si el estado final de un flujo creado por YAML utiliza una transacción vacía (o implícita) (
{}
), Insights clasificará este estado como un estado System.DefaultErrorHandler
y considerará la conversación como incompleta, incluso si la aptitud ha gestionado la transacción correctamente.
El informe muestra Respuesta nula para cualquier mensaje de cliente que esté en blanco (o que no esté en texto sin formato), o bien que contenga una entrada inesperada. Para las respuestas sin texto que son acciones de devolución, muestra la carga útil de la acción más reciente. Por ejemplo:
{"orderAction":"confirm""system.state":"orderSummary"}
Al hacer clic en Ver conversaciones, se abre el informe Conversaciones consultado por la ruta de acceso para que pueda revisar los mensajes que han finalizado la conversación en el contexto de una transcripción.
Escenario: consulta del informe Rutas
Si observa el informe Visión general de una aptitud financiera, verá que hay un aumento repentino en las conversaciones incompletas. Al agregar los valores representados por los segmentos "incompletas" de color naranja de los gráficos de barras apiladas, se deduce que las conversaciones están fallando en las rutas de ejecución de las intenciones Send Money y Balances de la aptitud.
Para investigar los errores de las intenciones, abra el informe Rutas e introduzca la primera consulta: filtrar todas las intenciones que no se hayan completado. La ruta de acceso se representa con dos bifurcaciones: una que empieza por startPayments
y termina por SystemDefaultErrorHandler
y una segunda que empieza por startBalances y también termina por System.DefaultErrorHandler
. Al hacer clic en el nodo final de cualquiera de las rutas, se abre el panel de detalles que indica el número de errores y muestra fragmentos de los mensajes de usuario recibidos por la aptitud antes de que se produzcan estos errores. Para ver estos fragmentos en contexto, haga clic en Ver conversaciones, en el panel de detalles, para ver la transcripción. En todas las conversaciones, la aptitud se ha visto obligada a responder con la petición de datos de error inesperado (¡Vaya! Se ha detectado un problema) porque los errores del sistema no le han permitido procesar la solicitud del usuario.
Para obtener más información sobre los estados que han provocado estos errores (y su posible papel en estos fallos), consulte la definición del flujo de diálogo para identificar los estados que inician las rutas de ejecución de cada una de las intenciones. Estos estados son startBalances
, startTxns
, startPayments
, startTrackSpending
y setDate
.
Al comparar las rutas con la definición del flujo de diálogo, observa que tanto en los flujos startPayments
como en los flujos startBalances
, el último estado representado en la ruta precede a un estado que utiliza un componente personalizado. Después de comprobar la página Components, observa que el servicio se ha desactivado, lo que impide que la aptitud recupere la información de la cuenta necesaria para completar las conversaciones.
Revisión de las estadísticas de conversación de las aptitudes
Mediante el informe Conversaciones, puede examinar las transcripciones reales de las conversaciones para revisar cómo ha completado la entrada del usuario las rutas relacionadas con la intención o por qué no lo ha hecho. Puede filtrar las conversaciones por canal, por modo (Voz, Texto, Todo), Tipo (flujo de intención o flujo de LLM) y por período de tiempo.
En el caso de una única intención, el informe Conversaciones enumera las distintas conversaciones que se han completado. Sin embargo, en los flujos de diálogo creados por YAML, completa puede significar distintas cosas según el mensaje del usuario y la transición
return
, que finaliza la conversación y destruye el contexto de la conversación. Por ejemplo, para una intención OrderPizza, el informe Conversaciones puede mostrar dos conversaciones correctamente completadas. Solo una de ellas culmina en un pedido completado. La otra conversación también finaliza correctamente, pero, en lugar de realizar un pedido, maneja la entrada de usuario incorrecta.
Visualización de transcripciones de conversación
Cuando se hace clic en el Ver conversación, se abre la conversación en el contexto de una ventana del chat. Al hacer clic en el icono del gráfico de barras, se muestran las métricas de voz de esa interacción.
Descripción de la ilustración view-conversation-window.png
Visualización de métricas de voz
Anonimato de PII
Los valores de CURRENCY y DATE_TIME no son anónimos, aunque contengan números. Además, el "uno" de la petición de datos por defecto para una entidad de bolsa compuesta ("Seleccione un valor para...") se anonimiza como un valor numérico. Para evitarlo, agregue una petición de datos personalizada ("Seleccione el valor a para...", por ejemplo).
- PERSON
- NÚMERO
- Correo electrónico
- PHONE_NUMBER
- URL
Activar enmascaramiento está en desuso en la versión 21.12. Utilice la anonimización de PII en su lugar para enmascarar valores numéricos en los informes de Insights y los logs de exportación. No se puede aplicar la anonimización a las conversaciones registradas antes de la versión 21.12.
Habilitar anonimización de PII
- Haga clic en Configuración > General.
- Active Activar anonimización de PII.
- Haga clic en Agregar entidad para seleccionar los valores de entidad que desea anonimizar en los informes de Insights y los logs.
NotaSi desea interrumpir la anonimización de un valor de PII o si no desea que se utilice ningún anónimo, seleccione la entidad correspondiente y, a continuación, haga clic en Suprimir entidad. Una vez suprimida una entidad, el valor de PII real aparece en los informes de Insights para las conversaciones posteriores. Su forma anónima, sin embargo, permanecerá para conversaciones anteriores.
Los valores anónimos se mantienen en la base de datos solo después de activar la anonimización de los valores de PII para las entidades seleccionadas. No se aplican a conversaciones anteriores. En función del rango de fechas seleccionado para los informes de Insights o los archivos de exportación, los valores de PII pueden aparecer tanto en sus formularios reales como en los anónimos. Puede aplicar la anonimización a cualquier valor de PII no anónimo (incluidos los de las conversaciones que se produjeron antes de activar la anonimización en la configuración de la aptitud o el asistente digital) al crear una tarea de exportación. Estos anónimos se aplican solo al archivo exportado y no se mantienen en la base de datos.Nota
La anonimización es permanente (a pesar de la anonimización aplicada a la tarea de exportación). No puede recuperar los valores de PII después de activar la anonimización.
Anonimización de PII en el archivo de exportación
La anonimización en un archivo de estadísticas exportado depende de si (y cuándo) ha activado la anonimización de PII para la aptitud o el asistente digital en Configuración.
- Los valores de PII reconocidos para las entidades seleccionadas se sustituyen por anónimos. Estos anónimos se mantienen en la base de datos y sustituyen los valores de PII en los logs y los informes de estadísticas. Esta anonimización se aplica a las conversaciones que se producen después, no antes, de la activación de la anonimización en Configuración.
- La opción Activar anonimización de PII para la opción de archivo de la tarea de exportación está activada por defecto para garantizar que los valores de PII reconocidos para las entidades seleccionadas en Configuración se apliquen a las conversaciones que se produjeron antes de que se definiera la anonimización de PII. Los anónimos aplicados durante la exportación a conversaciones anteriores a la anonimización de PII solo existen en el archivo de exportación. Los valores de PII originales permanecen en la base de datos, en los logs de Insights y en los informes de Insights).
- Si desactiva Activar anonimización de información de identificación personal para el archivo, solo se anonimizarán los valores de información de identificación personal reconocidos para las entidades seleccionadas en Configuración. Los archivos log contendrán los anónimos de las conversaciones que se hayan producido después de activar la configuración de anonimización para la aptitud o el asistente digital. Las conversaciones anteriores aparecerán como expresiones originales no modificadas con sus valores de PII intactos. Por lo tanto, el archivo de exportación puede incluir conversaciones anónimas y no anónimas si parte del intervalo de fechas de la tarea de exportación es anterior a la anonimización.
Nota
Si la tarea de exportación incluye conversaciones anónimas que se han producido antes de la versión 22.04, los anónimos aplicados a las conversaciones anteriores a la versión 22.04 se cambiarán o volverán a anonimizar en los archivos de exportación al seleccionar Activar anonimización de PII para el archivo para la tarea de exportación. Los anónimos del archivo exportado no coincidirán con los anónimos de los archivos de exportación anteriores a la versión 22.04 ni con los anónimos que aparecen en los informes de Insights.
- La opción Activar anonimización de PII para el archivo se desactivará por defecto para la tarea de exportación, de modo que el archivo exportado contenga todas las expresiones originales no modificadas, incluidos los valores de PII.
- Si selecciona Activar anonimización de PII para el archivo, los valores de PII se anonimizarán en el archivo exportado solo para las entidades por defecto, PERSON, EMAIL, URL y NUMBER. Los valores de PII permanecerán en la base de datos, los logs y los informes de estadísticas.
Aplicación del reentrenamiento
- período de tiempo
- idioma: para capacidad multilingüe que se activa mediante servicios de traducción o soporte de idiomas nativo. Por defecto, el informe se filtra por idioma principal.
- intenciones: para filtrar haga coincidir los nombres de las dos intenciones de clasificación superior y mediante operadores de comparación para sus propiedades relacionadas con la resolución, confianza y margen de ganancia.
- canales: incluye el canal de agente creado para las integraciones de Oracle Service Cloud.
- modos de texto o voz: incluye conversaciones cambiadas.
Actualización de intenciones con el reentrenamiento
- Solo puede agregar la entrada de usuario al corpus de entrenamiento que pertenezca a una versión de borrador de una aptitud, no a una versión publicada.
- No puede agregar ninguna entrada de usuario que ya exista como expresión en el corpus de entrenamiento o que ya haya agregado mediante el re entrenamiento.
- Debido a que no se puede actualizar una aptitud publicada, debe crear una versión de borrador para poder agregar nuevos datos al corpus.
Consejo:
Haga clic en Comparar todas las versioneso desactive el conmutador Mostrar solo la última para acceder a la versión de borrador y la versión publicada de la aptitud.
- En la versión de borrador de la aptitud, aplique un filtro, si es necesario, y haga clic en Buscar.
- Seleccione el mensaje de usuario y, a continuación, elija la intención de destino en el menú Seleccionar intención. Si la aptitud soporta más de un idioma nativo, puede agregarlo al juego de entrenamiento adecuado al idioma seleccionando entre los idiomas del menú Seleccionar idioma.
Consejo:
Puede agregar expresiones a una intención de forma individual, o bien seleccionar varias intenciones y, a continuación, seleccionar la intención de destino en el menú Agregar a, en la parte superior izquierda de la tabla. Si desea agregar todas las solicitudes devueltas a una intención, seleccione Expresiones (en la parte superior derecha de la tabla) y, a continuación, elija la intención y el idioma en el menú Agregar a. - Haga clic en Agregar ejemplo.
- Vuelva a entrenar la aptitud.
- Vuelva a publicar la aptitud.
- Actualice el asistente digital con la nueva aptitud.
- Supervise el informe Visión General para comprobar si se han producido cambios en las métricas a lo largo del tiempo y también compare las diferentes versiones de la aptitud para averiguar si las nuevas versiones han contribuido realmente al éxito general de la aptitud. La repetición del proceso de reentrenamiento mejora la capacidad de respuesta de la aptitud para cada nueva versión. Por ejemplo, en las aptitudes integradas con Oracle Service Cloud Chat, el reentrenamiento debe dar lugar a una tendencia a la baja en las escaladas, lo que se indica por una tendencia a la baja en el uso de intenciones de transferencia de agentes.
Self-Learning moderado
Si define el filtro Confianza superior por debajo del umbral de confianza definido para la aptitud, o en el filtro por defecto, La intención coincide con unresolvedIntent, puede actualizar el cuerpo de entrenamiento utilizando la clasificación de confianza creada por el marco de procesamiento de la intención. Por ejemplo, si la búsqueda de unresolvedIntent devuelve "someone used my credit card", puede asignar la expresión a una intención denominada Dispute. Se trata de un autoaprendizaje moderado, que mejora la resolución de la intención y, al mismo tiempo, conserva la integridad de la aptitud.
Por ejemplo, los criterios de búsqueda por defecto para el informe muestran la entrada de usuario aleatoria que no se puede resolver en el nivel de confianza porque es inapropiada, no está relacionada con el tema o contiene errores ortográficos. Mediante la referencia al gráfico de barras, puede asignar la entrada de usuario: puede reforzar la intención de la aptitud para manejar intenciones no resueltas asignando la entrada formada por galimatías, o bien puede agregar entradas mal escritas a la intención orientada a la tarea correspondiente (“send moneey” a la intención Send Money, por ejemplo). Si la aptitud tiene una intención de bienvenida, por ejemplo, puede asignar mensajes irreverentes, no relacionados con el tema, para los que la aptitud puede devolver una réplica como "No puedo ayudarle con eso, pero sí a pedir flores”.
Soporte de servicios de traducción
Si la aptitud usa un servicio de traducción, el nuevo entrenador muestra los mensajes de usuario en el idioma de destino. Sin embargo, la el nuevo entrenador no agrega mensajes traducidos al corpus de entrenamiento. Los agrega en inglés, el idioma aceptado del modelo de entrenamiento. Al hacer clic en , se revela la versión en inglés que se puede agregar al corpus. Por ejemplo, al hacer clic en este icono para contester (francés), aparece dispute (inglés).
Crear trabajos de fabricación de datos
En lugar de asignarse expresiones a las intenciones usted mismo, puede agrupar el origen de esta tarea mediante la creación de trabajos de Anotación de intención y Validación de intención. No es necesario compilar los logs de conversación en un CSV para crear estos trabajos. En su lugar, haga clic en Crear y, a continuación, en Trabajo de fabricación de datos.
A continuación, seleccione el tipo de trabajo para la entrada de usuario que se filtra en el informe de reentrenamiento. Por ejemplo, puede crear un trabajo de anotación de intención a partir de un informe filtrado por la intención principal que coincide con unresolvedIntent, o bien puede crear un trabajo de validación de intención a partir de un informe filtrado por expresiones que coinciden con una intención.
Descripción de la ilustración retrainer-data-manufacturing-job-dialog.png
Consejo:
Con las opciones Seleccionar expresiones, puede seleccionar todos los resultados devueltos por el filtro aplicado al reentrenamiento para el trabajo de fabricación de datos o crear un trabajo a partir de un subjuego de estos resultados que puede incluir un muestreo aleatorio de expresiones. La selección de Excluir expresiones de trabajos anteriores significa que las expresiones seleccionadas para un trabajo de fabricación de datos anterior ya no estarán disponibles para trabajos posteriores: las expresiones incluidas en un trabajo de anotación de intención, por ejemplo, no estarán disponibles para un trabajo posterior de anotación de intención. Utilice esta opción cuando cree varios puestos para revisar un gran conjunto de resultados.Creación de un conjunto de pruebas
De forma similar a los trabajos de fabricación de datos a partir de los resultados consultados en el informe de reentrenamiento, también puede crear casos de prueba a partir de las expresiones devueltas por la consulta. Puede agregar un conjunto de estos casos de prueba al probador de expresiones haciendo clic en Crear y, a continuación, en Conjunto de pruebas.
Puede filtrar las expresiones para el conjunto de pruebas mediante las opciones Seleccionar expresiones del cuadro de diálogo Crear conjunto de pruebas. Puede incluir todas las expresiones devueltas por el filtro aplicado al reentrenamiento en el conjunto de pruebas, o un subjuego de estos resultados que puede incluir un muestreo aleatorio de las expresiones. Seleccione Incluir etiqueta de idioma para asegurarse de que el idioma asociado a un caso de prueba sigue siendo el mismo durante la prueba.
Descripción de la ilustración create-test-suite-dialog-insights.png
Puede acceder al conjunto de pruebas completado haciendo clic en Ir a casos de prueba en el probador de expresiones.
Revisión del uso de idioma
Para una aptitud multilingüe, puede comparar el uso de sus idiomas soportados mediante los segmentos del gráfico Idiomas. Cada segmento representa un idioma actualmente en uso.
Descripción de los lenguajes de ilustración-chart-overview-skill.png
Si desea revisar las conversaciones representadas por un idioma en el gráfico, puede hacer clic en un segmento o en la leyenda para acceder al informe Conversaciones, que se filtra por el idioma seleccionado.
Descripción de la ilustración Conversation-report-filtered-language.png
Exportación de datos de estadísticas
Los distintos informes de estadísticas le proporcionan distintas perspectivas, pero, si necesita ver estos datos de otra forma, puede crear su propio informe a partir de un archivo CSV con los datos exportados de estadísticas.
Los datos se pueden distribuir en una serie de archivos CSV cuando la tarea de exportación devuelve más de 1 048 000 filas. En estos casos, el archivo ZIP contendrá una serie de archivos ZIP, cada uno con un CSV.
- Nombre: nombre de la tarea de exportación.
- Última ejecución: fecha en la que se ejecutó la tarea por última vez.
- Creada por: nombre del usuario que creó la tarea.
- Estado de exportación: Enviada, En Curso, Fallida, Sin datos (cuando no hay datos que exportar en el rango de fechas definido para la tarea) o Completa, un hiperenlace que permite descargar los datos exportados como un archivo CSV. Al pasar el cursor sobre el estado Fallida, se muestra un mensaje explicativo.
Se aplica una tarea de exportación a la versión actual de la aptitud.
Creación de una tarea de exportación
- Abra la página Exportaciones y, a continuación, haga clic en Agregar exportación.
- Introduzca un nombre para el informe y, a continuación, introduzca un rango de fechas.
- Haga clic en Activar anonimización de PII para el archivo exportado para sustituir los valores de información de identificación personal (PII) por anónimos en el archivo exportado. Estos anónimos solo existen en el archivo exportado si PII no está activado en la configuración de aptitudes. En este caso, los valores de PII, no sus equivalentes anónimos, se almacenan en la base de datos y aparecen en los logs de Insights exportados y en todos los informes de Insights, incluidos el informe Conversaciones, el reentrenamiento y las frases clave en la nube de palabras. Si se ha activado PII en la configuración de aptitudes, los logs y los informes de estadísticas contendrán anónimos.
Nota
La anonimización de PII activada para la aptitud o la configuración del asistente digital influye en cómo los valores de PII que se anonimizan en el archivo de exportación y también contribuyen a la consistencia de la anonimización en el archivo de exportación. - Haga clic en Exportar.
- Cuando la tarea se realice correctamente, haga clic en Completada para descargar un ZIP del CSV (o CSV para exportaciones grandes). El nombre del CSV de exportación de nivel de aptitud comienza con
B_
. Los nombres de archivo para exportaciones de nivel de asistente digital comienzan conD_
.

Descripción de la ilustración insights-export-dialog.png
Revisión de los logs de exportación
BOT_NAME
contiene el nombre de la aptitud o el nombre del asistente digital. Puede utilizar esta columna para ver cómo se enruta el diálogo del sistema digital a las aptitudes (y entre las aptitudes).CHANNEL_SESSION_ID
almacena el ID de sesión de canal. Puede utilizar ese ID, junto con la tercera columna,CHANNEL_ID
, para crear un tipo de identificador único para la sesión. Debido a que las sesiones pueden caducar o terminar, puede utilizar este identificador para averiguar si la sesión ha cambiado.TIMESTAMP
indica la cronología o secuencia en la que se han producido los eventos. Normalmente, ordenaría por esta columna.USER_UTTERANCE
yBOT_RESPONSE
contienen la conversación real entre la aptitud y su usuario. Estos dos campos hacen que la interferencia del usuario y los mensajes de aptitudes sean fácilmente visibles al ordenar porTIMESTAMP
.Puede haber expresiones duplicadas en la columna
USER_UTTERANCE
. Esto puede suceder cuando la prueba del usuario se ejecuta en la misma instancia, pero es más probable que se deba a que la expresión se utiliza en diferentes partes de la conversación.- Puede utilizar
COMPONENT_NAME
,CURR_STATE
yNEXT_STATE
para depurar el flujo de diálogo.
Filtrado de los datos exportados de estadísticas
TIMESTAMP
para ver la secuencia de eventos. Para otras perspectivas, como la conversación entre la aptitud y el usuario, por ejemplo, puede filtrar las columnas por los estados internos generados por el sistema. Las técnicas de filtrado comunes incluyen:
- Ordenar la aptitud y la conversación del asistente digital: cuando una exportación contiene tanto datos de un asistente digital como sus aptitudes registradas, el contenido del campo
BOT_NAME
puede parecer confuso, ya que la conversación parece saltar arbitrariamente entre las diferentes aptitudes y entre las aptitudes y el asistente digital. Para ver el diálogo en la secuencia correcta (y el contexto), la columnaTIMESTAMP
en orden ascendente. - Búsqueda de los límites de la conversación: utilice el campo
System.BeginSession
y uno de los estados de terminal para encontrar el inicio y el final de una conversación. Las conversaciones comienzan con un estadoSystem.BeginSession
. Pueden terminar con cualquiera de los siguientes estados de terminal:System.EndSession
System.ExpiredSession
System.MaxStatesExceededHandler
System.DefaultErrorHandler
- Revisión de la conversación real de aptitud del usuario: para aislar el contenido de las columnas
USER_UTTERANCE
yBOT_RESPONSE
, filtre la columnaCURR_STATE
por los estados generados por el sistemaSystem.MsgReceived
ySystem.MsgSent
NotaA veces, se pueden repetir partes del diálogo entre el usuario y la aptitud en las columnas
Una respuesta de mensaje no textual, como la de estados de entidades de resolución, la salida de la aptitud serán respuestas parciales unidas por un carácter de nueva línea.USER_UTTERANCE
yBOT_RESPONSE
. El texto del usuario se repite cuando hay una transición automática que no requiere que el usuario introduzca datos. Las respuestas de aptitudes se repiten si el siguiente estado es uno de los estados de terminal, comoSystem.EndSession
oSystem.DefaultErrorHandler
. - Revisar solo la ejecución del flujo de diálogo con el diálogo usuario-aptitud: para ver transacciones internas o mostrar solo los mensajes no textuales, debe filtrar los estados
System.MsgReceived
ySystem.MsgReceived
de la columnaCURR_STATE
(el enfoque opuesto para ver solo el diálogo). - Identificación de una sesión: compare los valores de
CHANNEL_SESSION_ID
ySESSION_ID
(que están juntos).
Campos del log de exportación
Nombre de Columna | Descripción | Valor de ejemplo |
---|---|---|
BOT_NAME |
Nombre de la aptitud | PizzaBot |
CHANNEL_SESSION_ID |
ID de un usuario para la sesión. Este valor identifica una nueva sesión. Un cambio en este valor indica que la sesión ha caducado o se ha restablecido para el canal. | 2e62fb24-8585-40c7-91a9-8adf0509acd6 |
SESSIONID |
Identificador de la sesión actual. Se trata de un GUID aleatorio que hace que este ID sea diferente de CHANNEL_SESSION_ID o USER_ID . Una sesión indica que una o varias rutas de ejecución de intención terminadas por una transición return explícita en la definición de estado o por una devolución implícita inyectada por el motor de diálogo.
|
00cbecbb-0c2e-4749-bfa9-c1b222182e12 |
TIMESTAMP |
Registro de hora "creado el". Utilizado para ordenación cronológica o secuenciación de eventos. | 14-SEP-20 01.05.10.409000 PM |
USER_ID |
ID de usuario | 2880806 |
DOMAIN_USERID |
Hace referencia al valor USER_ID .
|
2880806 |
PARENT_BOT_ID |
ID de la aptitud o del asistente digital. Cuando un asistente digital dispara una conversación, esto hace referencia al ID del asistente digital. | 9148117F-D9B8-4E99-9CA9-3C8BA56CE7D5 |
ENTITY_MATCHES |
Identifica los valores de elementos de bolsa compuesta que coinciden en la primera expresión que se resuelve en una intención. Si el primer mensaje de un usuario es "Ordenar una pizza grande", esta columna contendrá la coincidencia para el elemento PizzaSize dentro de la entidad de bolsa compuesta Pizza: No se realiza un seguimiento de ningún otro valor de elemento en mensajes de usuario posteriores, por lo que si el siguiente mensaje de un usuario incluye un valor PizzaType, no se incluirá en el archivo de exportación. Si un usuario introduce primero "Ordenar una pizza" y, después de resolver la intención, agrega un mensaje de seguimiento con un valor de entidad para el elemento PizzaSize ("hacer que sea grande"), se registra un valor nulo en la columna ENTITY_MATCHES , porque el mensaje inicial que se resolvió en la intención no contiene ningún valor de elemento.
Se devuelve un objeto vacío ( |
{"Pizza":[{"entityName":"Pizza","PizzaType":["CHEESE BASIC"],"PizzaSize":["Large"]}]} |
PHRASE |
Interpretación de ODA de la entrada del usuario | large thin pizza |
INTENT_LIST |
Clasificación de las intenciones del candidato, expresada como un objeto JSON. | [{"INTENT_NAME":"OrderPizza","INTENT_SCORE":0.4063},{"INTENT_NAME":"OrderPasta","INTENT_SCORE":0.1986}] Para las exportaciones de asistentes digitales, se trata de una clasificación de las aptitudes que se han llamado a través del asistente digital. Por ejemplo: |
BOT_RESPONSE |
Respuestas de la aptitud en respuesta a las expresiones de cualquier usuario. | How old are you? |
USER_UTTERANCE |
Entrada del usuario. | 18 |
INTENT |
Intención seleccionada por la aptitud para procesar la conversación. Muestra la intención superior de la lista de intenciones que se consideraron una posibilidad para la conversación. | OrderPizza |
LOCALE |
Configuración regional del usuario | en-US |
COMPONENT_NAME |
Componente (ya sea del sistema o personalizado), que se ejecuta con el estado actual. Puede utilizar este campo junto con CURR_STATE y NEXT STATE para depurar el cuadro de diálogo flow.There, que son otros valores de la columna COMPONENT_NAME que no son componentes:
|
AgeChecker |
CURR_STATE |
Estado actual de la conversación, que se utiliza para determinar el origen de la mensajería. Este campo contiene los nombres de los estados definidos en la definición del flujo de diálogo junto con los estados generados por el sistema. Puede filtrar el CSV por estos estados, que incluyen System.MsgRecieved para mensajes de usuario y System.MsgSent para mensajes enviados por la aptitud o los agentes para integraciones de servicio al cliente.
|
checkage
|
NEXT_STATE |
Siguiente estado en la ruta de acceso de ejecución. Las transiciones de estado en la definición del flujo de diálogo indican el siguiente estado en la ruta de ejecución. | crust |
Language |
Lenguaje utilizado durante la sesión. | fr |
SKILL_VERSION |
Versión de la aptitud | 1.2 |
INTENT_TYPE |
Si la intención es transaccional (TRANS ) o una intención de respuesta (STATIC )
|
STATIC |
CHANNEL_ID |
Identifica el canal en el que se ha realizado la conversación. Este campo, junto con CHANNEL_SESSION_ID , representa una sesión.
|
AF5D45A0EF4C02D4E053060013AC71BD |
ERROR_MESSAGE |
Mensaje de error devuelto. | Session expired due to inactivity .
|
INTENT_QUERY_TEXT |
Entrada que se envía al servidor de intención para su clasificación. El contenido de INTENT_QUERY_TEXT y USER_UTTERANCE es el mismo cuando los datos introducidos por el usuario están en uno de los idiomas nativos, pero es diferente cuando los datos introducidos por el usuario está en un idioma que no está soportado de forma nativa, por lo que lo maneja un servicio traducido. En este caso, INPUT_QUERY_TEXT está en inglés.
|
|
TRANSLATE_ENABLED |
Si se utiliza un servicio de traducción. | NO |
SKILL_SESSION_ID |
ID de sesión | 6e2ea3dc-10e2-401a-a621-85e123213d48 |
ASR_REQUEST_ID |
Campo clave único que identifica cada entrada de voz, es decir, el ID de solicitud de voz. La presencia de este valor indica que la entrada es una entrada de voz. | cb18bc1edd1cda16ac567f26ff0ce8f0 |
ASR_EE_DURATION |
Duración de una única expresión de voz dentro de una ventana de conversación. | 3376 |
ASR_LATENCY |
Latencia de voz, medida en milisegundos. Aunque el reconocimiento de voz exige un gran número de cálculos, el ancho de banda de la memoria y la capacidad de la batería son limitados. De esta forma se introduce la latencia desde el momento en que se recibe una entrada de voz hasta que se transcribe. Además, las implantaciones basadas en servidor también agregan latencia debido al tiempo completo. | 50 |
ASR_RTF |
Métrica estándar de rendimiento en el sistema de reconocimiento de voz. Si se tarda {P} en procesar una entrada de duración {I}, el factor de tiempo real se define como: RTF = \frac{P}{I}. Ratio del tiempo que se tarda en procesar la entrada de audio en relación con el tiempo de CPU. Por ejemplo, si se tarda un segundo de tiempo de CPU en procesar un segundo de audio, el RTF es 1 (1/1). El RTF de 500 milisegundos para procesar un segundo de audio es 0,5 o ½ . | 0.330567 |
CONVERSATION_ID |
ID de conversación | 906ed6bd-de6d-4f59-a2af-3b633d6c7c06 |
CUSTOM_METRICS |
Matriz de JSON que contiene un objeto para cada dimensión de métrica personalizada. name es un nombre de dimensión y value es el valor devuelto. Esta columna está disponible para las versiones 22.02 y posteriores.
|
|
Estados internos
Nombre de estado | Descripción |
---|---|
System.MsgReceived |
Evento recibido por mensaje que se dispara en las estadísticas cuando una aptitud recibe un mensaje de texto de un origen externo, como un usuario u otra aptitud. |
System.MsgSent |
Evento de mensaje enviado que se dispara en las estadísticas cuando una aptitud responde a un origen externo, como un usuario u otra aptitud.
Para cada evento |
System.BeginSession |
Se envía un evento System.BeginSession como marcador para iniciar la sesión cuando:
|
System.EndSession |
Un evento System.EndSession se captura como marcador para la terminación de sesión cuando el estado actual no ha generado ningún error no tratado y tiene una transición return , que indica que no habrá otro estado de diálogo para ejecutar. El evento System.EndSession también se puede registrar cuando el estado actual tiene:
|
System.ExpiredSession (Error type: "systemHandled") |
Timeout de sesión. El timeout por defecto es de una hora.
Cuando una conversación se detiene durante más de una hora, se dispara la caducidad de la sesión. La caducidad de la sesión se captura como dos eventos independientes en estadísticas. El primer evento es el estado inactivo, el estado del flujo de diálogo donde se detuvo la comunicación del usuario. El segundo es el evento interno |
System.DefaultErrorHandler |
El manejador de errores por defecto se ejecuta cuando no hay ningún manejo de errores definido en el flujo de diálogo, ya sea globalmente (como el nodo defaultTransitions en flujos basados en YAML) o en el nivel de estado con transiciones error . Cuando el flujo de diálogo incluye transiciones error , se dispara un evento System.EndSession .
|
System.ExpiredSessionHandler |
El evento System.ExpiredSessionHandler se emite si se envía un mensaje desde un sistema externo, o usuario, a la aptitud después de que la sesión haya caducado. Por ejemplo, este evento se dispara cuando un usuario deja de chatear con la aptitud a mitad de una conversación, pero luego envía un mensaje después de dejar la ventana de chat abierta durante más de una hora.
|
System.MaxStatesExceededHandler |
Este evento se inicia si se disparan más de 100 estados de cuadro de diálogo como parte de un único mensaje de usuario. |
Tutorial: Uso de estadísticas de Oracle Digital Assistant
Aplique informes de estadísticas (incluido el reentrenamiento) con este tutorial: Uso de estadísticas de Oracle Digital Assistant.