Informes de calidad de aptitud

Los informes de calidad de aptitudes le permiten hacer un balance rápido de las intenciones y expresiones en todas las versiones de la aptitud.

Puede utilizar los siguientes informes (a los que se accede haciendo clic en Imagen del icono Calidad. en la barra de navegación izquierda) durante todo el proceso de desarrollo de aptitudes:
  • Informe de visión general: las métricas y los gráficos de este informe le permiten evaluar rápidamente el tamaño y la forma de los datos de entrenamiento desglosando cada una de las intenciones de la aptitud por el número de expresiones que tienen. Puede utilizar este informe a medida que el juego de datos crece a lo largo del proceso de desarrollo para asegurarse de que el número de intenciones, el número de expresiones por intención y el recuento de palabras para cada expresión cumplan siempre con las nuestras directrices.
  • El informe: desglosa las intenciones por anomalías, expresiones que pueden ser inapropiadas para su intención porque están fuera de ámbito o mal etiquetadas, o son potencialmente aplicables pero difíciles de clasificar porque no son normales.

Informe de visión general de calidad de aptitudes

Las métricas y los gráficos del informe de calidad de aptitudes le permiten realizar rápidamente un balance o los datos de entrenamiento desglosando cada una de las intenciones de la aptitud el número de expresiones que tienen. Este informe le ayuda a mantener una distribución equilibrada de expresiones entre intenciones. Puede utilizarlo durante todo el proceso de desarrollo para asegurarse de que el corpus cumple las directrices para el número de intenciones, el número de expresiones por intención y el recuento de palabras para cada expresión. Este informe puede indicarle de un vistazo si:
  • La aptitud tiene el mínimo de dos intenciones, pero no ha excedido el número recomendado de 300 intenciones.
  • Su formación no excede las 25 000 expresiones.
  • Cada intención tiene un mínimo de dos expresiones (con el mínimo recomendado de 12 expresiones para proporcionar un entrenamiento predecible).
  • La longitud media de las expresiones es de entre tres y 30 palabras.
Nota

Este informe realiza un seguimiento de las intenciones que se han activado.

Cómo utilizar el informe de visión general

El informe Visión General proporciona vistas de los datos de formación.
  • Vista de alto nivel de los datos de entrenamiento a través de su gráfico de barras de intenciones por expresiones y métricas, que incluye el número total de intenciones y expresiones en todas las versiones de la aptitud. Con el gráfico de barras y las métricas, puede averiguar lo que significan estos totales en términos de cuán equilibrado o desequilibrado se ha vuelto su conjunto de entrenamiento. Por ejemplo, el gráfico del informe, junto con la disparidad entre los totales de la intención más grande y la intención más pequeña, puede indicar un juego de entrenamiento desviado, en el que debe agregar datos para cerrar la brecha entre la intención más grande y la más pequeña.

    Métrica Descripción y Uso
    Intenciones Número total de intenciones en todas las versiones de la aptitud. Utilice esta métrica para averiguar si esta aptitud ha excedido el máximo recomendado de 300 intenciones.
    Expresiones Número total de expresiones en todas las intenciones. Utilice esta métrica para averiguar el tamaño real del juego de entrenamiento.
    Mayor intención La intención con más expresiones. Compare este total con la métrica Media de expresiones por intención.
    Intención más pequeña La intención con el menor número de expresiones. Puede que tenga que agregar expresiones si este total está muy por debajo de Expresiones medias por intención.
    Promedio de expresiones por intención Número medio de expresiones en todas las intenciones. Utilice esta métrica para averiguar si está proporcionando suficientes datos al juego de entrenamiento.
    Longitud media Longitud de expresión en todo el juego de entrenamiento. Compare esta métrica con la métrica Longitud media de expresión para que una intención averigüe si el recuento de palabras de sus expresiones afecta negativamente al modelo porque es demasiado alto o demasiado bajo.
    Longitud mínima La expresión más corta del juego de entrenamiento. Utilice esta métrica para averiguar si alguna de las expresiones del juego de entrenamiento tiene pocas palabras (menos de tres), lo que podría afectar negativamente al rendimiento del modelo.
    Longitud máxima La expresión más larga del juego de entrenamiento. Utilice esta métrica para buscar expresiones largas (30 palabras o más) que puedan afectar negativamente al rendimiento del modelo.
    Intención de respuesta Número de intenciones de respuesta en el juego de formación. Utilice esta métrica para comparar el número de intenciones de respuesta con intenciones normales (o transaccionales).
    Nota

    Las métricas de longitud mínima, longitud máxima y longitud media y las advertencias relacionadas son para aptitudes de idioma nativo, no para aptitudes que utilizan servicios de traducción.
    El informe marca las áreas problemáticas con advertencias. Al pasar el cursor sobre una advertencia, se abre un mensaje de diagnóstico que coloca la expresión o intención problemática en el contexto de nuestras directrices de intención y expresión y sugiere acciones correctivas.
    Esta es la imagen de un mensaje de advertencia.

    Consejo:

    Los mensajes de advertencia a los que se accede desde las métricas proporcionan un enlace a la página Intención.
    Estos mensajes también se muestran en el panel Intenciones.

  • Desglose del conjunto de entrenamiento por intención. El informe incluye una tabla que muestra las intenciones por idioma (para aptitudes multilingües), el recuento de expresiones y la longitud media, mínima y máxima de palabras. Para ver los últimos tres totales en el contexto del juego de entrenamiento general, compárelos con las métricas Longitud media, Longitud mínima y Longitud máxima.

    Al igual que con las métricas de alto nivel, el informe marca las intenciones problemáticas con mensajes de advertencia. Una advertencia Esta es la imagen del icono Advertencia. en las incidencias indica que la intención es deficiente en algún aspecto de la longitud de la expresión. Al hacer clic en la advertencia correspondiente Esta es la imagen del icono Advertencia. en las columnas Average Utterance Length, Max Utterance Length in Words o Min Utterance Length in Words, se abre un mensaje de diagnóstico. Puede aplicar la acción correctiva sugerida por el mensaje directamente a la intención haciendo clic en el enlace de la columna Intención.
    A continuación se describe la intención-problemas-table.png
    Descripción de la ilustración int-issues-table.png

Informe de anomalías de calidad de aptitudes

Al igual que el informe Overview, este informe desglosa las intenciones por expresiones. Las expresiones contadas en este informe, sin embargo, son anomalías, expresiones que pueden ser inapropiadas para su intención porque están fuera del ámbito o mal etiquetadas, o son potencialmente aplicables pero únicas. Las anomalías pueden hacer que los límites entre las intenciones se vuelvan borrosos, especialmente si ha ampliado la aptitud para abarcar nuevos dominios o si ha particionado una intención grande en intenciones más pequeñas.

Cómo usar el informe de anomalías

Este informe no solo clasifica las intenciones por anomalías, sino que también clasifica las propias anomalías por su diferencia con respecto a otras expresiones del juego de entrenamiento.
Descripción de anomalías-intent-breakdown.png
Descripción de la ilustración anomalies-intent-breakdown.png

Puede ordenar las anomalías de esta lista por gravedad y por intención. Puede filtrar las anomalías por intención, por palabras o frases en expresiones, y para una aptitud multilingüe, por idioma.

Para averiguar a dónde (o si) pertenece una expresión en el juego de formación, haga clic en Ver similar en la lista para verla en el informe de expresiones similares.
A continuación, se incluye la Descripción de anomalies-list.png
Descripción de la ilustración anomalies-list.png

Al igual que el informe de expresiones similares utilizado en el probador de expresiones, este informe clasifica las otras expresiones del juego de entrenamiento en relación con la expresión seleccionada. En este caso, sin embargo, la expresión no es una frase de prueba, sino una expresión anómala que ya está en el juego de entrenamiento.
A continuación, se incluye la Descripción de Similar-utterance-report-anomalies.png
Descripción de la ilustración similar-utterance-report-anomalies.png

En función de la relación de la anomalía con las otras expresiones del informe, puede que descubra que la expresión simplemente está mal clasificada o no es pertinente para la aptitud en absoluto. Sin embargo, otras anomalías solo pueden ser anómalas para las otras expresiones en el sentido de que son solicitudes implícitas, ya que hacen las mismas preguntas que los otros datos de entrenamiento, pero de una manera diferente. Por ejemplo, "No puedo iniciar sesión en mi cuenta" podría evaluarse como una anomalía para una intención de transferencia de agente cuyas expresiones de entrenamiento se agrupan en torno a solicitudes más sencillas como "Necesito hablar con un agente en directo". Al agregar expresiones similares se agregará profundidad al modelo.

En general, su enfoque para utilizar este informe es:
  1. Ejecutar el informe.
  2. Seleccione una expresión y haga clic en Ver similar.
  3. En el cuadro de diálogo Ver similares, evalúe la expresión para la intención.
    • Si la expresión pertenece a la intención, agregue expresiones similares.
    • Si la expresión está mal clasificada, asígnela a otra intención.
    • Si la expresión no pertenece al juego de entrenamiento, suprímala.
  4. Vuelva a entrenar la aptitud.