Prueba de modelo
Estas son algunas de las mejores prácticas para probar su modelo para la comprensión del lenguaje natural.
Tendrá que probar la comprensión del modelo para cada aptitud y, a continuación, para el asistente digital en su conjunto. Un modelo bien entrenado en una aptitud que entienda cómo asignar correctamente mensajes en el dominio a una intención y que no responda a mensajes que no sean del dominio es un pilar importante de un asistente digital bien entrenado.
Oracle Digital Assistant proporciona un comprobador de expresiones en sus aptitudes que le permiten realizar pruebas manuales y por lotes sobre el grado de resolución de intenciones por parte del modelo a partir de mensajes de usuario. Para las pruebas por lotes, es donde utiliza el 20% de las expresiones que ha definido para una intención, pero que ha retenido para las pruebas.
En general, debe probar los modelos con frecuencia y de forma temprana, pero no antes de tener suficientes expresiones buenas para las intenciones de la aptitud. El objetivo de las pruebas es que el modelo obtenga un alto nivel de confianza en la resolución de intenciones.
Crear una línea base
Una vez finalizado el desarrollo, debe ejecutar pruebas y utilizar los resultados para establecer una línea base del nivel de comprensión del modelo. Puede utilizar esa base como punto de comparación al actualizar el modelo de entrenamiento con expresiones adicionales y mejoradas y al probar posteriormente la aptitud en versiones actualizadas de la plataforma Digital Assistant. Para estas y futuras pruebas, necesita un modelo entrenado con un número suficiente de expresiones de calidad.
Realizar pruebas positivas y negativas
Debe tener pruebas positivas y negativas:
-
En las pruebas positivas, desea que las expresiones se resuelvan en la intención que ha designado. Cuantas más pruebas se realicen, mejor se entrenará el modelo.
-
Para las pruebas negativas, desea que las expresiones no se resuelvan. Las pruebas negativas te ayudan a ajustar los límites de la comprensión de una intención.
Por ejemplo, para una prueba positiva, supongamos que en una aptitud de informe de gastos está probando la intención "crear gasto". Todas las expresiones de una prueba positiva contienen mensajes que se deben resolver en esta intención. Por lo tanto, cuantas más pruebas se realicen, mejor se entrenará el modelo.
Las pruebas negativas incluyen los siguientes tipos de pruebas:
-
Pruebas de vecinos: pruebe una intención con las expresiones que ha creado para probar las otras intenciones de una aptitud.
-
Pruebas fuera de dominio: con estas pruebas, prueba expresiones que semánticamente no pertenecen a la intención pero utilizan palabras similares. Por ejemplo, un informe de gastos debe entender "Compré un calendario familiar para el trabajo" como un usuario que solicita presentar un nuevo gasto, pero no debe responder a "crear una nueva entrada en mi calendario familiar".
-
Prueba de frases aleatorias: probar los mensajes aleatorios no se debe resolver en la intención que pruebe. Por ejemplo, "el cortador de galletas corta galletas" o "Estoy en una escalera al cielo" no debe conducir a una coincidencia para la intención de "crear gasto".
Lista de comprobación para prueba de modelo
- ☑ Realice las pruebas con antelación y con frecuencia.
- ☑ No pruebe un modelo poco entrenado.
- ☑ Utilice pruebas positivas y negativas.
- ☑ Las expresiones utilizadas para las pruebas deben ser de la misma calidad que las expresiones de entrenamiento, pero no deben ser las mismas expresiones utilizadas para el entrenamiento.
- ☑ Trate de obtener resultados muy por encima del umbral de confianza al probar expresiones. (Sin embargo, una tasa de confianza del 100 % no es un objetivo).
- ☑ Antes de poner la aptitud en producción, tenga en cuenta los resultados de las pruebas como base para las pruebas futuras que ejecute.