Flujo de Trabajo para Modelos Personalizados

La creación de un modelo personalizado suele implicar cinco pasos.

Nota

Después de evaluar el modelo en el paso 3, repita los pasos 1 a 3 hasta que tenga métricas satisfactorias y, a continuación, despliegue el modelo.

Preparación de un juego de datos de formación

Para entrenar un modelo personalizado, proporcione datos con etiqueta. Consulte Acerca de Data Labeling.

Por ejemplo, para crear un modelo de clasificación de texto, debe proporcionar al modelo muchos ejemplos de registros de texto y etiquetarlos con la clase a la que pertenecen. El modelo aprende las características de los registros etiquetados. A continuación, el modelo entrenado puede inferir la clase para nuevos registros.

Los datos de formación deben estar etiquetados. Por ejemplo, para crear un modelo de clasificación de texto, proporcione al modelo ejemplos representativos de registros de texto con una etiqueta para cada registro. Estos ejemplos permiten al modelo aprender y predecir ejemplos que no son vistos por un modelo. Para etiquetar datos, recomendamos que utilice la CLI de OCI para el servicio Data Labeling.

Recomendaciones de juegos de datos para modelos personalizados

Siga las directrices de la siguiente tabla para preparar conjuntos de datos de formación. Si le faltan conjuntos de datos para la validación y la prueba, se utiliza un 60% aleatorio de elementos para el entrenamiento, un 20% para la validación y un 20% para la prueba.

Si no proporciona un juego de datos de validación o prueba, el servicio selecciona un 20 % aleatorio de las muestras.


	Conjunto de formación	Conjunto de validaciones	Juego de Pruebas
Reconocimiento de nombre de entidad personalizado	Mínimo: 10 instancias por entidad. Recomendado: 50 instancias por entidad.	Mínimo: 5 instancias por entidad o el 20 % de las instancias de formación, la que sea mayor. Recomendado: 20 instancias por entidad.	Mínimo: 5 instancias por entidad o el 20 % de las instancias de formación, la que sea mayor. Recomendado: 20 instancias por entidad.
Clasificación de texto personalizado	Mínimo: 10 documentos por clase. Recomendado: 100 documentos por clase.	Recomendado: 20 documentos por clase.	Recomendado: 20 documentos por clase.

Consejo

Etiquete los ejemplos de entrenamiento correctamente. La calidad del modelo depende de la calidad de los datos. Al entrenar un modelo, si un tipo de clase o entidad no funciona como se esperaba, agregue más ejemplos para esa clase o entidad. Asegúrese también de que se anota la entidad en cada incidencia del juego de entrenamiento. Los datos de entrenamiento de baja calidad dan como resultado métricas de entrenamiento deficientes y producen resultados inexactos.
Tener suficientes muestras de entrenamiento para los modelos. Siempre es mejor disponer de más datos para mejorar el rendimiento del modelo. Recomendamos entrenar el modelo con un pequeño juego de datos, revisar las métricas de entrenamiento del modelo y agregar más ejemplos de entrenamiento según sea necesario.

Entrenamiento de un modelo

El entrenamiento es el proceso en el que el modelo aprende de los datos etiquetados. La duración y los resultados de la formación dependen del tamaño del juego de datos, el tamaño de cada registro y el número de trabajos de formación activos.

Evaluación del modelo

Después de entrenar un modelo, puede obtener métricas de evaluación que describan la calidad del modelo o la probabilidad de que el modelo prediga correctamente. El servicio aplica el modelo al juego de pruebas y compara las etiquetas previstas con las etiquetas esperadas. Las métricas se basan en la precisión con la que el modelo predice el juego de pruebas.

Con la consola, obtendrá un juego de métricas de evaluación en el nivel de modelo y en el nivel de clase (o en el nivel de entidad para los modelos NER) que se muestran en la siguiente sección.

Con la consola, obtiene los siguientes tipos de métricas de evaluación:

Métricas de nivel de clase
Métricas de nivel de modelo
Métricas de nivel de entidad para modelos NER
Matriz de Confusión

Con la API, puede obtener un conjunto más completo de métricas que incluye recuperación de precisión de micro, macro y promedio ponderado, y puntuaciones F-1.

Métricas de clase

Las métricas de clase son métricas de nivel de entidad.

Precisión

La relación entre los verdaderos positivos (los ejemplos predichos correctamente) y todos los ejemplos de la clase particular.

Describe cuántos de los ejemplos previstos se predicen correctamente. El valor está entre 0 y 1. Se prefieren valores superiores.

Volver a Llamar

La relación entre los verdaderos positivos (los ejemplos predichos correctamente) y todos los ejemplos predichos.

Describe cuántos ejemplos correctos se predicen. El valor está entre 0 y 1. Se prefieren valores superiores.

F1-Puntuación

La puntuación F1 es la media armónica de precisión y recuperación, lo que le proporciona un único valor para evaluar el modelo. El valor está entre 0 y 1. Se prefieren valores superiores.

Métricas de modelo

Las métricas de modelo son métricas de nivel de modelo para modelos de varias clases. Las métricas de nivel de modelo describen la calidad general de un modelo. Los valores de precisión, recuerdo y F-1 se presentan a nivel macro, micro y promedio ponderado.

Medias macro

Una media de macro es la media de los valores de métrica de todas las clases.

Por ejemplo, la macro-precisión se calcula como la suma de todos los valores de precisión de clase dividida por el número de clases.

Micromedias

Una micromedia agrega las contribuciones de todos los ejemplos para calcular la métrica media.

Por ejemplo, un micro recordatorio se calcula como (suma de ejemplos correctos predichos) / (suma de ejemplos correctos predichos + suma de ejemplos correctos no predichos).

Medias Ponderadas

Calculado considerando el número de instancias de cada clase.

Por ejemplo, una puntuación ponderada de F1 se calcula como la suma de (puntuación de clase F1 * proporción de soporte de la clase).

Precisión

Fracción de todos los ejemplos correctamente predichos y no predichos. La fracción se calcula como la relación entre las clases correctamente predichas y no predichas (verdadero positivo + verdadero negativo) y todos los ejemplos

Matriz de Confusión: Tabla para visualizar los resultados verdaderos y de predicción de cada clase.

Despliegue del modelo

Una vez que las métricas del modelo cumplan las expectativas, puede poner el modelo en producción y utilizarlo para analizar el texto. Para poner el modelo en producción, cree un punto final. Un punto final asigna recursos informáticos dedicados para inferir (realizar análisis de texto) en modelos personalizados.

Los puntos finales del modelo personalizado son privados y debe especificar un compartimento para desplegar el punto final. Puede crear más de un punto final para un modelo. Puede crear o suprimir puntos finales sin suprimir un modelo.

Análisis de texto

Después de crear un punto final de modelo, puede desplegar el modelo y analizar el texto mediante un modelo personalizado. Puede desplegar un modelo en un punto final de las siguientes formas: