Parámetros de rendimiento de modelo para modelos personalizados en IA generativa
Al crear un modelo personalizado, OCI Generative AI ajusta un modelo previamente entrenado con el conjunto de datos. Una vez completado el ajuste, puede acceder a los parámetros de rendimiento del modelo en la página de detalles del modelo para determinar si el modelo ha mejorado para su caso de uso después del ajuste en el juego de datos. Los parámetros de rendimiento del modelo se calculan en el juego de datos de validación.
Parámetros de rendimiento de modelo para modelos de lenguaje grandes
Las siguientes métricas se aplican a modelos personalizados.
- Precisión
- Mide si los tokens generados coinciden con los tokens anotados. Por ejemplo, una precisión de 0,9 significa que el 90% de los tokens de salida coinciden con los tokens del juego de datos.
- Pérdida
- La precisión indica el número de predicciones incorrectas del modelo y la pérdida mide el grado de error de las salidas generadas por un modelo. Una pérdida de 0 significa que todas las salidas eran perfectas, mientras que un gran número indica salidas altamente aleatorias. La pérdida disminuye a medida que mejora un modelo.