Parámetros de rendimiento de modelos para modelos personalizados en IA generativa
Al crear un modelo personalizado, OCI Generative AI ajusta un modelo previamente entrenado con el juego de datos. Una vez completado el ajuste, puede acceder a los parámetros de rendimiento del modelo en la página de detalles del modelo para decidir si el modelo ha mejorado para el caso de uso después de ajustar el juego de datos. Los parámetros de rendimiento del modelo se calculan en el juego de datos de validación.
Parámetros de rendimiento de modelo para modelos de lenguaje grandes
Las siguientes métricas se aplican a modelos personalizados.
- Precisión
- Mide si los tokens generados coinciden con los tokens anotados. Por ejemplo, una precisión de 0,9 significa que el al 90% de los token de salida coinciden con los tokens del juego de datos.
- Pérdida
- La precisión indica cuántas predicciones erróneas ha sido el modelo, y que la pérdida mide cuán incorrectas han sido las salidas generadas por un modelo. Una pérdida de 0 significa que todas las salidas eran perfectas, mientras que un gran número indica salidas altamente aleatorias. La pérdida disminuye a medida que mejora un modelo.