Parâmetros de Desempenho do Modelo para Modelos Personalizados no Serviço Generative AI
Quando você cria um modelo personalizado, a OCI Generative AI ajusta um modelo pré-treinado com o conjunto de dados. Após a conclusão do ajuste fino, você pode acessar os parâmetros de desempenho do modelo na página de detalhes do modelo para determinar se o modelo melhorou para seu caso de uso após o ajuste fino no conjunto de dados. Os parâmetros de desempenho do modelo são calculados no conjunto de dados de validação.
Parâmetros de Desempenho do Modelo para Modelos de Linguagem Grande
As métricas a seguir se aplicam a modelos personalizados.
- Precisão
- Mede se os tokens gerados correspondem aos tokens anotados. Por exemplo, uma precisão de 0,9 significa que 90% dos tokens de saída corresponderam aos tokens no conjunto de dados.
- Perda
- A precisão informa quantas previsões o modelo errou e a perda mede o quão errado estão as saídas geradas de um modelo. Uma perda de 0 significa que todas as saídas foram perfeitas, enquanto um grande número indica saídas altamente aleatórias. A perda diminui à medida que um modelo melhora.