Parâmetros de Desempenho de Modelo para Modelos Personalizados na IA Generativa
Quando você cria um modelo personalizado, a OCI Generative AI ajusta um modelo não treinado com o conjunto de dados. Após a conclusão do ajuste fino, você poderá acessar os parâmetros de desempenho do modelo na página de detalhes do modelo para decidir se o modelo melhorou para o caso de uso após o ajuste fino no conjunto de dados. Os parâmetros de desempenho do modelo são calculados no conjunto de dados de validação.
Parâmetros de Desempenho do Modelo para Grandes Modelos de Linguagem
As métricas a seguir se aplicam a modelos personalizados.
- Precisão
- Mede se os tokens gerados correspondem aos tokens anotados. Por exemplo, uma precisão de 0,9 significa que 90% dos tokens da saída correspondem aos tokens no conjunto de dados.
- Perda
- A precisão informa quantas previsões o modelo teve de errado e as perdas medem o quanto as saídas geradas de um modelo estão erradas. Uma perda de 0 significa que todas as saídas foram perfeitas, enquanto um grande número indica saídas altamente aleatórias. A perda diminui à medida que um modelo melhora.