Parametri delle performance modello per modelli customizzati in AI generativa
Quando crei un modello personalizzato, OCI Generative AI ottimizza un modello pre-addestrato con il data set. Una volta completata l'ottimizzazione, è possibile accedere ai parametri delle prestazioni del modello nella pagina dei dettagli del modello per decidere se il modello è stato migliorato per il caso d'uso dopo l'ottimizzazione del data set. I parametri delle prestazioni del modello vengono calcolati nel data set di convalida.
Parametri prestazioni modello per modelli linguistici di grandi dimensioni
Le metriche riportate di seguito si applicano ai modelli personalizzati.
- Accuratezza
- Misura se i token generati corrispondono ai token annotati. Ad esempio, un'accuratezza di 0,9 significa che il 90% dei token d'output corrisponde ai token nel data set.
- Perdita
- L'accuratezza indica quante previsioni errate hanno generato il modello, mentre la perdita misura quanti output generati da un modello sono errati. La perdita dovrebbe diminuire man mano che un modello. Una perdita di 0 significa che tutte le uscite erano perfette, mentre un numero elevato indica uscite altamente casuali. La perdita diminuisce man mano che un modello migliora.