Avaliações

Avaliando o desempenho do modelo com o AI Quick Actions

Com modelos implantados, você pode criar uma avaliação de modelo para avaliar seu desempenho. Você pode selecionar um conjunto de dados no Object Storage ou fazer upload de um no armazenamento do notebook no qual está trabalhando. Para fazer upload de conjuntos de dados do seu notebook, primeiro configure políticas que permitam que a sessão de notebook grave arquivos no Object Storage. Você pode rotular sua avaliação de modelo com um nome de experimento. Você pode selecionar um experimento existente ou criar um novo. BERTScore, BLEU Score, Perplexity Score, Text Readability e ROUGE são as métricas de avaliação disponíveis para medir o desempenho do modelo. Você pode salvar o resultado da avaliação do modelo no Object Storage. Você pode definir os parâmetros de avaliação do modelo. Em opções avançadas, você pode selecionar a forma da instância de computação para a avaliação e, opcionalmente, inserir a sequência Interromper. Além disso, você pode configurar o registro em log com sua avaliação de modelo para monitorá-lo. O registro em log é opcional, mas recomendamos que ele ajude a solucionar erros com avaliação. Você precisa ter a política necessária para ativar o registro em log. Para obter mais informações sobre log, consulte a seção Logs. Você pode revisar as configurações e os parâmetros da sua avaliação antes de criá-la.

Se você voltar para a guia Avaliação, verá que o estado do ciclo de vida da avaliação é Succeeded quando a avaliação do modelo for concluída. Você pode exibir o resultado da avaliação e fazer download de uma cópia do relatório de avaliação do modelo para sua máquina local.