Ajuste

O ajuste fino é o processo de tomar um modelo pré-treinado e treiná-lo em um conjunto de dados específico do domínio para melhorar seu conhecimento e fornecer melhores respostas nesse domínio.

Ao ajustar um modelo em ações rápidas de IA, você está criando um job do serviço Data Science para fazer isso. Você precisa ter a política necessária para usar o Data Science Jobs para criar um job de ajuste fino a fim de ajustar um modelo básico em ações rápidas de IA. Ao criar um job de ajuste fino, você pode selecionar um conjunto de dados para treinar o modelo base. Os modelos básicos com a tag Ready to Fine Tune no explorador de Modelos podem ser ajustados. Você pode selecionar um conjunto de dados no Object Storage ou fazer upload de um conjunto de dados no armazenamento do notebook no qual está trabalhando. Quando você faz upload de conjuntos de dados de um notebook, eles são salvos no bucket do Object Storage no qual o modelo ajustado é salvo. Portanto, você precisa da política para permitir que a sessão de notebook grave arquivos no Object Storage. O conjunto de dados deve estar no formato JSONL e deve incluir as colunas 'prompt' e 'completion' necessárias. Opcionalmente, você pode incluir uma coluna de 'categoria'. Se já existir um arquivo de conjunto de dados com o mesmo nome no bucket, ele será substituído pelo novo arquivo. O conjunto de dados deve conter no mínimo 100 registros para ajuste fino.

Você tem a opção de definir qual porcentagem do conjunto de dados é para validação do modelo. O conjunto de versões do modelo é uma maneira de agrupar um conjunto de modelos relacionados entre si. Você pode selecionar um conjunto de versões de modelo existente para colocar o modelo ajustado ou criar um novo. Você pode salvar o modelo ajustado em um bucket do Object Storage que deve ter o controle de versão ativado.

Depois de inserir as Informações do Modelo, o Conjunto de Dados, o Conjunto de Versões do Modelo e onde salvar o modelo ajustado, você poderá escolher a infraestrutura de computação e a rede para o job de ajuste fino. Opcionalmente, você pode configurar o registro em log para monitorar o job de ajuste fino. Recomendamos o registro em log para solucionar quaisquer erros no job. Você precisa da política necessária para configurar o registro em log. Treinamento e treinamento de nó único com várias placas de GPU são suportados. Você pode especificar os parâmetros para ajustar o modelo, as épocas e a taxa de aprendizagem.

Você pode revisar as configurações e os parâmetros definidos para o job de ajuste fino antes de o job ser criado.