Importando Modelos Ajustados

Comece com um modelo listado em Modelos Compatíveis para Importação. Revise sua página de família de modelos para ver os requisitos e o hardware de hospedagem compatível. Mantenha uma cópia da configuração do modelo base e registre o ID do modelo, a revisão do repositório e as versões da biblioteca de treinamento e exportação.

• Manter uma arquitetura compatível com o modelo base suportado. As atualizações padrão do LoRA, quando mescladas nas matrizes de peso originais, preservam suas dimensões. Outras alterações, como adicionar camadas ou redimensionar o vocabulário, exigem verificações de compatibilidade separadas.
• Atenda ao requisito de versão dos Transformadores do modelo base. Consulte Noções Básicas sobre Metadados de Configuração.
• Manter a contagem total de parâmetros dentro de ±10% do modelo base original, conforme especificado na orientação modelo-família. Esta é a contagem total de parâmetros do modelo, não apenas o número de parâmetros LoRA treináveis.
• Para o ajuste fino de LoRA, mescle um adaptador no modelo base antes da implantação. Cada modelo ajustado importado pode conter os pesos mesclados de apenas um adaptador LoRA.

Um modelo carregado com sucesso em seu ambiente de treinamento ainda precisa passar na validação de importação. Revise os arquivos exportados finais, incluindo sua configuração, tipo de dados de peso e tokenizador.

Hugging Face Transformers é a biblioteca usada para carregar e salvar muitos modelos de Hugging Face. O campo transformers_version no config.json registra a versão da biblioteca usada ao serializar a configuração. Salvar com outra versão da biblioteca pode alterar esse campo mesmo quando a arquitetura do modelo não é alterada.

As páginas model-family requerem o modelo ajustado para usar a mesma versão do Transformers que o modelo base suportado. Compare as versões gravadas antes da importação. Se eles forem diferentes, verifique o ambiente de exportação e confirme a compatibilidade com o Suporte Técnico da Oracle antes de confiar em uma exportação de uma versão diferente.

Um ponto de verificação do adaptador LoRA contém os parâmetros do adaptador e depende do modelo base. Arquivos como adapter_model.safetensors e adapter_config.json por si só não são um modelo completo para este workflow de importação.

1. Carregue a mesma revisão do modelo base usada para treinamento e o adaptador pretendido.
2. Mescle o adaptador no modelo base. Com o Hugging Face PEFT, use merge_and_unload() para uma configuração LoRA suportada. Consulte Mesclar os pesos.
3. Verifique o tipo de dados do modelo mesclado antes de salvar. Use a precisão validada do modelo base como ponto de partida. O treinamento ou a mesclagem podem produzir pesos em um tipo de dados diferente.
4. Salve o modelo completo e seu tokenizador em um novo diretório de exportação. Guarde o modelo base original e o adaptador para que você possa repetir a exportação.
5. Inspecione a configuração salva e os tipos de dados do tensor e recarregue os prompts do representante de exportação e execução. Verifique os metadados do tensor salvos antes de qualquer conversão de tempo de carregamento que possa ocultar o tipo de dados armazenado original.

Por exemplo, a Configuração base de Qwen/Qwen3-1.7B declara torch_dtype como bfloat16 (BF16). Se a exportação mesclada contiver pesos float32 (FP32), converta os tensores de ponto flutuante reais em BF16 e salve uma nova exportação para esse modelo base. Alterar apenas torch_dtype deixa os pesos armazenados inalterados.

BF16 neste exemplo é específico para o modelo Qwen selecionado. Verifique o modelo base e seus requisitos antes de escolher a precisão para outro modelo. Um ponto de verificação de treinamento quantizado também precisa de um procedimento de exportação apropriado; nem todas as configurações de PEFT ou quantização suportam a fusão.

Pacote uma exportação completa no formato Hugging Face. O diretório selecionado durante a importação deve conter config.json e os arquivos necessários para carregar o modelo. Dependendo do modelo, estes incluem:

• Pesos completos do modelo, como model.safetensors, ou todos os shards de peso e seus índices, como model.safetensors.index.json.
• Arquivos do tokenizer, configuração do tokenizer, definições de token especial e o modelo de chat usado para o modelo, quando aplicável.
• Configuração de geração e todos os arquivos de processador exigidos pelo modelo.

Certifique-se de que todos os shards referenciados por um índice estejam presentes. Use o tokenizador e o modelo de chat que correspondem ao modelo exportado. Para obter modelos de chat, consulte a orientação sobre o modelo de chat Hugging Face.

Para uma importação do serviço Object Storage, faça upload da exportação completa para seu próprio diretório de artefato de modelo. Para uma importação Hugging Face, disponibilize a exportação completa no repositório de modelos. Mantenha diferentes exportações em diretórios separados para que os arquivos de configuração e peso de diferentes execuções não sejam misturados.

1. Revise os pré-requisitos de origem em Gerenciando Modelos Importados e as permissões de modelo importadas necessárias.
2. Importe a exportação preparada de um bucket do Object Storage ou do Hugging Face.
3. Verifique o status do modelo importado e resolva qualquer falha de importação antes de implantá-lo.
4. Crie um cluster dedicado de IA de hospedagem para o modelo importado. Selecione uma forma de unidade de hardware compatível disponível na região de destino. Consulte Formas de Unidade de Hardware por Região.
5. Crie um ponto final e teste o modelo com solicitações representativas antes de usá-lo na produção.

Registre os resultados da revisão e avaliação da exportação junto com o OCID do modelo importado. Use um nome descritivo e uma versão para distinguir as exportações ajustadas.

Se a criação do modelo falhar com a seguinte mensagem, revise a exportação completa:

The imported model architecture is not yet validated for serving.

A mensagem não identifica qual diferença de configuração ou artefato precisa de atenção. Um valor architectures inalterado sozinho não estabelece que a exportação atenda a todos os requisitos de importação.

1. Confirme se o modelo base original está listado como compatível e se o diretório de artefato selecionado contém a exportação pretendida.
2. Compare os arquivos config.json originais e exportados usando as verificações em Entender Metadados de Configuração. Identifique as diferenças introduzidas durante a gravação ou mesclagem.
3. Inspecionar tipos de dados de tensor armazenados reais. Para um modelo base BF16, verifique se a exportação não intencionalmente contém pesos FP32.
4. Confirme se a exportação inclui os pesos de modelo base mesclados, todos os shards referenciados e o tokenizador correspondente. Recarregue e teste a exportação completa localmente.
5. Após corrigir a exportação, faça upload dela para um diretório de artefato separado e envie uma nova importação. Se a validação ainda falhar, entre em contato com o Suporte Técnico da Oracle.

Inclua o erro exato, o ID da solicitação do OPC, o horário e o fuso horário da falha, a região, o OCID do modelo importado, se disponível, o ID e a revisão do modelo base, as diferenças de configuração, os tipos de dados do tensor observado e as versões de treinamento, mesclagem e exportação da biblioteca. Essas informações ajudam a distinguir um problema de artefato de um problema de validação de serviço.

Para ajuste fino externo, siga o formato do conjunto de dados e os requisitos de treinamento de seu modelo e ferramentas selecionados. Os requisitos do conjunto de dados para criar um modelo personalizado no serviço Generative AI descrevem esse fluxo de trabalho separado.

• Use exemplos precisos e representativos para os formatos de tarefa, idiomas e resposta que o modelo deve tratar. Revise os rótulos e remova exemplos duplicados ou conflitantes.
• Mantenha os dados de treinamento, validação e teste separados. Mantenha exemplos relacionados juntos ao dividir dados para reduzir o vazamento de informações.
• Compare o modelo base e o modelo ajustado com os mesmos exemplos suspensos. Meça a qualidade da tarefa e verifique se há regressões nas respostas gerais.
• Repita as verificações do representante após a mesclagem, a conversão do tipo de dados e a implantação do ponto final. Uma importação bem-sucedida confirma que a importação foi concluída; avalie as respostas do modelo para o caso de uso pretendido.

Se você quiser treinar na OCI, revise o Ajuste com Ações Rápidas de IA do OCI Data Science para ver seus modelos e pré-requisitos suportados. Um modelo treinado em outro serviço ainda deve atender aos requisitos de importação do serviço Generative AI.