Gerenciando Modelos Importados

Antes de importar um modelo diretamente do Hugging Face:

• Decida qual modelo validado do Hugging Face importar e anote seu tamanho de unidade de cluster de IA dedicado recomendado.
• Para acessar e usar alguns modelos, você precisa de um token do Hugging Face, especialmente as versões mais recentes e fechadas, como Llama 3 e Llama 3.1 Para esses modelos, gere um token de acesso nas configurações da sua conta do Hugging Face em Tokens de Acesso. Certifique-se de que ele tenha as permissões necessárias (pelo menos acesso "read").

Antes de importar um modelo de um bucket do serviço Object Storage:

• Se você não for um administrador do OCI, peça a um para conceder a você permissão do IAM para gerenciar o Object Storage em seu compartimento:

  allow group <your-group-name> to manage object-family in compartment <compartment-with-bucket>
                              

• Decida um modelo que funcione com o ponto final /v1/chat/completions — somente esses modelos são suportados.
• Certifique-se de que o modelo suporte apenas um destes recursos:
  • TEXT_TO_TEXT: entrada de texto, saída de texto
  • IMAGE_TEXT_TO_TEXT: imagem, texto interno ou ambos, texto externo
  • EMBOLSO: entrada de texto, incorporações de vetor
  • RERANK: consulta e documentos do candidato, pontuações de relevância e uma lista reordenada
• Salve artefatos de modelo em um bucket do Object Storage.
• Importante: O arquivo de configuração deve ser chamado config.json para uma importação bem-sucedida, semelhante à maioria dos modelos Hugging Face.

Para acessar um modelo importado, crie um ponto final para esse modelo em um cluster de IA dedicado.

Use a tabela a seguir para solicitar recursos de cluster de IA dedicados antes de importar um modelo.

Depois de executar os pré-requisitos e importar um modelo, você poderá executar as seguintes tarefas nos modelos importados:

• Listar os modelos importados
• Obter detalhes de um modelo importado
• Atualizar um modelo importado
• Mover um modelo importado
• Excluir um modelo importado