Gerenciando Modelos Importados

Antes de importar um modelo diretamente do Hugging Face:

• Decida qual modelo validado do Hugging Face importar e anote sua forma de unidade de hardware de cluster de IA dedicada recomendada.
• Para acessar e usar alguns modelos, você precisa de um token do Hugging Face, especialmente as versões mais recentes e fechadas, como Llama 3 e Llama 3.1 Para esses modelos, gere um token de acesso nas configurações da sua conta do Hugging Face em Tokens de Acesso. Certifique-se de que ele tenha as permissões necessárias (pelo menos acesso "read").

Antes de importar um modelo de um bucket do serviço Object Storage:

• Se você não for um administrador do OCI, peça a um para conceder a você permissão do IAM para gerenciar o Object Storage em seu compartimento:

  allow group <your-group-name> to manage object-family in compartment <compartment-with-bucket>
                              

• Decida um modelo que funcione com o ponto final /v1/chat/completions — somente esses modelos são suportados.
• Certifique-se de que o modelo suporte apenas um destes recursos:
  • TEXT_TO_TEXT: entrada de texto, saída de texto
  • IMAGE_TEXT_TO_TEXT: imagem, texto interno ou ambos, texto externo
  • AUDIO_TO_TEXT: entrada de áudio e saída de texto
  • EMBOLSO: entrada de texto, incorporações de vetor
  • RERANK: consulta e documentos do candidato, pontuações de relevância e uma lista reordenada
• Salve artefatos de modelo em um bucket do Object Storage.
• Importante: O arquivo de configuração deve ser chamado config.json para uma importação bem-sucedida, semelhante à maioria dos modelos Hugging Face.

Quando você criar um cluster de IA dedicado de hospedagem para um modelo importado, selecione o modelo importado e uma forma de unidade de hardware compatível disponível na região de destino. Os nomes de forma de unidade de modelo importados não incluem um prefixo de provedor de modelo. Por exemplo, selecione H100_X2 ou A100_80G_X1, em vez de um valor específico do provedor, como Cohere_H100_X2.

Antes de criar o cluster, consulte Formas de Unidade de Hardware de Modelo Importadas, Limites de Serviço e Contagens de Unidades de IA para:

• Identifique as formas de hardware disponíveis na região de destino.
• Selecione uma forma de unidade de hardware de modelo importado.
• Localize o nome do limite de serviço e as unidades de hardware necessárias.
• Localize sua contagem de unidades de IA para calcular o preço por hora.

Depois de executar os pré-requisitos e importar um modelo, você poderá executar as seguintes tarefas nos modelos importados:

• Listar os modelos importados
• Obter detalhes de um modelo importado
• Atualizar um modelo importado
• Mover um modelo importado
• Excluir um modelo importado