Documentação do Oracle Cloud Infrastructure

Metamodelos compatíveis

Você pode importar grandes modelos de linguagem de buckets do Hugging Face e do OCI Object Storage para o OCI Generative AI, criar pontos finais para esses modelos e usá-los no serviço Generative AI.

Meta Llama

Os modelos a seguir são uma versão melhorada dos modelos Meta Llama com atenção de consulta agrupada (GQA). Para obter mais informações, consulte Lhama 3.3 e Lhama 4 na documentação do Hugging Face.

Modelos Meta Llama Compatíveis
Abraçando o ID do modelo facial Capacidade do Modelo Forma Recomendada da Unidade de Cluster de IA Dedicada
meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8 IMAGE_TEXT_TO_TEXT H100_X8
meta-llama/Llama-4-Scout-17B-16E-Instruct IMAGE_TEXT_TO_TEXT H100_X4
meta-llama/Llama-3.3-70B-Instruct TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-3.2-3B-Instruct TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.2-1B-Instruct TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.1-8B-Instruct TEXT_TO_TEXT A100_80G_X1
meta-llama/Meta-Llama-3-8B-Instruct TEXT_TO_TEXT A100_80G_X1
meta-llama/Meta-Llama-3-70B-Instruct TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-2-70b-chat-hf TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-2-13b-chat-hf TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-2-7b-chat-hf TEXT_TO_TEXT A100_80G_X1
Importante

  • Para modelos importados, você pode usar o tamanho do contexto nativo especificado pelo provedor do modelo. No entanto, o tamanho máximo de contexto efetivo é limitado pela configuração de hardware subjacente que você seleciona para hospedar clusters de IA dedicados na OCI Generative AI. Para aproveitar ao máximo o tamanho do contexto nativo de um modelo, talvez seja necessário provisionar mais recursos de hardware.
  • Use os modelos ajustados somente se eles corresponderem à versão do transformador do modelo base compatível e tiverem uma contagem de parâmetros dentro de ± 10% do original.
  • Para obter o hardware disponível e as etapas sobre como implantar os modelos importados, consulte Gerenciando Modelos Importados.