Documentação do Oracle Cloud Infrastructure

Metadados Suportados

Você pode importar grandes modelos de linguagem de buckets do Hugging Face e do OCI Object Storage para o OCI Generative AI, criar pontos finais para esses modelos e usá-los no serviço Generative AI.

Estes modelos são uma versão melhorada dos modelos Meta Llama com atenção de consulta agrupada (GQA). Para obter mais informações, consulte Lhama 2, Lhama 3, Lhama 3.1, Lhama 3.2, Lhama 3.3, Lhama 4 na documentação do Hugging Face.

Meta Llama

Modelos Meta Llama Suportados
Abraçando o ID do modelo facial Capacidade do Modelo Forma Recomendada da Unidade de Cluster de IA Dedicada
meta-llama/Llama-2-7b-chat-hf TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-2-13b-chat-hf TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-2-70b-chat-hf TEXT_TO_TEXT A100_80G_X4
meta-llama/Meta-Llama-3-8B-Instruct TEXT_TO_TEXT A100_80G_X1
meta-llama/Meta-Llama-3-70B-Instruct TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-3.1-8B-Instruct TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.1-70B-Instruct TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-3.1-405B-Instruct-FP8 TEXT_TO_TEXT H100_X8
meta-llama/Llama-3.2-1B-Instruct TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.2-3B-Instruct TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.2-11B-Vision-Instruct IMAGE_TEXT_TO_TEXT A100_80G_X1
RedHatAI/Llama-3.2-90B-Vision-Instruct-FP8-dinâmico IMAGE_TEXT_TO_TEXT H100_X4
meta-llama/Llama-3.3-70B-Instruct TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8 IMAGE_TEXT_TO_TEXT H100_X8
meta-llama/Llama-4-Scout-17B-16E-Instruct IMAGE_TEXT_TO_TEXT H100_X4
Observação

  • Para importar uma versão ajustada de um modelo, apenas modelos ajustados que usam a mesma versão de transformadores que o modelo original e têm uma contagem de parâmetros dentro de ±10% do original são suportados.
  • Se o tipo de instância da forma de unidade recomendada não estiver disponível na sua região, selecione uma instância de camada superior (por exemplo, selecione uma forma H100 em vez de uma forma A100-80G).
  • Para obter pré-requisitos e como importar modelos, consulte Gerenciando Modelos Importados (Novo).