Documentación de Oracle Cloud Infrastructure

Metamodelos soportados

Puede importar modelos de lenguaje grandes de cubos de Hugging Face y OCI Object Storage a OCI Generative AI, crear puntos finales para esos modelos y utilizarlos en el servicio Generative AI.

Estos modelos son una versión mejorada de los modelos Meta Llama con atención de consulta agrupada (GQA). Para obtener más información, consulte Llama 2, Llama 3, Llama 3.1, Llama 3.2, Llama 3.3, Llama 4 en la documentación de Hugging Face.

Meta Llama

Modelos Meta Llama soportados
ID de modelo facial de abrazo Capacidad del modelo Unidad de cluster de IA dedicada recomendada
meta-llama/Llama-2-7b-chat-hf TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-2-13b-chat-hf TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-2-70b-chat-hf TEXT_TO_TEXT A100_80G_X4
meta-llama/Meta-Llama-3-8B-Instruct TEXT_TO_TEXT A100_80G_X1
meta-llama/Meta-Llama-3-70B-Instruct TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-3.1-8B-Instruct TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.1-70B-Instruct TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-3.1-405B-Instruct-FP8 TEXT_TO_TEXT H100_X8
meta-llama/Llama-3.2-1B-Instruct TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.2-3B-Instruct TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.2-11B-Visión-Instruct IMAGE_TEXT_TO_TEXT A100_80G_X1
RedHatAI/Llama-3.2-90B-Vision-Instruct-FP8-dinámico IMAGE_TEXT_TO_TEXT H100_X4
meta-llama/Llama-3.3-70B-Instruct TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8 IMAGE_TEXT_TO_TEXT H100_X8
meta-llama/Llama-4-Scout-17B-16E-Instruct IMAGE_TEXT_TO_TEXT H100_X4
Nota

  • Para importar una versión ajustada de un modelo, solo se admiten los modelos ajustados que utilizan la misma versión de transformadores que el modelo original y tienen un recuento de parámetros dentro del ±10% del original.
  • Si el tipo de instancia de la unidad recomendada no está disponible en la región, seleccione una instancia de nivel superior (por ejemplo, seleccione una unidad H100 en lugar de una unidad A100-80G).
  • Para conocer los requisitos previos y cómo importar modelos, consulte Gestión de modelos importados (nuevos).