Documentación de Oracle Cloud Infrastructure

Metamodelos compatibles

Puede importar modelos de lenguaje grandes de cubos de Hugging Face y OCI Object Storage a OCI Generative AI, crear puntos finales para esos modelos y utilizarlos en el servicio Generative AI.

Meta Llama

Los siguientes modelos son una versión mejorada de los modelos Meta Llama con atención de consulta agrupada (GQA). Para obtener más información, consulte Llama 3.3 y Llama 4 en la documentación de Hugging Face.

Modelos Meta Llama compatibles
ID de modelo facial de abrazo Capacidad del modelo Unidad de cluster de IA dedicada recomendada
meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8 IMAGE_TEXT_TO_TEXT H100_X8
meta-llama/Llama-4-Scout-17B-16E-Instruct IMAGE_TEXT_TO_TEXT H100_X4
meta-llama/Llama-3.3-70B-Instruct TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-3.2-3B-Instruct TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.2-1B-Instruct TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-3.1-8B-Instruct TEXT_TO_TEXT A100_80G_X1
meta-llama/Meta-Llama-3-8B-Instruct TEXT_TO_TEXT A100_80G_X1
meta-llama/Meta-Llama-3-70B-Instruct TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-2-70b-chat-hf TEXT_TO_TEXT A100_80G_X4
meta-llama/Llama-2-13b-chat-hf TEXT_TO_TEXT A100_80G_X1
meta-llama/Llama-2-7b-chat-hf TEXT_TO_TEXT A100_80G_X1
Importante

  • Para los modelos importados, puede utilizar la longitud de contexto nativo especificada por el proveedor del modelo. Sin embargo, la longitud máxima efectiva del contexto está limitada por la configuración de hardware subyacente que seleccione para alojar clusters de IA dedicados en OCI Generative AI. Para aprovechar al máximo la longitud del contexto nativo de un modelo, puede que necesite aprovisionar más recursos de hardware.
  • Utilice los modelos ajustados solo si coinciden con la versión del transformador del modelo base compatible y tienen un recuento de parámetros dentro del ±10% del original.
  • Para obtener información sobre el hardware disponible y los pasos para desplegar los modelos importados, consulte Gestión de modelos importados.