Modelos de Microsoft soportados
Puede importar modelos de lenguaje grandes de cubos de Hugging Face y OCI Object Storage a OCI Generative AI, crear puntos finales para esos modelos y utilizarlos en el servicio Generative AI.
Los modelos Microsoft Phi-3, conocidos por su eficiencia y compacidad, están diseñados para un rendimiento escalable y flexible. Consulte la documentación de Phi-3 sobre Hugging Face.
Phi 3
| ID de modelo facial de abrazo | Capacidad del modelo | Tamaño de unidad de cluster de IA dedicado recomendado |
|---|---|---|
| microsoft/Phi-3-mini-4k-instruct | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-mini-128k-instruct | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-sm-8k-instruct | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-medium-4k-instruct | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-vision-128k-instruct | IMAGE_TEXT_TO_TEXT | H100_X1 |
Importante
- Los modelos importados soportan la longitud de contexto nativo especificada por el proveedor del modelo. Sin embargo, la longitud máxima de contexto que puede utilizar también está limitada por la configuración de hardware subyacente en OCI Generative AI. Es posible que necesite aprovisionar recursos de hardware adicionales para aprovechar al máximo la longitud del contexto nativo del modelo.
- Para importar una versión ajustada de un modelo, solo se admiten los modelos ajustados que utilizan la misma versión de transformadores que el modelo original y tienen un recuento de parámetros dentro del ±10% del original.
- Si el tipo de instancia de la unidad recomendada no está disponible en la región, seleccione una instancia de nivel superior (por ejemplo, seleccione una unidad H100 en lugar de una unidad A100-80G).
- Para conocer los requisitos previos y cómo importar modelos, consulte Gestión de modelos importados (nuevos).