Modelo Mistral Soportado
Puede importar modelos de lenguaje grandes de cubos de Hugging Face y OCI Object Storage a OCI Generative AI, crear puntos finales para esos modelos y utilizarlos en el servicio Generative AI.
Estos modelos tienen una arquitectura de transformador de alto rendimiento, solo decodificador, con atención de ventana deslizante (SWA) para un manejo eficiente de contexto largo y atención de consulta agrupada (GQA) opcional para una mayor escalabilidad. Para obtener más información, consulte Mistral en la documentación de Hugging Face.
Mistral
| ID de modelo facial de abrazo | Capacidad del modelo | Unidad de cluster de IA dedicada recomendada |
|---|---|---|
| intfloat/e5-mistral-7b-instruct | INCRUSTAR | A10_X1 |
Nota
- Para importar una versión ajustada de un modelo, solo se admiten los modelos ajustados que utilizan la misma versión de transformadores que el modelo original y tienen un recuento de parámetros dentro del ±10% del original.
- Si el tipo de instancia de la unidad recomendada no está disponible en la región, seleccione una instancia de nivel superior (por ejemplo, seleccione una unidad H100 en lugar de una unidad A100-80G).
- Para conocer los requisitos previos y cómo importar modelos, consulte Gestión de modelos importados (nuevos).