Modelos Mistral compatíveis
Você pode importar grandes modelos de linguagem de buckets do Hugging Face e do OCI Object Storage para o OCI Generative AI, criar pontos finais para esses modelos e usá-los no serviço Generative AI.
Esses modelos têm uma arquitetura de Transformador de alto desempenho, somente decodificador, com SWA (Sliding Window Attention) para tratamento eficiente de longo contexto e GQA (Grouped Query Attention) opcional para melhor escalabilidade. Para obter mais detalhes, consulte Mistral na documentação do Hugging Face.
Mistral
| Abraçando o ID do modelo facial | Capacidade do Modelo | Formas Recomendadas de Unidade de Cluster de IA Dedicada |
|---|---|---|
| Mistralai/Mistral-Médio-3.5-128B | TEXT_TO_TEXT |
|
| Mistralai/Devstral-2-123B-Instruct-2512 | TEXT_TO_TEXT |
|
| mistralai/Mixtral-8x7B-Instruct-v0.1 | TEXT_TO_TEXT | A100_80G_X2 |
| Mistralai/Mistral-Nemo-Instruct-2407 | TEXT_TO_TEXT | A100_80G_X1 |
| Mistralai/Mistral-7B-Instruct-v0.3 | TEXT_TO_TEXT | A100_80G_X1 |
| mistralai/Mistral-7B-Instruct-v0.2 | TEXTO_PARA_TEXTO | A100_80G_X1 |
| Mistralai/Mistral-7B-Instruct-v0.1 | TEXTO_PARA_TEXTO | A100_80G_X1 |
| intfloat/e5-mistral-7b-instruct | INCORPORAÇÃO | A10_X1 |
Importante
- Para modelos importados, você pode usar o tamanho do contexto nativo especificado pelo provedor do modelo. No entanto, o tamanho máximo de contexto efetivo é limitado pela configuração de hardware subjacente que você seleciona para hospedar clusters de IA dedicados na OCI Generative AI. Para aproveitar ao máximo o tamanho do contexto nativo de um modelo, talvez seja necessário provisionar mais recursos de hardware.
- Use os modelos ajustados somente se eles corresponderem à versão do transformador do modelo base compatível e tiverem uma contagem de parâmetros dentro de ± 10% do original.
- Para obter o hardware disponível e as etapas sobre como implantar os modelos importados, consulte Gerenciando Modelos Importados.