Modelos Microsoft suportados
Você pode importar grandes modelos de linguagem de buckets do Hugging Face e do OCI Object Storage para o OCI Generative AI, criar pontos finais para esses modelos e usá-los no serviço Generative AI.
Os modelos Microsoft Phi-3, conhecidos por sua eficiência e compacidade, são projetados para desempenho escalável e flexível. Consulte a documentação do Phi-3 sobre o Hugging Face.
Phi 3
| Abraçando o ID do modelo facial | Capacidade do Modelo | Tamanho da Unidade do Cluster de IA Dedicado Recomendado |
|---|---|---|
| microsoft/phi-4 | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-mini-4k-instruct | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-mini-128k-instruct | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-small-8k-instruct | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-medium-4k-instruct | TEXT_TO_TEXT | A100_80G_X1 |
| microsoft/Phi-3-vision-128k-instruct | IMAGE_TEXT_TO_TEXT | H100_X1 |
-
Embora você possa importar qualquer modelo de chat, incorporação (e ajuste fino) suportado por meio do Open Model Engine (com runtime vLLM ou SGLang), somente os modelos listados explicitamente nesta página são suportados para essa família de modelos. Modelos não listados podem ter problemas de compatibilidade e recomendamos que você teste qualquer modelo não listado antes do uso da produção. Saiba mais sobre a OCI Generative AI Imported Model Architecture.
- Os modelos importados suportam o tamanho do contexto nativo especificado pelo provedor do modelo. No entanto, a duração máxima efetiva do contexto também é limitada pela configuração de hardware subjacente da OCI Generative AI. Para aproveitar ao máximo o tamanho do contexto nativo de um modelo, talvez seja necessário provisionar mais recursos de hardware.
- Os modelos ajustados são suportados somente se corresponderem à versão do transformador do modelo base suportado e tiverem uma contagem de parâmetros dentro de ±10% do original.
- Para obter o hardware disponível e as etapas sobre como implantar os modelos importados, consulte Gerenciando Modelos Importados.
- Se a forma de unidade recomendada não estiver disponível na região, selecione uma opção de camada superior. Por exemplo, se o A100 não estiver disponível, selecione H100.