xAI Grok 3
O modelo xai.grok-3 se destaca em casos de uso empresariais, como extração de dados, codificação e resumo de texto. Este modelo tem um profundo conhecimento de domínio em finanças, saúde, direito e ciência.
Os modelos xai.grok-3 e xai.grok-3-fast, ambos usam o mesmo modelo subjacente e oferecem qualidade de resposta idêntica. A diferença está em como eles são atendidos: o modelo xai.grok-3-fast é servido em uma infraestrutura mais rápida, oferecendo tempos de resposta significativamente mais rápidos do que o modelo xai.grok-3 padrão. O aumento da velocidade tem um custo mais alto por token de saída.
Os modelos xai.grok-3 e xai.grok-3-fast apontam para o mesmo modelo subjacente. Selecione xai.grok-3-fast para aplicativos sensíveis à latência e selecione xai.grok-3 para obter custo reduzido.
Disponível nestas regiões
- Leste dos EUA (Ashburn) (somente sob demanda)
- Centro-Oeste dos EUA (Chicago) (somente sob demanda)
- Oeste dos EUA (Phoenix) (somente sob demanda)
Chamadas Externas
Os modelos xAI Grok que podem ser acessados por meio do serviço OCI Generative AI são hospedados externamente pelo xAI. Portanto, uma chamada para um modelo xAI Grok (por meio do serviço OCI Generative AI) pode resultar em uma chamada para um local xAI.
Principais Recursos
- Nome do modelo na OCI Generative AI:
xai.grok-3 - Disponível sob Demanda: Acesse esse modelo sob demanda, por meio do playground da Console ou da API.
- Somente Modo de Texto: insira o texto e obtenha uma saída de texto. (Sem suporte a imagem.)
- Conhecimento: Tem um profundo conhecimento em finanças, assistência médica, direito e ciência.
- Tamanho do Contexto: 131.072 tokens (o tamanho máximo do prompt + da resposta é de 131.072 tokens para cada execução). No playground, o comprimento da resposta é limitado a 16.000 tokens para cada execução.
- Excels em Estes Casos de Uso: Extração de dados, codificação e resumo de texto
- Chamada de Função: Sim, por meio da API.
- Saídas Estruturadas: Sim.
- Tem Motivo: Não.
- Knowledge Cutoff: novembro de 2024
Limites
- Tokens por minuto (TPM)
-
As chamadas de inferência para esse modelo são limitadas a 100.000 tokens por minuto (TPM) por cliente ou tenancy.
Para ver o limite atual da sua tenancy, na Console, navegue até Governança e Administração. Em Gerenciamento de Tenancy, selecione Limites, cotas e uso. Em Serviço, selecione IA Generativa e revise os limites do serviço. Para solicitar um aumento do limite de serviço, selecione Solicitar um aumento do limite de serviço. Para o aumento do limite de TPM, use o seguinte nome de limite:
grok-3-chat-tokens-per-minute-count.
Modo sob Demanda
-
Você paga conforme usa para cada chamada de inferência quando usa os modelos no playground ou quando chama os modelos por meio da API.
- Baixa barreira para começar a usar IA generativa.
- Ótimo para experimentar, comprovar conceitos e avaliar os modelos.
- Disponível para os modelos pré-treinados em regiões não listadas como (somente cluster de IA dedicado).
Para garantir acesso confiável aos modelos de IA generativa no modo sob demanda, recomendamos implementar uma estratégia de back-off, que envolve atrasar as solicitações após uma rejeição. Sem um, as solicitações rápidas repetidas podem levar a novas rejeições ao longo do tempo, maior latência e possível bloqueio temporário do cliente pelo serviço de IA generativa. Ao usar uma estratégia de back-off, como uma estratégia de back-off exponencial, você pode distribuir solicitações de forma mais uniforme, reduzir a carga e melhorar o sucesso de novas tentativas, seguindo as melhores práticas do setor e aprimorando a estabilidade e o desempenho gerais de sua integração ao serviço.
Os modelos Grok só estão disponíveis no modo sob demanda.
Consulte a tabela a seguir para obter o nome do produto deste modelo na página de preços.
| Nome do Modelo | Nome do Modelo do OCI | Nome do Produto da Página de Precificação |
|---|---|---|
| xAI Grok 3 | xai.grok-3 |
xAI – Grok 3 |
Data de Liberação
| Modelo | Data de lançamento beta | Data de Liberação da Disponibilidade Geral | Data de Aposentadoria Sob Demanda | Data de Baixa do Modo Dedicado |
|---|---|---|---|---|
xai.grok-3 |
2,025-5-22 | 2,025-6-24 | Provisório | Este modelo não está disponível para o modo dedicado. |
Para obter uma lista de todas as linhas de tempo do modelo e detalhes de baixa, consulte Desativando os Modelos.
Parâmetros de Modelo
Para alterar as respostas do modelo, você pode alterar os valores dos parâmetros a seguir no playground ou na API.
- Máximo de tokens de saída
-
O número máximo de tokens que você deseja que o modelo gere para cada resposta. Estime quatro caracteres por token. Como você está solicitando um modelo de chat, a resposta depende do prompt e cada resposta não necessariamente usa o máximo de tokens alocados. O comprimento máximo de prompt + saída é de 131.072 tokens para cada execução. No playground, o máximo de tokens de saída é limitado a 16.000 tokens para cada execução.
- Temperatura
-
O nível de aleatoriedade usado para gerar o texto de saída. Mín.: 0, Máx.: 2
Dica
Comece com a temperatura definida como 0 ou menos de um e aumente a temperatura conforme você gera novamente os prompts para uma saída mais criativa. As altas temperaturas podem introduzir alucinações e informações factualmente incorretas. - Top p
-
Um método de amostragem que controla a probabilidade cumulativa dos principais tokens a serem considerados para o próximo token. Atribua a
pum número decimal entre 0 e 1 para a probabilidade. Por exemplo, insira 0,75 para os 75% principais a serem considerados. Definapcomo 1 para considerar todos os tokens. - Penalidade de frequência
-
Uma penalidade atribuída a um token quando esse token aparece com frequência. Altas penalidades incentivam menos tokens repetidos e produzem uma saída mais aleatória.
Essa multa pode ser positiva ou negativa. Os números positivos incentivam o modelo a usar novos tokens e os números negativos incentivam o modelo a repetir os tokens. Mín.: -2, Máx.: 2. Defina como 0 para desativar.
- Penalidade de presença
-
Uma multa atribuída a cada token quando ele aparece na saída para incentivar a geração de saídas com tokens que não foram usados. Mín.: -2, Máx.: 2. Defina como 0 para desativar.