Documentação do Oracle Cloud Infrastructure

Seleção de Modelo em Agentes de IA Generativa

O serviço OCI Generative AI Agents suporta a Seleção de Modelos, na qual você pode selecionar um grande modelo de linguagem (LLM) como o LLM de roteamento para seu agente durante a criação ou edição. Você pode selecionar modelos sob demanda hospedados no serviço OCI Generative AI ou criar e usar pontos finais de cluster de IA dedicados para modelos suportados.

A seleção do modelo fornece flexibilidade para otimizar o desempenho do agente com base na sua carga de trabalho (por exemplo, para ferramentas RAG e SQL).

Como Selecionar um Modelo

Ao criar ou editar um agente na Console do OCI, navegue até a seção Seleção de Modelo na configuração do agente.

  1. Selecione o Tipo de LLM de Roteamento:

    • Selecione entre as seguintes opções:
      • Padrão: Usa o modelo padrão fornecido pelo serviço Generative AI Agents (Llama 3.3 70B). Isso é adequado para agentes de uso geral sem necessidades de modelo personalizadas.
      • Modelo de IA Generativa: selecione entre modelos sob demanda hospedados diretamente no serviço OCI Generative AI.
      • Ponto Final de IA Generativa: selecione entre modelos hospedados em pontos finais de cluster de IA dedicados no serviço OCI Generative AI.

  2. Selecione um Modelo ou Ponto Final Específico:

    • Se você tiver selecionado Modelo de IA Generativa ou Ponto Final de IA Generativa na lista, a Console exibirá uma lista de opções disponíveis. Procure e selecione o modelo ou ponto final preferencial.
    • A lista é preenchida com base nos modelos/pontos finais disponíveis da tenancy e nas permissões do serviço IAM

  3. Atualizar Hiperparâmetros Padrão:

    • Revise os valores padrão para os hiperparâmetros do modelo.
    • Opcionalmente, atualize qualquer um desses hiperparâmetros.
Dica

Modelos Suportados

Modelos suportados e seus hiperparâmetros
Modelos que você pode selecionar Hiperparâmetros que você pode atualizar
  • Máximo de tokens de saída
  • Temperatura
  • Top p
  • Top k
  • Penalidade de frequência
  • Penalidade de presença
  • Pré-implantado
  • Máximo de tokens de saída
  • Temperatura
  • Top p
  • Penalidade de Frequência
  • Penalidade de Presença
  • Máximo de tokens de saída
  • Temperatura
  • Top p
  • Penalidade de frequência
  • Penalidade de presença

Regiões Suportadas

As seguintes regiões são suportadas:

  • Leste do Brasil (São Paulo)
  • Centro da Alemanha (Frankfurt)
  • Centro do Japão (Osaka)
  • Sul do Reino Unido (Londres)
  • Leste dos EUA (Ashburn)
  • Centro-Oeste dos EUA (Chicago)
  • Oeste dos EUA (Phoenix)

Para confirmar as regiões utilizáveis de um modelo para o recurso de seleção de modelo de agentes, execute as tarefas a seguir.

  1. Na página Modelos por região da documentação do serviço Generative AI, selecione um dos modelos suportados listados na seção Modelos Suportados.
  2. Selecione uma região para o modelo que aparece nas regiões disponíveis do modelo E nas sete regiões suportadas anteriores.
  3. Verifique se o modelo está disponível no modo necessário (sob demanda ou dedicado).

    Para acesso a modelos no modo dedicado, só há suporte para pontos finais públicos.