Documentação do Oracle Cloud Infrastructure

Criar o Serviço LLM

O estado do componente LLM no fluxo de caixas de diálogo acessa o modelo por meio de um serviço LLM no nível da habilidade, que combina um serviço LLM no nível da instância com um dos handlers de transformação da habilidade. Um Serviço LLM é um artefato no nível da habilidade.

Para configurar este serviço:
  1. Selecione Definições > Configuração.
  2. Na seção Serviços de Modelo de Idioma Grande da página, clique em + Novo Serviço de LLM.
  3. Preencha a linha:
    • Nome: Informe um nome facilmente identificável para o serviço LLM. Este é o nome que você escolherá ao configurar o fluxo de caixas de diálogo.
    • Serviço LLM: Selecione entre os serviços LLM que foram configurados para a instância.
    • Handler de Transformação: Escolha o handler de transformação que é a contrapartida do serviço LLM. Por exemplo, se o componente LLM usar o serviço LLM OpenAI do Azure para gerar respostas, você escolheria um dos handlers de eventos da habilidade que transforma os payloads OpenAI do Azure em CLMI.
    • Simular: Ative essa opção (verdadeiro) para economizar tempo e custos ao testar seu fluxo de caixas de diálogo. Como essa opção permite que o componente LLM retorne uma resposta estática em vez da continuação gerada pelo LLM, você não precisa perder tempo esperando a resposta LLM, nem incorrer em custos do provedor de serviços LLM quando estiver apenas testando parte do fluxo de caixas de diálogo.
      Observação

      Você só poderá usar essa opção se o serviço LLM selecionado tiver uma resposta estática 200.
    • Padrão: A alternância dessa opção para (verdadeiro) define o serviço LLM como a seleção padrão no menu Serviço LLM do componente LLM. Se um Serviço LLM existente já estiver definido como padrão, seu status padrão será substituído (ou seja, definido como falso) quando você ativar essa opção para outro Serviço LLM.
  4. Clique na ação Salvar (localizada à direita).
    O ícone de ação Salvar.

Os serviços LLM criados como serviços REST em versões anteriores à 24.02 são sinalizados com um aviso O ícone de aviso.. Para descartar essa advertência, selecione o serviço REST (acessado em Definições > Serviços de API) e clique em Converter em LLM.