Documentação do Oracle Cloud Infrastructure

Criar o Serviço LLM

O estado do componente LLM no fluxo de caixas de diálogo acessa o modelo por meio de um serviço LLM no nível da habilidade, que combina um serviço LLM no nível da instância com um dos handlers de transformação da habilidade. Um Serviço LLM é um artefato no nível da habilidade.

Para configurar este serviço:
  1. Escolha Configurações > Configuração.
  2. Na seção Serviços de Modelo de Linguagem Grande da página, clique em + Novo Serviço LLM.
  3. Preencha a linha:
    • Nome: Informe um nome facilmente identificável para o serviço LLM. Este é o nome que você escolherá ao configurar o fluxo de caixas de diálogo.
    • Serviço de LLM: Selecione entre os serviços de LLM que foram configurados para a instância.
    • Manipulador de Transformação: Escolha o handler de transformação que é o equivalente do serviço LLM. Por exemplo, se o componente LLM usar o serviço LLM OpenAI do Azure para gerar respostas, você escolheria um dos handlers de eventos da habilidade que transforma os payloads OpenAI do Azure em CLMI.
    • Mock: Ative essa opção (verdadeira) para economizar tempo e custos ao testar seu fluxo de caixas de diálogo. Como essa opção permite que o componente do LLM retorne uma resposta estática em vez da continuação gerada pelo LLM, você não precisa perder tempo esperando a resposta do LLM, nem incorrer em custos do provedor de serviços do LLM quando está apenas testando parte do fluxo de caixas de diálogo.
      Observação

      Você só poderá usar essa opção se o serviço LLM selecionado tiver uma resposta estática de 200.
    • Padrão: A alternância dessa opção em (verdadeiro) define o serviço LLM como a seleção padrão no menu Serviço LLM do componente LLM. Se um Serviço LLM existente já estiver definido como padrão, seu status padrão será substituído (ou seja, definido como falso) quando você ativar esse serviço para outro Serviço LLM.
  4. Clique na ação Salvar (localizada à direita).
    O ícone de ação Salvar.

Os serviços LLM criados como serviços REST em versões anteriores à 24.02 são sinalizados com um aviso O ícone de aviso.. Para descartar essa advertência, selecione o serviço REST (acessado em Definições > Serviços de API) e clique em Converter em LLM.