Integração LLM

A integração do Oracle Digital Assistant de grandes modelos de linguagem (LLMs) permite que você aprimore suas habilidades com recursos de IA generativa.

Esses recursos incluem:

• Lidar com conversas pequenas com um usuário.
• Gerar resumos de dados gravados.
• Automatizar tarefas de negócios desafiadoras ou repetitivas, como as necessárias para a aquisição de talentos.
• Fornecer análise de sentimento de um dado pedaço de texto para determinar se ele reflete uma opinião positiva, negativa ou neutra.

Usando o componente Chamar Modelo de Linguagem Grande (o componente LLM), você pode conectar esses recursos ao fluxo de caixas de diálogo onde quer que sejam necessários. Esse componente de fluxo de caixas de diálogo é o componente de integração principal para IA generativa, pois ele entra em contato com o LLM por meio de uma chamada REST e envia ao LLM um prompt (as instruções de linguagem natural para o LLM) juntamente com parâmetros relacionados. Em seguida, ele retorna os resultados gerados pelo modelo (que também são conhecidos como conclusões) e gerencia o estado das interações LLM-usuário para que suas respostas permaneçam em contexto após sucessivas rodadas de consultas e feedback do usuário. O componente LLM pode chamar qualquer LLM. Você pode adicionar um ou mais estados de componentes LLM (ou blocos LLM) aos fluxos. Você também pode encadear as chamadas LLM de modo que a saída de uma solicitação LLM possa ser passada para uma solicitação LLM subsequente.

Além do componente LLM, as outras partes principais da integração LLM incluem pontos finais para o provedor de serviços LLM e processadores de transformação para converter as cargas úteis de solicitação e resposta para e do formato do Digital Assistant, a CLI (Common LLM Interface). Veja a seguir as etapas de alto nível para adicionar esses e outros componentes para criar a integração do LLM para sua habilidade:

• Registre um serviço de API na sua instância do Digital Assistant para o ponto final REST do LLM.
• Para sua habilidade, crie um Handler de Evento de Transformação LLM para converter os payloads de solicitação e resposta LLM de e para CLMI.
  Observação
  
  Fornecemos handlers predefinidos se você estiver integrando sua habilidade com o modelo Cohere ou com o Oracle Generative AI Service. Se você estiver acessando outros modelos, como o Azure OpenAI, poderá atualizar o código de transformação inicial que fornecemos.
• Defina um serviço LLM para sua habilidade que mapeie para o serviço REST que você registrou na instância com um Handler de Transformação LLM.
• No fluxo em que você deseja usar o LLM, insira e configure um componente LLM adicionando seu texto de prompt e definindo outros parâmetros.

  Dica:

  Como prática recomendada, recomendamos que você use o Criador de Prompt (acessado por meio do componente LLM) para aperfeiçoar seu prompt.