Integrazione LLM

L'integrazione di modelli di linguaggio di grandi dimensioni (LLM) di Oracle Digital Assistant consente di migliorare le proprie competenze con funzionalità di intelligenza artificiale generativa.

Queste funzionalità includono:

• Gestire piccole conversazioni con un utente.
• Generazione di riepiloghi scritti di dati.
• Automatizzare attività aziendali impegnative o ripetitive, come quelle necessarie per l'acquisizione dei talenti.
• Fornire analisi del sentimento di un determinato pezzo di testo per determinare se esso riflette un'opinione positiva, negativa o neutrale.

Utilizzando il componente Richiama modello di linguaggio di grandi dimensioni (il componente LLM), è possibile collegare queste funzionalità al flusso di finestre di dialogo ovunque siano necessarie. Questo componente di flusso della finestra di dialogo è l'elemento di integrazione principale per l'intelligenza artificiale generativa in quanto contatta l'LLM tramite una chiamata REST, quindi invia all'LLM un prompt (le istruzioni del linguaggio naturale all'LLM) insieme AI parametri correlati. Restituisce quindi i risultati generati dal modello (noti anche come completamenti) e gestisce lo stato delle interazioni LLM-utente in modo che le sue risposte rimangano nel contesto dopo cicli successivi di query e feedback degli utenti. Il componente LLM può chiamare qualsiasi LLM. È possibile aggiungere uno o più stati dei componenti LLM (o blocchi LLM) ai flussi. È inoltre possibile concatenare le chiamate LLM in modo che l'output di una richiesta LLM possa essere passato a una successiva richiesta LLM.

Oltre al componente LLM, gli altri componenti principali dell'integrazione LLM includono endpoint per il fornitore di servizi LLM e handler di trasformazione per la conversione dei payload di richiesta e risposta nel e dal formato di Digital Assistant, l'interfaccia LLM comune (CLMI). Ecco i passaggi di alto livello per aggiungere questi e altri componenti per creare l'integrazione LLM per la tua abilità:

• Registrare un servizio API nell'istanza di Digital Assistant per l'endpoint REST di LLM.
• Per la tua abilità, crea un gestore di eventi di trasformazione LLM per convertire i payload di richiesta e risposta LLM in e da CLMI.
  Nota
  
  Forniamo handler predefiniti se stai integrando le tue competenze con il modello Cohere o con il servizio Oracle Generative AI. Se si accede ad altri modelli, ad esempio Azure OpenAI, è possibile aggiornare il codice di trasformazione iniziale fornito.
• Definire un servizio LLM per lo skill di cui si dispone il mapping al servizio REST registrato nell'istanza con un handler di trasformazione LLM.
• Nel flusso in cui si desidera utilizzare LLM, inserire e configurare un componente LLM aggiungendo il testo del prompt e impostando altri parametri.

  Suggerimento

  Come best practice, si consiglia di utilizzare il Prompt Builder (a cui si accede tramite il componente LLM) per perfezionare il prompt.