Documentazione dell'infrastruttura Oracle Cloud

Creare il servizio LLM

Lo stato del componente LLM nel flusso di dialogo accede al modello tramite un servizio LLM a livello di competenze, che combina un servizio LLM a livello di istanza con uno degli handler di trasformazione delle competenze. Un servizio LLM è un artifact a livello di competenze.

Per configurare questo servizio:
  1. Scegliere Impostazioni > Configurazione.
  2. Nella sezione Servizi modello lingua di grandi dimensioni della pagina, fare clic su + Nuovo servizio LLM.
  3. Completare la riga:
    • Nome: immettere un nome facilmente identificabile per il servizio LLM. Questo è il nome che si sceglie quando si configura il flusso della finestra di dialogo.
    • Servizio LLM: selezionare uno dei servizi LLM configurati per l'istanza.
    • Handler di trasformazione: scegliere l'handler di trasformazione che è la controparte del servizio LLM. Ad esempio, se il componente LLM utilizza il servizio LLM OpenAI di Azure per generare risposte, è possibile scegliere uno dei gestori di eventi dello skill che trasforma i payload OpenAI di Azure in CLMI.
    • Mock: selezionare questa opzione su (true) per risparmiare tempo e costi durante il test del flusso della finestra di dialogo. Poiché questa opzione consente al componente LLM di restituire una risposta statica invece della continuazione generata da LLM, non devi perdere tempo in attesa della risposta LLM, né sostenere costi dal provider di servizi LLM quando stai solo testando parte del flusso di dialogo.
      Nota

      È possibile utilizzare questa opzione solo se il servizio LLM selezionato ha una risposta statica di 200 unità.
    • Predefinito: se si seleziona questa opzione su (true), il servizio LLM viene impostato come selezione predefinita nel menu Servizio LLM del componente LLM. Se un servizio LLM esistente è già impostato come predefinito, il relativo stato predefinito viene sovrascritto (ovvero impostato su false) quando si passa a questo servizio per un altro servizio LLM.
  4. Fare clic sull'azione Salva (situata a destra).
    Icona dell'azione Salva.

I servizi LLM creati come servizi REST nelle release precedenti alla 24.02 sono contrassegnati da un messaggio di avvertenza Icona di avvertenza.. Per chiudere questa avvertenza, selezionare il servizio REST (accesso tramite Impostazioni > Servizi API), quindi fare clic su Converti in LLM.