Oracle Cloud Infrastructure - Dokumentation

LLM-Service erstellen

Der LLM-Komponentenstatus im Dialogablauf greift über einen LLM-Service auf Skillebene auf das Modell zu. Dieser kombiniert einen LLM-Service auf Instanzebene mit einem der Transformations-Handler des Skills. Ein LLM-Service ist ein Artefakt auf Skill-Ebene.

So konfigurieren Sie diesen Service:
  1. Wählen Sie Einstellungen > Konfiguration.
  2. Klicken Sie im Abschnitt Large Language Model Services der Seite auf + New LLM Service.
  3. Füllen Sie die Zeile aus:
    • Name: Geben Sie einen leicht identifizierbaren Namen für den LLM-Service ein. Dies ist der Name, den Sie beim Konfigurieren des Dialogablaufs auswählen.
    • LLM-Service: Wählen Sie einen der LLM-Services aus, die für die Instanz konfiguriert wurden.
    • Transformations-Handler: Wählen Sie den Transformations-Handler aus, der das Gegenstück zum LLM-Service ist. Beispiel: Wenn die LLM-Komponente den Azure-LLM-Service OpenAI verwendet, um Antworten zu generieren, wählen Sie einen der Event Handler des Skills aus, der die Azure-Payloads OpenAI in CLMI transformiert.
    • Synchronisieren: Aktivieren Sie diese Option auf (true), um beim Testen des Dialogablaufs Zeit und Kosten zu sparen. Da mit dieser Option die LLM-Komponente anstelle der LLM-generierten Fortsetzung eine statische Antwort zurückgeben kann, müssen Sie keine Zeit damit verschwenden, auf die LLM-Antwort zu warten, und es fallen auch keine Kosten vom LLM-Serviceanbieter an, wenn Sie nur einen Teil des Dialogablaufs testen.
      Hinweis

      Sie können diese Option nur verwenden, wenn der ausgewählte LLM-Service eine statische Antwort von 200 aufweist.
    • Standard: Wenn Sie diese Option aktivieren (true), wird der LLM-Service als Standardauswahl im LLM-Servicemenü der LLM-Komponente festgelegt. Wenn ein vorhandener LLM-Service bereits als Standard festgelegt ist, wird sein Standardstatus überschrieben (d.h. auf "false" gesetzt), wenn Sie ihn für einen anderen LLM-Service aktivieren.
  4. Klicken Sie auf die Aktion Speichern (rechts).
    Das Aktionssymbol "Speichern".

LLM-Services, die in Releases vor 24.02 als REST-Services erstellt wurden, werden mit der Warnung Das Warnsymbol. gekennzeichnet. Um diese Warnung zu verwerfen, wählen Sie den REST-Service aus (auf den über Einstellungen > API-Services zugegriffen wird), und klicken Sie auf In LLM konvertieren.