LLM-Service erstellen

Der LLM-Komponentenstatus im Dialogablauf greift über einen LLM-Service auf Skill-Ebene auf das Modell zu. Dieser Service kombiniert einen LLM-Service auf Instanzebene mit einem der Transformations-Handler des Skills. Ein LLM-Service ist ein Artefakt auf Skill-Ebene.

So konfigurieren Sie diesen Service:
  1. Wählen Sie Einstellungen > Konfiguration.
  2. Klicken Sie auf der Seite im Abschnitt Große Sprachmodellservices auf + Neuer LLM-Service.
  3. Füllen Sie die Zeile aus:
    • Name: Geben Sie einen einfach identifizierbaren Namen für den LLM-Service ein. Dies ist der Name, den Sie beim Konfigurieren des Dialogablaufs auswählen.
    • LLM-Service: Wählen Sie einen der LLM-Services aus, die für die Instanz konfiguriert wurden.
    • Transformations-Handler: Wählen Sie den Transformations-Handler aus, der das Gegenstück zum LLM-Service ist. Beispiel: Wenn die LLM-Komponente den Azure-LLM-Service OpenAI zum Generieren von Antworten verwendet, wählen Sie einen der Event Handler des Skills aus, der die Azure-Payloads OpenAI in CLMI transformiert.
    • Mock: Schalten Sie diese Option auf (true), um beim Testen des Dialogablaufs Zeit und Kosten zu sparen. Da diese Option es der LLM-Komponente ermöglicht, anstelle der LLM-generierten Fortsetzung eine statische Antwort zurückzugeben, müssen Sie keine Zeit damit verschwenden, auf die LLM-Antwort zu warten, und Sie müssen auch keine Kosten vom LLM-Serviceprovider verursachen, wenn Sie nur einen Teil des Dialogablaufs testen.
      Hinweis

      Sie können diese Option nur verwenden, wenn der ausgewählte LLM-Service eine statische Antwort von 200 aufweist.
    • Standard: Wenn Sie diese Option auf (true) setzen, wird der LLM-Service als Standardauswahl im LLM-Servicemenü der LLM-Komponente festgelegt. Wenn ein vorhandener LLM-Service bereits als Standard festgelegt ist, wird sein Standardstatus überschrieben (d.h. auf "false" gesetzt), wenn Sie diesen für einen anderen LLM-Service aktivieren.
  4. Klicken Sie auf die Aktion Speichern (rechts).
    Das Aktionssymbol "Speichern".

LLM-Services, die in Releases vor 24.02 als REST-Services erstellt wurden, werden mit der Warnung Das Warnsymbol. gekennzeichnet. Um diese Warnung zu verwerfen, wählen Sie den REST-Service aus (auf den über Einstellungen > API-Services zugegriffen wird), und klicken Sie auf In LLM konvertieren.