Mit der Integration großer Sprachmodelle (LLMs) von Oracle Digital Assistant können Sie Ihre Fähigkeiten mit generativen KI-Funktionen verbessern.

Diese Funktionen umfassen:

• Umgang mit Small Talk mit einem Benutzer.
• Erstellen schriftlicher Zusammenfassungen von Daten.
• Automatisierung anspruchsvoller oder sich wiederholender Geschäftsaufgaben, wie sie beispielsweise für die Talentakquise erforderlich sind.
• Bereitstellen einer Sentimentanalyse eines bestimmten Textes, um festzustellen, ob der Text eine positive, negative oder neutrale Meinung widerspiegelt.

Mit der Komponente "Large Language Model aufrufen" (LLM-Komponente) können Sie diese Funktionen überall dort in den Dialogablauf integrieren, wo sie benötigt werden. Diese Dialogablaufkomponente ist das primäre Integrationselement für generative KI, da sie die LLM über einen REST-Aufruf kontaktiert und dann dem LLM eine Eingabeaufforderung (die Anweisungen in natürlicher Sprache an das LLM) zusammen mit zugehörigen Parametern sendet. Es gibt dann die vom Modell generierten Ergebnisse zurück (die auch als Abschlüsse bezeichnet werden) und verwaltet den Status der LLM-Benutzerinteraktionen, sodass die Antworten nach aufeinanderfolgenden Runden von Benutzerabfragen und Feedback im Kontext bleiben. Die LLM-Komponente kann jedes LLM aufrufen. Sie können Flüssen mindestens einen LLM-Komponentenstatus (oder LLM-Blöcke) hinzufügen. Sie können die LLM-Aufrufe auch verketten, sodass die Ausgabe einer LLM-Anforderung an eine nachfolgende LLM-Anforderung übergeben werden kann.

Neben der LLM-Komponente umfassen die anderen Hauptkomponenten der LLM-Integration Endpunkte für den LLM-Serviceprovider sowie Transformations-Handler für die Konvertierung der Anforderungs- und Antwort-Payloads in das und aus dem Format des Digital Assistant, das Common LLM Interface (CLMI). Im Folgenden finden Sie die allgemeinen Schritte zum Hinzufügen dieser und anderer Komponenten zum Erstellen der LLM-Integration für Ihren Skill:

• Registrieren Sie einen API-Service in der Digital Assistant-Instanz für den REST-Endpunkt des LLM.
• Erstellen Sie für Ihren Skill einen LLM-Transformationsereignis-Handler, um die LLM-Anforderungs- und Antwort-Payloads in und aus CLMI zu konvertieren.
  Hinweis
  
  Wir stellen vordefinierte Handler bereit, wenn Sie Ihren Skill in das Cohere-Modell oder in den generativen KI-Service von Oracle integrieren. Wenn Sie auf andere Modelle wie Azure OpenAI zugreifen, können Sie den von uns bereitgestellten Startertransformationscode aktualisieren.
• Definieren Sie einen LLM-Service für Ihren Skill, der dem REST-Service zugeordnet ist, den Sie bei der Instanz mit einem LLM-Transformations-Handler registriert haben.
• Fügen Sie im Ablauf, in dem Sie das LLM verwenden möchten, eine LLM-Komponente ein, und konfigurieren Sie sie, indem Sie den Prompt-Text hinzufügen und andere Parameter festlegen.

  Tipp:

  Als Best Practice wird empfohlen, den Prompt Builder (auf den über die LLM-Komponente zugegriffen wird) zu verwenden, um den Prompt zu perfektionieren.