Chat mit Oracle Generative AI in einem dedizierten AI-Cluster zusammenfassen

Heute verlassen sich Unternehmen auf ihre Support-Center, um die Probleme externer Kunden zu lösen. Im Rahmen des Support-Engagement-Prozesses nutzt der Support-Ingenieur die Chat-Kommunikation, um effizient mit dem Kunden in Kontakt zu treten. Um die Kundenerfahrung zu verbessern, muss der Techniker nach dem Chat zusätzliche Zeit damit verbringen, zusammenfassende Notizen zu den besprochenen Themen zu teilen.

Mit dem generativen KI-Service von Oracle Cloud Infrastructure (OCI) kann der Techniker den Inhalt des Chats zusammenfassen und den End-to-End-Kommunikationsprozess automatisieren. Darüber hinaus können Sie mit OCI Generative AI die Modelle verfeinern und mit Ihren eigenen Daten anpassen. Mit dem dedizierten KI-Cluster können Sie benutzerdefinierte Modelle optimieren oder Endpunkte für benutzerdefinierte Modelle hosten. Die Lernmodelle können das Gespräch effektiv in einem menschenfreundlichen, lesbaren Ton zusammenfassen, was dem Ingenieur wertvolle Zeit spart und die Produktivität der Kundenbindung erhöht.

Diese Referenzarchitektur beschreibt, wie der OCI Generative AI-Service die Chatkommunikation zwischen den Benutzern zusammenfasst.

Architektur

Diese Referenzarchitektur nutzt Oracle Digital Assistant (ODA), um Gespräche mit menschlichen Benutzern über das Internet zu simulieren. ODAs sind KI-gesteuerte Schnittstellen, mit denen Benutzer eine Reihe von Aufgaben in Konversationen mit natürlichen Sprachen ausführen können. Sie können ODA in eine benutzerdefinierte wissensbasierte Suche integrieren, um dem Benutzer weitere Informationen zum Kontext bereitzustellen. Diese Architektur verwendet auch ein OCI-API-Gateway, um die APIs aus generativer KI und digitalem Assistenten zu sichern und zu verwalten. Sie können diese APIs für die Integration in jede Anwendung verwenden. Beispiel: Diese Architektur ist in Oracle B2C Service Cloud integriert. Mit dem Webhook-Code kann der ODA-Bot Chats zur detaillierten Analyse und Problemlösung an einen Live-Agent übertragen. Nachdem die Chatkommunikation geschlossen wurde, verwendet OCI Generative AI das fein abgestimmte Modell, das im dedizierten KI-Cluster gehostet wird, um eine Zusammenfassung des Chats zu generieren. Die Zusammenfassung wird mit dem Kunden über OCI Email Delivery Service geteilt. Diese Architektur nutzt auch die OCI Logging- und Monitoring-Services für bessere Sichtbarkeit und Ressourcenkontrolle. Wenn eine Feinabstimmung nicht erforderlich ist, können Sie mit dem verwalteten Service das Basismodell aufrufen, sodass kein dediziertes KI-Cluster erforderlich ist.

In dieser Referenzarchitektur werden die folgenden OCI-Services bereitgestellt:

OCI Generative AI Service mit dediziertem KI-Cluster für Textzusammenfassung
Oracle Digital Assistant
OCI API Gateway
OCI Email Delivery
Oracle B2C Service-Cloud

Das folgende Diagramm veranschaulicht diese Referenzarchitektur.

Beschreibung von summize-chat-oci-gen-ai.png folgt
Beschreibung der Abbildung summize-chat-oci-gen-ai.png

summize-chat-oci-gen-ai-oracle.zip

Die Architektur umfasst die folgenden Komponenten:

Region
Eine OCI-Region ist ein lokalisierter geografischer Bereich, der mindestens ein Data Center enthält, das als Availability-Domain bezeichnet wird. Regionen sind unabhängig von anderen Regionen, und große Entfernungen können sie trennen (über Länder oder sogar Kontinente).
Virtuelles Cloud-Netzwerk (VCN) und Subnetze
Ein VCN ist ein benutzerdefinierbares, softwaredefiniertes Netzwerk, das Sie in einer OCI-Region einrichten können. Wie herkömmliche Data Center-Netzwerke erhalten Sie mit VCNs vollständige Kontrolle über Ihre Netzwerkumgebung. Ein VCN kann mehrere sich nicht überschneidende CIDR-Blöcke aufweisen, die Sie nach dem Erstellen des VCN ändern können. Sie können ein VCN in Subnetze segmentieren, die sich auf eine Region oder eine Availability-Domain beschränken. Jedes Subnetz besteht aus einem Bereich zusammenhängender Adressen, die sich nicht mit anderen Subnetzen im VCN überschneiden. Sie können die Größe eines Subnetzes nach der Erstellung ändern. Ein Subnetz kann öffentlich oder privat sein.
Objektspeicher
Mit dem Objektspeicher können Sie schnell auf große Mengen an strukturierten und unstrukturierten Daten eines beliebigen Inhaltstyps zugreifen, darunter Datenbankbackups, Analysendaten und umfangreiche Inhalte, wie Bilder und Videos. Sie können Daten sicher und geschützt speichern und dann direkt aus dem Internet oder aus der Cloud-Plattform abrufen. Sie können den Speicher nahtlos skalieren, ohne die Performance oder Servicezuverlässigkeit zu beeinträchtigen. Verwenden Sie Standardspeicher für "Hot Storage", auf den Sie schnell, sofort und häufig zugreifen müssen. Verwenden Sie Archivspeicher für "Cold Storage, den Sie über lange Zeiträume beibehalten möchten und auf den Sie nur selten zugreifen.
Generative OCI Generative AI
OCI Generative AI ist ein vollständig verwalteter Service, der über eine API verfügbar ist, um diese vielseitigen Sprachmodelle nahtlos in eine Vielzahl von Anwendungsfällen zu integrieren, einschließlich Schreibunterstützung, Zusammenfassung und Chat. Der OCI Generative AI-Service umfasst die folgenden grundlegenden Modelle:
- Generierung: Geben Sie Anweisungen zum Generieren von Text oder zum Extrahieren von Informationen aus Ihrem Text.
- Zusammenfassung: Fassen Sie den Text mit dem von Ihnen angegebenen Format, der Länge und dem Ton zusammen.
- Einbetten: Konvertieren Sie Text in Vektoreinbettungen, um ihn in Anwendungen für semantische Suchen, Textklassifizierung oder Textclustering zu verwenden.
Dedizierte KI-Cluster
Dedizierte KI-Cluster sind Compute-Ressourcen, die Sie für die Optimierung benutzerdefinierter Modelle oder für das Hosting von Endpunkten für benutzerdefinierte Modelle verwenden können. Die Cluster werden dediziert für Ihre Modelle bereitgestellt und nicht mit Benutzern in anderen Mandanten geteilt. Mit benutzerdefinierter Modell-OCI Generative AI können Sie Ihre eigenen Daten verwenden, um die Modelle zu verfeinern.
Oracle Digital Assistant
Digital Assistant ist eine Plattform zum Erstellen von Konversationsschnittstellen oder Chatbots. Ein Chatbot ist ein Computerprogramm, das menschliche Konversationen (geschrieben oder gesprochen) simuliert und verarbeitet, sodass Menschen mit Anwendungen und Daten interagieren können, als ob sie mit einer echten Person kommunizieren würden. Entwickler stellen digitale Assistenten aus einer oder mehreren Fähigkeiten zusammen. Skills können auf vordefinierten Skills basieren, die von Oracle oder von Drittanbietern bereitgestellt werden, benutzerdefiniert entwickelt werden oder auf einer der vielen verfügbaren Skillvorlagen basieren. Digital Assistant leitet die Anforderung des Benutzers an den am besten geeigneten Skill weiter, um die Anforderung des Benutzers zu erfüllen. Skills kombinieren eine mehrsprachige NLP-Deep Learning-Engine, eine leistungsstarke Dialogfluss-Engine und Integrationskomponenten, um eine Verbindung zu Backend-Systemen herzustellen.
API Gateway
Mit Oracle API Gateway können Sie APIs mit privaten Endpunkten veröffentlichen, auf die Sie über Ihr Netzwerk zugreifen können. Bei Bedarf können Sie diese aber auch für das öffentliche Internet freigeben. Die Endpunkte unterstützen API-Validierung, Anforderungs- und Reaktionstransformation, CORS, Authentifizierung und Autorisierung sowie Anforderungsbegrenzung.
Email Delivery
OCI Email Delivery ist ein hoch skalierbarer, kosteneffektiver und zuverlässiger E-Mail-Zustellungsservice zum Senden von anwendungsgenerierten E-Mails mit hohem Volumen für geschäftskritische Marketing-, Benachrichtigungs- und Transaktionskommunikationen wie Quittungen, Betrugserkennungswarnungen, Multifaktor-Identitätsprüfung und Kennwortzurücksetzungen.
Identity and Access Management (IAM)
OCI Identity and Access Management (IAM) ist die Zugriffskontrollebene für OCI und Oracle Cloud Applications. Mit der IAM-API und der Benutzeroberfläche können Sie Identitätsdomains und die Ressourcen in der Identitätsdomain verwalten. Jede OCI IAM-Identitätsdomain stellt eine eigenständige Identity and Access Management-Lösung oder eine andere Benutzerpopulation dar.
Logging
Bei Logging handelt es sich um einen hoch skalierbaren und vollständig verwalteten Service, der Zugriff auf die folgenden Logtypen von Ihren Ressourcen in der Cloud ermöglicht:
- Auditlogs: Logs zu Ereignissen, die vom Auditservice ausgegeben werden.
- Service-Logs: Logs, die von einzelnen Services wie API Gateway, Events, Functions, Load Balancing, Object Storage und VCN-Flowlogs ausgegeben werden.
- Benutzerdefinierte Logs: Logs, die Diagnoseinformationen von benutzerdefinierten Anwendungen, anderen Cloud-Providern oder einer On-Premise-Umgebung enthalten.
Monitoring
Der OCI Monitoring-Service überwacht Ihre Cloud-Ressourcen aktiv und passiv mit Metriken, um Ressourcen und Alarme zu überwachen und Sie zu benachrichtigen, wenn diese Metriken alarmspezifische Trigger erfüllen.

Mehr erfahren

Weitere Informationen zur Chatzusammenfassung mit OCI Generative AI Services finden Sie in den folgenden Ressourcen:

Prüfen Sie diese zusätzlichen Ressourcen:

Danksagungen

Autor: Rajsagar Rawool