Erstellen Sie einen generativen KI-Stack auf Unternehmensebene auf Oracle Cloud Infrastructure

Die Erstellung eines End-to-End-Stacks für generative KI auf Oracle Cloud Infrastructure (OCI) erfordert einen mehrschichtigen Ansatz für die Integration künstlicher Intelligenz in Unternehmenssysteme.

Der Zweck besteht darin, die Anwendungsentwicklung zu optimieren, eine robuste Datenintegration sicherzustellen und Sicherheitsmaßnahmen über verschiedene Ebenen hinweg zu verbessern. Es erleichtert die Bereitstellung von KI-Modellen, verwaltet Kundendaten effizient und integriert erweiterte Protokollierung und Überwachung, um eine hohe Leistung und Zuverlässigkeit zu gewährleisten. Diese Referenzarchitektur behandelt auch die verschiedenen erforderlichen Komponenten und wie verschiedene LLMs basierend auf der erforderlichen Antwort für die Zusammenarbeit orchestriert werden können.

Architektur

Diese Referenzarchitektur beschreibt einen vierschichtigen KI-Stack und alle verschiedenen Komponenten, die für die Implementierung einer generativen KI-Lösung der Unternehmensklasse in einer Unternehmensumgebung erforderlich sind.

1. Anwendungsebene
2. Zugriffsschicht
3. Protokollierung und Überwachung in der gesamten Lösung
4. AI-Schicht, die aus den folgenden fünf Modulen besteht:
   • KI-Integration
   • LLM
   • KI-Entwicklung
   • Data Integration
   • Kontext und Datenkatalog

Der für diese Referenzarchitektur berücksichtigte hypothetische Fluss wird im folgenden Abschnitt beschrieben:

1. Eine Anforderung wird von der Anwendung an die API- und Zugriffsschicht gesendet.
2. Die Schicht ist durch WAF geschützt, und die Anforderung wird mit OCI Identity and Access Management und Autorisierungs-Policys auf Authentifizierung geprüft.
3. Das API-Gateway leitet die Anforderung dann an die Integrationsschicht weiter. Diese Schicht umfasst LangChain, das für KI-Abstraktion und -Orchestrierung verwendet wird. Dieser Layer enthält auch das Prompts Repository, das auf die Ausnahmeliste gesetzt und der richtigen Autorisierung und der LLM-Modellversion zugeordnet wurde.
4. Die Anforderung wird an das LLM gesendet, das der Anforderungsklasse und dem Prompt entspricht.
5. Kontext- und Consumer-Historie wird aus der Kontextdatenbank geladen.
6. Auf den Speicherort aller Daten, die angereichert werden müssen, wird über den Datenkatalog zugegriffen.
7. Angenommen, einige Daten fehlen noch. Die Datenintegrationsschicht prüft zunächst, ob die Daten zwischengespeichert wurden und ob sie nicht aus den Daten des Kunden abgefragt werden.
8. LLM wird durch Integration reagieren.
9. Die Antwort wird den Halluzinations-Checker durchlaufen, der Halluzinations-Checker führt dann eine gegnerische KI aus, um zu überprüfen, ob die Antwort sinnvoll ist.
10. Schließlich wird das API-Gateway zurück zur Anwendung geleitet.

Das folgende Diagramm veranschaulicht diese Referenzarchitektur.

Beschreibung der Abbildung oci-genai-enterprise-arch.png

oci-genai-enterprise-arch-oracle.zip

Gehen wir durch die Bausteine, die jede Blockschicht bilden:

KI-Schicht

1. Mischen und passen Sie LLMs innerhalb des LLM-Moduls mit jedem LLM an, der für den Bereich verwendet wird, für den es am besten geeignet ist.
2. Der Kontext muss pro Kunde und über verschiedene Unterhaltungen hinweg verwaltet werden. Mit Data Catalog können die verschiedenen LLMs wissen, wo die erforderlichen Daten zu finden sind.
3. Die Datenintegrationsschicht greift auf die Kundendaten zu und stellt sie KI schnell zur Verfügung. Dazu gehören das erforderliche Daten-Caching sowie die Integration.
4. Das AI-Integrationsmodul verwaltet die Prompts Repo, LangChain zu abstrakten LLMs und Oracle Integration zur Integration.
5. Die KI-Entwicklungsschicht ermöglicht die Modellversionierung und -speicherung sowie die DevOps, die zur Entwicklung der Lösung erforderlich sind.

Logging- und Überwachungsschicht

1. Halluzination Checker führt gegnerische KI aus, um die Ausgabe der LLM-Ausgabe auszuführen, um ihre Richtigkeit zu validieren.
2. Application Performance Monitoring verfolgt das Performance-SLA.
3. Logging und Auditing verfolgen, wie die generative KI-Lösung verwendet wird, um das System zu beobachten und potenzielle Probleme zu identifizieren.

API und Zugriffsschicht

1. Das API-Gateway ermöglicht einen kontrollierten Zugriff auf den AI-Stack.
2. Die Richtlinien werden zentral verwaltet, um den Zugriff auf den LLM-Stack zu verwalten.
3. WAF schützt die Umgebung vor potenziellen Angriffsvektoren.
4. Zugriffstoken und -kontrolle werden mit OCI Identity and Access Management verwaltet.

Die Architektur umfasst die folgenden Komponenten:

• OCI Generative AI-Agents

  OCI Generative AI Agents ist ein vollständig verwalteter Service, der die Leistungsfähigkeit großer Sprachmodelle (LLMs) mit einem intelligenten Abrufsystem kombiniert, um kontextbezogene relevante Antworten zu erstellen, indem Sie Ihre Wissensdatenbank durchsuchen. Ihre KI-Anwendungen intelligent und effizient zu gestalten. OCI Generative AI Agents unterstützt verschiedene Möglichkeiten, Ihre Daten zu integrieren, und ermöglicht Ihnen und Ihren Kunden dann die Interaktion mit Ihren Daten über eine Chatschnittstelle oder API.

• Generative KI

  Oracle Cloud Infrastructure Generative AI ist ein vollständig verwalteter OCI-Service, der eine Reihe hochmoderner, anpassbarer großer Sprachmodelle (Large Language Models, LLMs) bereitstellt, die eine Vielzahl von Anwendungsfällen für die Textgenerierung, Zusammenfassung, semantische Suche und mehr abdecken. Mit dem Playground können Sie vortrainierte Modelle sofort verwenden oder eigene optimierte benutzerdefinierte Modelle basierend auf Ihren eigenen Daten auf dedizierten KI-Clustern erstellen und hosten.

• Integration

  Oracle Integration ist eine vollständig verwaltete, vorkonfigurierte Umgebung, in der Sie Cloud- und On-Premise-Anwendungen integrieren, Geschäftsprozesse automatisieren und visuelle Anwendungen entwickeln können. Es verwendet einen SFTP-konformen Dateiserver zum Speichern und Abrufen von Dateien und ermöglicht Ihnen den Austausch von Dokumenten mit Geschäftspartnern, indem Sie ein Portfolio aus Hunderten von Adaptern und Rezepten für die Verbindung mit Oracle- und Drittanbieteranwendungen verwenden.

• API Gateway

  Mit Oracle Cloud Infrastructure API Gateway können Sie APIs mit privaten Endpunkten veröffentlichen, auf die Sie über Ihr Netzwerk zugreifen können, und die Sie bei Bedarf im öffentlichen Internet verfügbar machen können. Die Endpunkte unterstützen API-Validierung, Anforderungs- und Antworttransformation, CORS, Authentifizierung und Autorisierung sowie Anforderungsbegrenzung.

• OCI Data Integration

  Oracle Cloud Infrastructure Data Integration ist ein vollständig verwalteter, serverloser, Cloud-nativer Service, der Daten aus einer Vielzahl von Datenquellen extrahiert, lädt, transformiert, bereinigt und neu gestaltet in Oracle Cloud Infrastructure-Zielservices wie Autonomous Data Warehouse und Oracle Cloud Infrastructure Object Storage. ETL (Extract Transform Load) nutzt eine vollständig verwaltete Scale-Out-Verarbeitung in Spark, und ELT (Extract Load Transform) nutzt die vollständigen SQL-Pushdown-Funktionen von Autonomous Data Warehouse, um die Datenbewegung zu minimieren und die Amortisierungszeit für neu aufgenommene Daten zu verbessern. Benutzer entwerfen Datenintegrationsprozesse mit einer intuitiven, codeless-Benutzeroberfläche, die Integrationsabläufe optimiert, um die effizienteste Engine und Orchestrierung zu generieren und die Ausführungsumgebung automatisch zuzuweisen und zu skalieren. Oracle Cloud Infrastructure Data Integration bietet interaktive Explorationen und Datenvorbereitung und unterstützt Data Engineers beim Schutz vor Schemaabweichungen, indem Regeln zur Verarbeitung von Schemaänderungen definiert werden.

• Oracle Exadata Database Service

  Mit Oracle Exadata Database Service können Sie die Vorteile von Exadata in der Cloud nutzen. Oracle Exadata Database Service bietet bewährte Oracle Database-Funktionen für eine speziell entwickelte, optimierte Oracle Exadata-Infrastruktur in der Public Cloud und in Cloud@Customer. Dank integrierter Cloud-Automatisierung, elastischer Ressourcenskalierung, Sicherheit und schneller Performance für alle Oracle Database-Workloads können Sie die Verwaltung vereinfachen und Kosten senken.

• Identity and Access Management (IAM)

  Oracle Cloud Infrastructure Identity and Access Management (IAM) ist die Zugriffskontrollebene für Oracle Cloud Infrastructure (OCI) und Oracle Cloud Applications. Mit der IAM-API und der Benutzeroberfläche können Sie Identitätsdomains und die Ressourcen innerhalb der Identitätsdomain verwalten. Jede OCI-IAM-Identitätsdomain stellt eine eigenständige Identity and Access Management-Lösung oder eine andere Benutzerpopulation dar.

Empfehlungen

Verwenden Sie die folgenden Empfehlungen als Ausgangspunkt. Ihre Anforderungen können von der hier beschriebenen Architektur abweichen.

• Oracle Cloud Infrastructure + Generative KI
  Generative KI kann Innovationen vorantreiben, Prozesse verbessern und Unternehmen dabei helfen, mehr als je zuvor zu erreichen, erfordert jedoch den richtigen Ansatz. Oracle stellt Unternehmen überall das Beste aus KI zur Verfügung, mit einem einzigartigen Fokus auf leistungsstarke Modelle, die Einbettung generativer KI im gesamten Stack sowie Datenmanagement, Sicherheit und Datenschutz. Durch die Einbettung von KI in den gesamten Technologie-Stack – von der Infrastruktur, auf der Unternehmen laufen, bis hin zu Anwendungen für jeden Geschäftsbereich, von der Finanzabteilung über die Lieferkette bis hin zum Personalwesen – unterstützt Oracle Unternehmen dabei, KI pragmatisch zu nutzen, um die Leistung zu verbessern und gleichzeitig Zeit, Energie und Ressourcen zu sparen:

  • Unsere Kern-Cloud-Infrastruktur umfasst jetzt eine einzigartige KI-Infrastrukturschicht, die auf unserer Supercluster-Technologie basiert und die neueste und beste Hardware nutzt, einschließlich leistungsstarker GPUs, die für das effiziente Training und die Bereitstellung von KI-Modellen unerlässlich sind, insbesondere für rechenintensive Szenarien wie Large Language Processing (LLP). Diese Infrastruktur wurde speziell entwickelt, um die Funktionen von KI- und GPU-Technologien zu maximieren und eine optimale Performance und Skalierbarkeit für KI-Workloads von Unternehmen sicherzustellen.
  • Zusätzlich zu dieser Infrastruktur integriert unsere Datenbankschicht KI in unsere Produkte wie Oracle Autonomous Database und Oracle MySQL HeatWave mit AutoML (im maschinellen Lernen integriert), damit Entwickler vordefinierte Modelle zu Anwendungen und Vorgängen hinzufügen können, ohne Experten für Technologien wie ML zu sein.
  • Unsere Anwendungsentwicklungsplattform bietet KI-Services wie Oracle Digital Assistant für Natural Language Processing (NLP).
  • Darüber hinaus sind in das breite Spektrum der Branchenanwendungen von Oracle KI-Modelle eingebettet, die darauf trainiert werden, die spezifischen Herausforderungen von Branchen wie dem Gesundheitswesen und Finanzdienstleistungen, dem Einzelhandel, der Fertigung und dem öffentlichen Sektor zu bewältigen. Dies versetzt uns in eine einzigartige Position, um unseren Kunden zu helfen, Workloads zu optimieren, um die komplexesten und strategischsten Herausforderungen zu lösen.
• LangChain-Integration

  Sie können OCI Generative AI mit den folgenden Features zu einer LangChain-basierten Implementierung hinzufügen:

  • Open Source: Open Source Framework zur Erstellung oder Orchestrierung von LLM-basierten Anwendungen.
  • LLM-Modelle und -Prompts definieren: Arbeiten Sie mit bevorzugten LLM-Modellen, und definieren Sie kontextbezogene Prompts.
  • Indexbibliotheken: Richten Sie eine RAG-Architektur mit Out-of-the-box-Bibliotheken für Textaufteilung, SQL für Unterhaltung 2 usw. ein.
  • Chains, Agents und Speicher: Richten Sie komplexere LLM-Workflows mit Chains und Agents ein, und können Sie die Unterhaltungshistorie verwenden, um mehr Kontext festzulegen.

Hinweise

Berücksichtigen Sie diese Optionen bei der Implementierung dieser Referenzarchitektur.

• Generative KI-Anwendungsfälle für alle Geschäftsfunktionen

  Sie können die Verwendung generativer KI-Features über verschiedene Geschäftsfunktionen hinweg in Betracht ziehen, wie in einigen der folgenden Beispiele beschrieben:

  Kundenvorgänge

  • Automatisierter Kundenservice basierend auf Produktsuite, Erfahrung und Sprache des Kunden.
  • KI-Aufrufskripte in Echtzeit basierend auf der Unterhaltungshistorie und dem Anruferkontext.
  • Feedback des Anrufbearbeiters zur Anrufperformance, Möglichkeiten zur Optimierung zukünftiger Anrufe.

  Marketing

  • Content-Generierung für E-Commerce (Produktbeschreibungen), B2B (für SEO optimierte Artikel) in Brand Voice.
  • Massenpersonalisierung von Suche, Kontaktaufnahme, Kundenpflege basierend auf Käuferprofil und Nutzungshistorie.
  • Synthese, Clustering unstrukturierter Kundendaten zur Identifizierung neuer Trends und Personas.

  Vertrieb

  • Benutzerdefinierte Vertriebsansprache basierend auf Interaktionshistorie und Interessentenprofil, um Zeit für Vertriebsmitarbeiter freizugeben.
  • Virtuelle Vertriebsmitarbeiter, die Interessenten vom Angebot bis zum Verkauf führen.
  • Benutzerdefinierte Generierung von Verkaufsgesprächen für neue Kunden basierend auf vorhandenen Inhalten.

  Produktentwicklung

  • Analyse, Reinigung und Kennzeichnung großer Datenmengen, wie Benutzerfeedback, Markttrends, Protokolle.
  • Automatische Ausführung von Codierung und API zur Beschleunigung von Entwicklung, Refactoring und Systemintegration.
  • Testen der Automatisierung durch Erstellen synthetischer Daten und Kompilieren von Logdaten.

  Strategie und Finanzen

  • Synthese unstrukturierter Daten aus Ergebnisaufrufen, Analystenberichten und anderen Quellen.
  • Automatisierung komplexer, kontextbezogener Prozesse wie Ausgaben.
  • Skalierbare Überwachung von Wettbewerbern und Kunden über öffentliche oder private Quellen hinweg.
• AI Vector Search and Store: Oracle Database 23ai und Oracle MySQL HeatWave
  Vektoren werden verwendet, um den semantischen Inhalt von Bildern, Dokumenten, Videos usw. darzustellen.

  • Mit einer konvergenten Datenbank können Sie bei der Beantwortung einer Frage sowohl Geschäftsdaten als auch Vektoren verwenden.
  • Sie müssen keine Daten verschieben und synchronisieren, mehrere Produkte verwalten usw.

Mehr erfahren

Lesen Sie diese zusätzlichen Ressourcen, um mehr über die Features dieser Referenzarchitektur zu erfahren.

• OCI Generative AI-Agents
• Dokumentation zu OCI Generative AI Agents
• Blog: Ankündigung des RAG-Service für OCI Generative AI Agents
• KI-Lösungshub
• Oracle Cloud Infrastructure-Dokumentation
• Ausgefeiltes Framework für Oracle Cloud Infrastructure
• Oracle Cloud Kostenschätzer

Danksagungen

• Autor: Badr Tharwat