KI-Agents für Unternehmen in OCI Generative AI
OCI Generative AI bietet zwei Hauptansätze für die Erstellung von Agents der Unternehmensklasse. Sie können sie auch in einer Hybridarchitektur kombinieren.
Die beiden Ansätze sind:
- Erstellen Sie Agents mit der OCI Responses API
- Bereitstellen gehosteter Agent-Anwendungen in OCI Generative AI
Mit diesen Optionen können Sie mit einem einfachen API-First-Ansatz beginnen, zu gehosteten Deployments wechseln, wenn Sie sie benötigen, oder beides in derselben Architektur kombinieren.
Ansatz 1: Agents mit der OCI Responses API erstellen
Verwenden Sie die API für OCI-Antworten, wenn Sie eine flexible API-First-Methode zum Erstellen von Agents benötigen, ohne die Infrastruktur selbst zu verwalten.
Die OCI Responses API ist die primäre API für agentenbezogene Workflows in OCI Generative AI. Es ist OpenAI-kompatibel, d.h. Sie verwenden dieselbe Anforderungssyntax und dieselben Anforderungsmuster wie die OpenAI Responses API. Die Basis-URL verweist jedoch auf OCI Generative AI, die Authentifizierung verwendet OCI Generative AI-Zugangsdaten, und Anforderungen werden über OCI Generative AI in OCI-Regionen verarbeitet.
Dieser Ansatz ist nützlich, wenn Sie schnell Agents erstellen möchten und gleichzeitig die Modellausführung, die Toolnutzung und die unterstützenden Services, die OCI verwaltet, beibehalten möchten.
Was die Responses API unterstützt
Mit der OCI Responses API können Sie:
- Wählen Sie aus unterstützten OCI-angebotenen Modellen in unterstützten OCI-Regionen aus.
- Verwenden Sie ein OpenAI-kompatibles API-Format mit OCI-Authentifizierung und OCI-verwalteter Ausführung.
- Erstellen Sie ein- oder mehrstufige Agent-Workflows.
- Konversationskontext für Multiturn-Interaktionen hinzufügen.
- Verwenden Sie API-unterstützte Tools wie Dateisuche, Code-Interpreter, Funktionsaufruf und MCP-Aufruf.
- Integrieren Sie grundlegende API wie Dateien, Vektorspeicher und Container in denselben Workflow.
Gespräche und Gedächtnis
Die Responses-API arbeitet mit der Conversations-API zusammen, sodass Sie den Kontext in einer Multiturn-Unterhaltung abwechselnd beibehalten können.
OCI Generative AI stellt auch eine Ressource namens Projekte bereit. Ein Projekt gruppiert zugehörige Agent-Ressourcen, wie Antworten, Unterhaltungen, Dateien, Container und Speichereinstellungen.
Innerhalb eines Projekts können Sie das Speicherverhalten konfigurieren, einschließlich:
- Langzeitspeicher für persistenten Kontext über zugehörige Interaktionen im selben Projekt hinweg
- Kurzzeitgedächtnis für Kontext, der in einer laufenden Unterhaltung übertragen wird
Auf diese Weise können Sie verwandte Agent-Workflows organisieren und den beibehaltenen Kontext kontrolliert verwalten.
Tools mit der Responses-API
Die Toolunterstützung ist Teil der Responses-API. Wenn Sie eine API-Anforderung für Antworten senden, können Sie unterstützte Tooldefinitionen direkt in die Anforderung aufnehmen.
OCI Generative AI unterstützt die folgenden API-Tools für Antworten:
- Dateisuche
- Code-Interpreter
- Funktionsaufrufe
- MCP - Aufruf
Diese Tools erweitern, was das Modell während eines Workflows tun kann. Da OCI Generative AI die Unterstützung für mehr Responses-API-Tools erweitert, kann dieses Set wachsen.
Grundlegende API mit der Responses API
Wenn ein Workflow grundlegende Bausteine benötigt, können Sie die grundlegende API zusammen mit der Responses-API verwenden.
Diese grundlegende API umfasst:
- Dateien
- Vektorspeicher
- Container
Diese API ist auch OpenAI-kompatibel und arbeitet nahtlos mit der Responses-API zusammen. Sie können sie verwenden, um Abruf, Dokumentverarbeitung, Sandbox-Ausführung und andere Anforderungen an den Agent-Workflow zu unterstützen.
SQL-Suche (NL2SQL)
OCI Generative AI bietet auch SQL Search (NL2SQL) für Enterprise AI Agent-Workflows. NL2SQL konvertiert Anforderungen in natürlicher Sprache in validiertes SQL für föderierte Unternehmensdaten, ohne die zugrunde liegenden Daten zu verschieben oder zu kopieren. Die Quelldaten müssen in Oracle Autonomous Database gespeichert werden. NL2SQL verwendet eine semantische Anreicherungsschicht, um Geschäftsbegriffe Datenbanktabellen, Spalten und Joins zuzuordnen.
NL2SQL generiert nur SQL und führt die Abfrage nicht aus. Um ihn zu verwenden, erstellen Sie einen semantischen Speicher, der von einem strukturierten Datenvektorspeicher gesichert wird. Konfigurieren Sie die erforderlichen Verbindungen, führen Sie eine Anreicherung aus, und rufen Sie dann die API GenerateSqlFromNl auf. Die Abfrageausführung wird separat über den DBTools MCP-Server abgewickelt. Dieser autorisiert die Abfrage und führt sie mit vorhandenen Berechtigungen und Guardrails für die Quelldatenbank aus.
Warum diesen Ansatz nutzen?
Verwenden Sie den API-Ansatz "Antworten", wenn Sie möchten:
- Schnellstart für die Erstellung von Agents
- OCI-verwaltete Ausführung ohne Infrastrukturverwaltung
- OpenAI-kompatible Anforderungssyntax
- Flexible Unterstützung für Modelle, Unterhaltungen, Tools und grundlegende APIs
- Eine API-First-Architektur, die mit Ihrer Anwendung wachsen kann
- Zugriff auf andere OCI-Agent-Funktionen wie NL2SQL für Unternehmensdatenworkflows
Kurz gesagt, dieser Ansatz bietet Ihnen eine schnelle und flexible Möglichkeit, Agents zu erstellen, während OCI Generative AI die zugrunde liegende Ausführungsumgebung verwaltet.
Ansatz 2: Gehostete Agent-Anwendungen bereitstellen
Verwenden Sie gehostete Anwendungen, wenn Sie Ihre eigene Agent-Laufzeit in OCI Generative AI verpacken und bereitstellen möchten.
In diesem Ansatz stellt OCI Generative AI ein Managed Hosting-Modell bereit, das auf zwei Ressourcen basiert:
- Anwendungen
- Deployments
Eine Anwendung definiert die Konfiguration der gehosteten Anwendung. Ein Deployment führt ein bestimmtes Containerimage für diese Anwendung aus.
Dieser Ansatz ist nützlich, wenn Sie bereits eine Agent-Anwendung haben, die Sie in einer OCI-verwalteten Infrastruktur verpacken, bereitstellen und ausführen möchten.
In einer Anwendung eingerichtete Elemente
Wenn Sie eine Anwendung erstellen, definieren Sie die Core-Hosting-Konfiguration für die Agent-Anwendung.
Dazu gehören Einstellungen wie:
- Deployment-Skalierungsverhalten zur Verarbeitung von Last
- Ob die Anwendung verwalteten Speicher verwendet
- Den verwalteten Speicherservice, den die Anwendung verwendet:
- OCI PostgreSQL
- OCI-Cache
- Oracle Autonomous Database
- VCN und Subnetz für die Anwendung
- Gibt an, ob die Anwendung öffentliche oder private Endpunkte verwendet
- Konfiguration der OCI-IAM-Identitätsdomain für die Anwendung
OCI IAM-Anwendungsintegration
Im Rahmen des gehosteten Anwendungsmodells weisen Sie eine Anwendung in einer OCI-Identitätsdomain zu.
Diese OCI-Identitätsdomainanwendung ist eine registrierte benutzerdefinierte Anwendung in Oracle Cloud Infrastructure Identity and Access Management (OCI IAM). Sie steuert den Benutzerzugriff und unterstützt sichere Integration, Single Sign-On (SSO) und Identitätspropagierung mithilfe von OAuth-Protokollen.
Funktionsweise von Deployments
Nachdem Sie die Anwendung erstellt haben, erstellen Sie ein Deployment innerhalb dieser Anwendung.
Ein Deployment verwendet die von der Anwendung definierte Konfiguration und verweist auf ein bestimmtes Containerimage, das Sie erstellen und an OCI Container Registry übertragen.
Der typische Ablauf ist:
- Container-Image erstellen
- Übertragen Sie das Image per Push an OCI Container Registry
- Anwendung in OCI Generative AI erstellen
- Deployment in dieser Anwendung erstellen
- Deployment auf das Containerimage verweisen
- Deployment ausführen und aktivieren
Das aktive Deployment verarbeitet Anforderungen über den Anwendungsendpunkt.
Warum diesen Ansatz nutzen?
Verwenden Sie gehostete Anwendungen, wenn Sie möchten:
- So führen Sie Ihre eigene in einem Package integrierte Agent-Laufzeit in OCI aus
- OCI-verwaltete Infrastruktur für Hosting und Skalierung
- Verwaltete Netzwerk-, Speicher- und Identitätsintegration
- Ein Deployment-Modell, das auf Containerimages und OCI Container Registry basiert
- Eine Produktions-Hosting-Option für Agent-Anwendungen
Dieser Ansatz wurde für das Hosting von Agent-Anwendungen auf einer OCI-verwalteten Infrastruktur mit integrierter Unterstützung für Deployment und Autoscaling entwickelt.
Hybridansatz
Da beide Ansätze verfügbar sind, können Sie auch einen Hybridansatz verwenden.
In einer Hybridarchitektur verwenden Sie die Responses-API für Modellorchestrierung, Unterhaltungen, Tools, grundlegende APIs und unterstützende Funktionen wie NL2SQL und verwenden gleichzeitig gehostete Deployments für benutzerdefinierte Agent-Laufzeiten, die Sie in OCI verpacken und ausführen.
So könnten Sie z.B.:
- OCI-Responses-API für Modellinteraktion und Toolverwendung aufrufen
- Konversations-API und projektbasierter Speicher für die Kontextverarbeitung verwenden
- Dateien, Vektorspeicher und Container als Teil des Workflows verwenden
- NL2SQL für Natural Language-to-SQL-Generierung für föderierte Unternehmensdaten verwenden
- Benutzerdefinierte Agent-Laufzeit als gehostete Anwendung bereitstellen
Auf diese Weise können Sie OCI-verwaltete Agent-Funktionen mit in einem Package integrierten Anwendungskomponenten kombinieren, die Sie in OCI ausführen möchten.
Entscheiden Sie, welcher Ansatz zu Ihrem Anwendungsfall passt
Verwenden Sie den Ansatz der Responses-API, wenn Sie auf die schnellste und flexibelste Weise Agents mit OCI-verwalteter Modellausführung, Unterhaltungen, Tools, grundlegenden APIs und unterstützenden Funktionen wie NL2SQL erstellen möchten.
Verwenden Sie gehostete Anwendungen, wenn Sie Ihre eigene Agent-Laufzeit verpacken und bereitstellen und auf einer OCI-verwalteten Infrastruktur ausführen möchten.
Verwenden Sie einen Hybridansatz, wenn Ihre Architektur von beiden Modellen profitiert.
Diagramm
Das Diagramm zeigt, wie diese Teile zusammenpassen. Auf der einen Seite befindet sich die Client- oder Agent-Anwendung, einschließlich SDK, Frameworks, Prompts, Modelleinstellungen und lokalen Tools. In der Mitte befinden sich die verwaltete OCI-API und -Ressourcen, einschließlich der OCI Responses-API, des Speichers, der Dateien, Vektorspeicher, Container und der zugehörigen Toolfunktionen. Auf der anderen Seite befinden sich die OCI-verwaltete Laufzeit und Infrastruktur, die zur Ausführung von Modellen, Tools und gehosteten Workloads bei gleichzeitiger Integration mit OCI-Services und Drittanbietersystemen verwendet wird.
