Überblick über das Deployment von Agents in OCI Generative AI
Sie können Agents mit OCI Generative AI Applications bereitstellen, die eine verwaltete Laufzeit für containerisierte Agent-Workloads bereitstellen.
Um einen Agent bereitzustellen, verpacken Sie ihn als Containerimage, laden Sie ihn in Oracle Cloud Infrastructure Registry (OCIR) hoch, und stellen Sie ihn mit der OCI-Konsole, -API oder -CLI bereit.
Konfigurieren Sie während des Deployments:
- Skalierung
- Speicher
- Netzwerk
- Authentifizierung
Nach dem Deployment stellt der Service einen Endpunkt (z.B. eine HTTP-URL) bereit, mit dem Clients oder andere Agents den Agent aufrufen können.
Funktionsinformationen
Nachdem Sie einen Agent lokal entwickelt haben (z.B. mit LangGraph oder ähnlichen Frameworks), erstellen Sie eine generative KI-Anwendung, um die Laufzeitkonfiguration zu definieren.
Anschließend erstellen Sie ein Deployment, indem Sie ein Containerimage auswählen. Das aktive Deployment verarbeitet Anforderungen über den Anwendungsendpunkt. Nachdem das Deployment bereitgestellt wurde, ist der Endpunkt zum Aufrufen des Agent verfügbar.
Kurzübersicht
Verwenden Sie Generative AI Apps, um Agents als verwaltete containerisierte Anwendungen in OCI Generative AI bereitzustellen.
Mit generativen KI-Anwendungen erstellen Sie ein Containerimage, laden es in Oracle Cloud Infrastructure Registry (OCIR) hoch und stellen dieses Image mit der OCI-Konsole, -API oder -CLI als generative KI-Anwendung bereit.
Wenn Sie einen Agent bereitstellen, können Sie konfigurieren, wie die Anwendung ausgeführt wird und wie Clients darauf zugreifen, einschließlich:
- Skalierung
- Speicher
- Netzwerk
- Authentifizierung
Nachdem das Deployment bereitgestellt wurde, stellt OCI Generative AI einen Endpunkt bereit, wie eine HTTP-URL, mit der Clients den bereitgestellten Agent aufrufen können.
Das Deployment eines Agent ist nützlich, wenn Sie eine verwaltete Laufzeit für eine containerisierte Agent-Anwendung mit OCI-verwalteter Deployment-Konfiguration und Endpunkt-Provisioning wünschen.
Weitere Informationen finden Sie in den Themen zu generativen KI-Anwendungen und zum Bereitstellen containerisierter Agent-Anwendungen.