API-Managementplattform für KI-Modelle und -Services für Unternehmen implementieren
Die Chancen stehen gut, dass Ihr Unternehmen KI implementiert hat. Wenn ja, gehören Sie wahrscheinlich zu den vielen Unternehmen, die Schwierigkeiten haben, die Sicherheit auf Unternehmensebene durchzusetzen und Prozesse zu standardisieren, wenn sie Anwendungen auf privaten und öffentlichen KI-Modellen erstellen.
Der Konsum von KI-Modellen kann für Unternehmen aus allen Branchen gemeinsame Herausforderungen darstellen, darunter:
- Integrationskomplexität: Die Verwaltung von Punkt-zu-Punkt-Integrationen zwischen Anwendungen und KI-Modellen führt häufig zu Komplexität, wenn Unternehmen verschiedene Modelle einführen möchten.
- Sicherheitsstandardisierung: Die Implementierung konsistenter Sicherheitsmaßnahmen über verschiedene KI-Modelle hinweg stellt eine große Herausforderung dar.
- Zugriffskontrolle: Die Durchsetzung rollenbasierter Zugriffskontrolle auf KI-Modell-APIs basierend auf Benutzerrollen und -zuständigkeiten kann schwierig sein, sie effektiv zu verwalten.
- Monetarisierung: Erstellen von KI-Modellen ohne Monetarisierungsfunktionen, wenn Modelle externen Verbrauchern zur Verfügung gestellt werden.
- Verbrauch und Resource Management: Quoten für Abonnenten festlegen, um den Verbrauch von KI-Modellen zu begrenzen.
- Throttling: Drosselung und Ratenbegrenzung von KI-Modell-APIs.
- Monitoring: Überwachungs- und Trackingfunktionen zur Visualisierung der Nutzung von KI-Modell-APIs.
Diese Architektur beschreibt eine Lösung, mit der Kunden die Features von Oracle Cloud Infrastructure API Gateway und anderen OCI-Services nutzen können, um diese Herausforderungen in einer KI-Lösung zu bewältigen.
Architektur
Diese Architektur verwendet OCI API Gateway als Middleware, um die Point-to-Point-Integration zwischen KI-Modellen und anderen OCI-Services zu verwalten. Verwenden Sie diese Architektur für KI-Anwendungsfälle, die Sicherheitsabläufe auf Unternehmensebene und Prozessstandardisierung erfordern.
Standardisierte Sicherheit
Viele grundlegende KI-Modelle und andere KI-Services verwenden verschiedene Authentifizierungsmechanismen wie OAuth 2.0, Open ID, JWT usw. Mit OCI API Gateway kann die API-Authentifizierung für KI-Modelle standardisiert werden.
Virtualisierungs- oder Abstraktionsschicht
Da die meisten modernen Unternehmen die neuesten KI-Modelle verschiedener Anbieter nutzen, die sich auf bestimmte Domains spezialisieren, kann die Nutzung von KI-Modellen direkt aus Anwendungen eine Komplexität der Point-to-Point-Integration schaffen. OCI API Gateway wird als Servicevirtualisierungsschicht verwendet, um den Wechsel von einem KI-Modell zum anderen zu vereinfachen.
OCI API Gateway und OCI Vault können API-Zugangsdaten des KI-Modells von Verbrauchern abstrahieren, während die Zugangsdaten des KI-Modells in OCI Vault gespeichert sind. Verbraucher greifen mit Clientzugangsdaten, die aus vertraulichen Anwendungen generiert wurden, die für diesen Consumer erstellt wurden, auf OCI API Gateway-Endpunkte zu. OCI API Gateway authentifiziert Benutzer anhand von Clientzugangsdaten, und bei erfolgreicher Authentifizierung ruft OCI API Gateway die Modell-API-Zugangsdaten aus OCI Vault ab, um den Backend-Modell-API-Endpunkt aufzurufen.
Zugriffskontrolle und Governance
OCI API Gateway kann eine granulare Zugriffskontrolle für KI-Modell-APIs durchsetzen, um API-Zugriff basierend auf Domain, Rolle oder Verantwortung des Verbrauchers zu erteilen. Mit OCI API Gateway-Deployments können APIs basierend auf der Domain gepackt werden, damit Verbraucher das Abonnieren bestimmter Deployments anfordern können. Mit den Funktionen zur Ratenbegrenzung und Throttling von OCI API Gateway können Sie die Nutzung und Performance der KI-Modelle kontrollieren.
Kostenkontrolle
Nutzungspläne und Quoten können genutzt werden, um die Nutzungskosten des KI-Modells effektiv zu kontrollieren. Mit Nutzungsplänen können Sie verschiedene Planebenen erstellen, die Verbrauchern basierend auf Priorität und Geschäftswert zugeteilt werden können. Für Unternehmen, die ihren Teams KI-Dienste von Drittanbietern zur Verfügung stellen, können Nutzungspläne sicherstellen, dass die Nutzung der Mitarbeiter geregelt und überwacht wird, um hohe Kosten zu vermeiden.
OCI Cache with Redis kann in OCI API Gateway integriert werden, um Kosten zu senken und die Performance von KI-Modell-APIs zu verbessern, indem häufige Anforderungen gecacht und die Inferenzanforderungen für Modelle ausgelagert werden.
Logging und Monitoring
Das Out-of-box-Reporting-Dashboard von OCI API Gateway hilft Unternehmen, Einblicke in die Nutzung und Performance von KI-Modellen zu erhalten und Möglichkeiten zur Kosteneinsparung zu identifizieren.
Sie können Logs in Oracle Cloud Infrastructure Logging Analytics streamen, um Fehler zu beheben, das Nutzungsverhalten von KI-Modellen zu überwachen, benutzerdefinierte Berichte zu generieren, um den Ressourcenverbrauch zu überwachen und fundierte Entscheidungen über die zukünftigen Investitionen in das KI-Portfolio Ihres Unternehmens zu treffen. Protokolle können an Abrechnungssysteme gestreamt werden, wenn Unternehmen optimierte KI-Modelle monetarisieren möchten.
OCI API Gateway kann Metriken an OCI-Monitoring ausgeben, wo Nutzungsplanmetriken verwendet werden können, um die am meisten konsumierenden Kunden und andere Dimensionen zu überwachen, um Deployment- und OCI API Gateway-Probleme zu beheben.
Networking
Auf OCI API Gateway kann über das öffentliche Internet und über eine private Netzwerkverbindung zugegriffen werden.
Benutzer und Anwendungen aus dem Internet können auf OCI API Gateway in einem öffentlichen Subnetz zugreifen, das vom Internetgateway als Frontend verwendet wird.
Benutzer und Anwendungen von On-Premise können über OCI FastConnect oder VPN in einem privaten Subnetz auf OCI API Gateway zugreifen. Anwendungen auf Microsoft Azure oder Google Cloud können über das entsprechende Oracle Interconnect for Microsoft Azure oder Oracle Interconnect for Google Cloud auf OCI API Gateway in einem privaten Subnetz zugreifen.
Im folgenden Diagramm wird die Architektur dargestellt.
api-gateway-ai-architecture.zip
Das folgende Diagramm veranschaulicht den Workflow zwischen OCI API Gateway, KI-Modellen und anderen Oracle-Services:
Der Workflow ähnelt:
- KI-Consumer aus dem Internet stellen über API Gateway eine Verbindung zu KI-Service-APIs her. Zu den Verbrauchern gehören sowohl Webanwendungen als auch Apps, die mit jeder UI-Technologie wie Oracle Visual Builder, Oracle Analytics Cloud, Embedded Visual Builder Cloud Service-Anwendung in Oracle SaaS entwickelt wurden. On-Premise-Konsumenten können einen leistungsstarken sicheren Tunnel zwischen OCI und On-Premise-Data Centern einrichten, mit dem On-Premise-Konsumenten ohne Internet auf KI-Modelle zugreifen können.
- OCI API Gateway ist zur Authentifizierung in OCI Identity and Access Management integriert, um eine standardisierte Durchsetzung der Sicherheit durch OAuth 2.0 und Basisauthentifizierung zu erreichen.
- OCI Vault speichert API-Zugangsdaten des KI-Modells sicher und kann Backend-API-Zugangsdaten von Verbrauchern abstrahieren.
- Streamen Sie OCI API Gateway-Logs an OCI Logging, um Logs länger aufzubewahren und Berichte durch Logginganalysen zu erstellen, um Insights zu generieren.
- Durch die Integration mit OCI Cache with Redis können Sie Kosten senken und die Performance von KI-Modell-APIs verbessern, indem Sie häufige Anforderungen cachen.
- OCI Functions kann als Wrapper um KI-Modelle verwendet werden, die keine REST-Endpunkte haben. OCI Functions unterstützt die Implementierung aus verschiedenen Sprachen wie Python, Java, Node, Go, Ruby und C#.
- Integrieren Sie OCI API Gateway direkt in KI-Services, wenn der KI-Service REST-Endpunkte bereitstellt.
- Oracle Integration Cloud Service kann komplexe Transformationen implementieren oder Orchestrierungslogik implementieren, bevor die Inferenzausgabe an Consumer zurückgegeben wird.
Die Architektur umfasst die folgenden Komponenten:
- Region
Eine Oracle Cloud Infrastructure-Region ist ein lokalisierter geografischer Bereich, der mindestens ein Data Center enthält, das als Availability-Domain bezeichnet wird. Regionen sind unabhängig von anderen Regionen, und große Entfernungen können sie trennen (über Länder oder sogar Kontinente).
- Availability-Domains
Availability-Domains sind eigenständige, unabhängige Data Center innerhalb einer Region. Die physischen Ressourcen in jeder Availability-Domain sind von den Ressourcen in den anderen Availability-Domains isoliert, was eine Fehlertoleranz sicherstellt. Availability-Domains haben keine gemeinsame Infrastruktur wie Stromversorgung oder Kühlung oder das interne Availability-Domainnetzwerk. Daher sollte ein Fehler in einer Availability-Domain sich nicht auf die anderen Availability-Domains in der Region auswirken.
- Faultdomains
Eine Faultdomain ist eine Gruppierung aus Hardware und Infrastruktur innerhalb einer Availability-Domain. Jede Availability-Domain umfasst drei Faultdomains mit unabhängiger Stromversorgung und Hardware. Wenn Sie Ressourcen auf mehrere Faultdomains verteilen, können Ihre Anwendungen physische Serverausfälle, Systemwartungen und Stromausfälle innerhalb einer Faultdomain tolerieren.
- Virtuelles Cloud-Netzwerk (VCN) und Subnetze
Ein VCN ist ein anpassbares, softwaredefiniertes Netzwerk, das Sie in einer Oracle Cloud Infrastructure-Region einrichten können. Wie herkömmliche Data Center-Netzwerke erhalten Sie mit VCNs die Kontrolle über Ihre Netzwerkumgebung. Ein VCN kann mehrere sich nicht überschneidende CIDR-Blöcke aufweisen, die Sie nach dem Erstellen des VCN ändern können. Sie können ein VCN in Subnetze segmentieren, die sich auf eine Region oder eine Availability-Domain beschränken. Jedes Subnetz besteht aus einem Bereich zusammenhängender Adressen, die sich nicht mit anderen Subnetzen im VCN überschneiden. Sie können die Größe eines Subnetzes nach der Erstellung ändern. Ein Subnetz kann öffentlich oder privat sein.
- API Gateway
Mit Oracle API Gateway können Sie APIs mit privaten Endpunkten veröffentlichen, auf die Sie über Ihr Netzwerk zugreifen können, und die Sie bei Bedarf dem öffentlichen Internet zur Verfügung stellen können. Die Endpunkte unterstützen API-Validierung, Anforderungs- und Antworttransformation, CORS, Authentifizierung und Autorisierung sowie Anforderungsbegrenzung.
- Functions
Oracle Cloud Infrastructure Functions ist eine vollständig verwaltete, mehrmandantenfähige, hoch skalierbare, bedarfsgesteuerte Functions-as-a-Service-(FaaS-)Plattform. Es wird von der Open-Source-Engine Fn Project angetrieben. Mit Funktionen können Sie Ihren Code bereitstellen und entweder direkt aufrufen oder als Reaktion auf Ereignisse auslösen. Oracle Functions verwendet Docker-Container, die in Oracle Cloud Infrastructure Registry gehostet werden.
- Cache mit Redis
Oracle Cloud Infrastructure Cache with Redis ist eine umfassende, verwaltete In-Memory-Caching-Lösung, die auf der Grundlage von Open Source Redis basiert. Dieser vollständig verwaltete Service beschleunigt das Lesen und Schreiben von Daten und verbessert die Reaktionszeiten von Anwendungen und die Datenbankleistung erheblich, um ein besseres Kundenerlebnis zu bieten.
- Integration
Oracle Integration ist ein vollständig verwalteter Service, mit dem Sie Ihre Anwendungen integrieren, Prozesse automatisieren, Einblicke in Ihre Geschäftsprozesse erlangen und visuelle Anwendungen erstellen können.
- Vault
Mit Oracle Cloud Infrastructure Vault können Sie die Verschlüsselungsschlüssel, die Ihre Daten schützen, und die Secret-Zugangsdaten, mit denen Sie den Zugriff auf Ihre Ressourcen in der Cloud sichern, zentral verwalten. Mit dem Vault-Service können Sie Vaults, Schlüssel und Secrets erstellen und verwalten.
- LoggingLogging ist ein hoch skalierbarer und vollständig verwalteter Service, der Zugriff auf die folgenden Logtypen von Ihren Ressourcen in der Cloud ermöglicht:
- Auditlogs: Logs zu Ereignissen, die vom Audit-Service ausgegeben werden.
- Servicelogs:: Logs, die von einzelnen Services wie API Gateway, Events, Functions, Load Balancing, Object Storage und VCN-Flowlogs ausgegeben werden.
- Benutzerdefinierte Logs: Logs, die Diagnoseinformationen von benutzerdefinierten Anwendungen, anderen Cloud-Providern oder einer On-Premise-Umgebung enthalten.
- Monitoring
Der Oracle Cloud Infrastructure Monitoring-Service überwacht Ihre Cloud-Ressourcen aktiv und passiv mit Metriken, um Ressourcen und Alarme zu überwachen und Sie zu benachrichtigen, wenn diese Metriken alarmspezifische Trigger erfüllen.
- Identity and Access Management (IAM)
Oracle Cloud Infrastructure Identity and Access Management (IAM) ist die Zugriffskontrollebene für Oracle Cloud Infrastructure (OCI) und Oracle Cloud Applications. Mit der IAM-API und der Benutzeroberfläche können Sie Identitätsdomains und die Ressourcen innerhalb der Identitätsdomain verwalten. Jede OCI-IAM-Identitätsdomain stellt eine eigenständige Identity and Access Management-Lösung oder eine andere Benutzerpopulation dar.
- Policy
Eine Oracle Cloud Infrastructure Identity and Access Management-Policy gibt an, wer auf welche Ressourcen zugreifen kann und wie. Der Zugriff wird auf Gruppen- und Compartment-Ebene erteilt. Sie können also eine Policy schreiben, die einer Gruppe einen bestimmten Zugriffstyp in einem bestimmten Compartment oder dem Mandanten erteilt.
- Cache mit Redis
Oracle Cloud Infrastructure Cache with Redis ist eine umfassende, verwaltete In-Memory-Caching-Lösung, die auf der Grundlage von Open Source Redis basiert. Dieser vollständig verwaltete Service beschleunigt das Lesen und Schreiben von Daten und verbessert die Reaktionszeiten von Anwendungen und die Datenbankleistung erheblich, um ein besseres Kundenerlebnis zu bieten.
- Vision
Oracle Cloud Infrastructure Vision ist ein KI-Service für die Durchführung von Deep-Learning-basierten Bildanalysen in großem Maßstab. Mit vorgefertigten Modellen, die out-of-the-box verfügbar sind, können Entwickler ohne Machine Learning-(ML-)Kenntnisse einfach Bilderkennung und Texterkennung in ihre Anwendungen integrieren.
- Generative KI
Oracle Cloud Infrastructure Generative AI ist ein vollständig verwalteter OCI-Service, der eine Reihe hochmoderner, anpassbarer großer Sprachmodelle (Large Language Models, LLMs) bereitstellt, die eine Vielzahl von Anwendungsfällen für die Textgenerierung, Zusammenfassung, semantische Suche und mehr abdecken. Mit dem Playground können Sie vortrainierte Modelle sofort verwenden oder eigene optimierte benutzerdefinierte Modelle basierend auf Ihren eigenen Daten auf dedizierten KI-Clustern erstellen und hosten.
- Dokumentanalyse
Oracle Cloud Infrastructure Document Understanding ist ein KI-Service für die Durchführung von Dokumentenanalysen auf Basis von Deep Learning in großem Maßstab. Mit vorgefertigten Modellen, die out-of-the-box verfügbar sind, können Entwickler ganz einfach intelligente Dokumentenverarbeitung in ihre Anwendungen ohne maschinelles Lernen (ML) erstellen.
- Digital Assistant
Oracle Digital Assistant ist eine Plattform, mit der Sie digitale Assistenten für Ihre Benutzer erstellen und bereitstellen können. Mit Oracle Digital Assistant können Sie KI-gesteuerte Schnittstellen (oder Chatbots) für Geschäftsanwendungen über Text-, Chat- und Sprachschnittstellen erstellen. Jeder digitale Assistent verfügt über eine Sammlung von mindestens einem spezialisierten Skill, mit dem Benutzer eine Vielzahl von Aufgaben in Unterhaltungen in natürlicher Sprache ausführen können. Beispiel: Ein einzelner digitaler Assistent verfügt über Skills, die sich auf bestimmte Aufgabentypen konzentrieren, wie das Verfolgen von Bestand, das Weiterleiten von Stundennachweisen und das Erstellen von Spesenabrechnungen.
- Oracle Database 23. Mai
Oracle Database 23ai bringt die Leistungsfähigkeit von KI in Unternehmensdaten und -anwendungen. Mit der Oracle AI-Vektorsuche können Dokumente, Bilder und relationale Daten, die in geschäftskritischen Datenbanken gespeichert sind, basierend auf ihrem konzeptionellen Inhalt einfach durchsucht werden.
- Oracle Autonomous Database Select AI
Mit Oracle Autonomous Database Select AI kann Oracle Autonomous Database generative KI mit großen Sprachmodellen (LLMs) verwenden, um Benutzereingaben in Oracle SQL zu konvertieren. Oracle Autonomous Database Select AI verarbeitet die Eingabeaufforderung in natürlicher Sprache, ergänzt die Eingabeaufforderung mit Metadaten und generiert und führt dann eine SQL-Abfrage aus.
- Oracle KI der HeatWave-Generation
Oracle HeatWave Gen AI mit Vektorspeicher kann für eine Implementierung einer Retrieval-Augmented Generation (RAG) verwendet werden, um die Genauigkeit und Performance von KI-Modellen zu verbessern.
Hinweise
Beachten Sie Folgendes, wenn Sie OCI API Gateway für die Verwaltung von KI-Modell-APIs implementieren:
- Sicherheit
KI-Modelle verwenden große Mengen an Unternehmensdaten. Governance-Teams sollten sicherstellen, dass Sicherheitsmaßnahmen mit Daten umgehen, indem sie Maskierung, Verschlüsselung und Zugriffskontrollen durchsetzen.
- Nutzungsbedingungen und Lizenzen des AI-Modells
KI-Modelle von Drittanbietern sind mit eigenen Lizenzen und Vertragsbedingungen ausgestattet. KI-Governance-Teams sollten sich der rechtlichen Nutzungsbedingungen bewusst sein, um die Compliance sicherzustellen, wenn Modelle über OCI API Gateway verfügbar gemacht werden.
Mehr erfahren
Weitere Informationen zur OCI-KI-Infrastruktur und zum OCI-API-Gateway.
Prüfen Sie diese zusätzlichen Ressourcen:
OCI AI
OCI
- Überblick über API-Gateway
- Best Practice Framework für Oracle Cloud Infrastructure
- Oracle Cloud Kostenschätzer
Multicloud