Sichere und skalierbare Self-Service-Plattformen für generative KI und LLMs in OCI

Ermöglichen Sie Data Scientists, Entwicklern und IT-Teams, fortschrittliche KI-Modelle unabhängig zu erstellen, zu testen und bereitzustellen und gleichzeitig die Governance und Infrastrukturoptimierung auf Unternehmensebene sicherzustellen.

Diese Lösung bietet die Kernfunktionen, die zur Unterstützung von Initiativen generativer künstlicher Intelligenz (KI) und großer Sprachmodelle (LLMs) in einem Selfservice-Modell erforderlich sind. Dabei werden sicherer Zugriff, skalierbare Infrastruktur und Governance der Unternehmensklasse auf Oracle Cloud Infrastructure (OCI) kombiniert.

Anwendungsfälle und unterstützte Services:

  • Bring Your Own Large Language Model (BYOLLM)/Code-Sicherheitsvalidierung

    Modelle von Drittanbietern (z. B. Hugging Face) werden in der isolierten "Playground"-Umgebung mit GPU-Beschleunigung bereitgestellt und durchlaufen eine automatisierte Sicherheitsvalidierung. OCI Functions-, Oracle Identity Cloud Service-(IDCS-) und OCI Identity and Access Management-(IAM-)Policys werden zur Prüfung, Zugriffskontrolle und sicheren Ausführung verwendet.

  • Data Science-Spielplatz

    Data Science Playground ist eine flexible und skalierbare Umgebung für Data Science-Experimente. Unterstützt durch eine fortschrittliche GPU-Infrastruktur bietet es eine nahtlose Integration mit Oracle Database 23ai und einen optimierten Vektor- und Objektspeicher für Dokumentenmanagement und Einbettungen, ideal für schnelles Prototyping und effiziente Skalierung von KI-Projekten.

  • Multimodale KI

    OCI unterstützt multimodale Modelle durch die Integration von Text-, Sprach- und Bildeingaben. Diese Modelle werden auf Hochleistungs-GPU-Instanzen gehostet.

  • Speech-to-Text

    OCI Speech ist der Sprach-zu-Text-Service von Oracle, der Audio in Text mit hoher Genauigkeit konvertiert. In OCI integriert, unterstützt es mehrere Sprachen, Echtzeit- und Batch-Transkription und bietet erweiterte Funktionen wie Rednerdialisierung, Konfidenz auf Wortebene und anstößige Sprachfilterung. Außerdem lässt sie sich nahtlos mit anderen OCI-Services für eine skalierbare Echtzeitverarbeitung verbinden.

  • Retrieval-Augmented Generation

    OCI bietet eine umfassende Retrieval-Augmented Generation-(RAG-)Lösung, indem Oracle Database 23ai und OCI Object Storage in generative KI-Services integriert werden. Daten werden in Vektoreinbettungen transformiert und in Oracle Autonomous Database gespeichert, um eine effiziente semantische Suche zu ermöglichen. Die generierten Antworten werden mit relevanten, aktuellen Informationen angereichert. RAG-Workflows werden über OCI Connector Hub orchestriert und unterstützen ereignisgesteuerte Ausführung, automatisierte Datenaufnahme und Echtzeitskalierbarkeit.

    RAG-Workflows werden über OCI Connector Hub orchestriert. Dabei werden ereignisgesteuerte Ausführung und Integration mit Datenaufnahmepipelines unterstützt.

  • Vektordatenbank

    Oracle Database 23ai bietet native Vektordatenbankfunktionen über den Datentyp VECTOR, sodass Einbettungen und semantische Suche mit Standard-SQL gespeichert werden können. Es unterstützt Vektorindizierung, ONNX-basierte oder externe Einbettungsgenerierung und Präzisionssteuerung für Ähnlichkeitsabfragen. Die für Exadata optimierte Lösung macht separate Vektorspeicher überflüssig und unterstützt Anwendungsfälle wie RAG, Empfehlungen und generative KI in einer einheitlichen Oracle-Umgebung.

  • OCI Generative AI-Agenten

    Diese Agents basieren auf dem OCI Generative AI-Service oder Modellen von Drittanbietern, die auf einer OCI-Bare-Metal-GPU-Infrastruktur ausgeführt werden.

  • OCI-Geschwindigkeit

    Um einen hohen Durchsatz und eine hohe Performance sicherzustellen, werden Bare-Metal-Instanzen (z.B. A100, H200, B200 und GB200) sowohl für das Training als auch für die Inferenz großer Modelle verwendet, wodurch schnelle Experimente und Workloads der Produktionsklasse unterstützt werden.

Architektur

Diese Architektur veranschaulicht, wie Oracle Cloud Infrastructure (OCI) generative End-to-End-KI-Workflows für Entwicklung, Integration und Benutzerinteraktion unterstützt.

Ablauf A: Integration

  1. Kundenanwendungen
  2. Oracle Integration
  3. OCI Object Storage (Buckets)
  4. OCI Events-Erkennung
  5. OCI Streaming und OCI Connector Hub
  6. OCI Functions (Logikausführung)
  7. Oracle Process Cloud Service (Inferenz durch GPUs)
  8. Datenschicht (Oracle Database 23ai und Buckets)

Ablauf B: Benutzerinteraktion

  1. Endbenutzerschnittstellen (Apex)
  2. Anwendungen (OCI GenAI Agents, OCI Speech, Oracle Digital Assistant)
  3. Oracle Process Cloud Service (Inferenz durch GPUs)
  4. Datenschicht (Oracle Database 23ai und Buckets)

Flow C: Entwicklung und Sandbox

  1. Externe Modellquellen
  2. Code-Sicherheitsvalidierung
  3. Entwicklung und Test
  4. Automatisierungspipeline zur Produktion

Das folgende Diagramm veranschaulicht diese Referenzarchitektur.


Beschreibung von ai-llm-workflow-architecture.png folgt
Beschreibung der Abbildung ai-llm-workflow-architecture.png

ai-llm-workflow-architektur-oracle.zip

Architekturüberblick nach Funktionsdomänen

  • Entwicklung und Schulung (Selfservice-Workspace)

    Die Architektur ist unter einem zentralen Compartment für LLM-Vorgänge strukturiert:

    • Data Science bietet einen integrierten Workspace für die Modellentwicklung, Jupyter-Notizbücher und vordefinierte ML-Frameworks. Enthält Schnellaktionstools für das Modell-Deployment und die Jobausführung.
    • Modellbereitstellungshosts für virtuelle Maschinen (VMs) zum Testen und Bereitstellen von Modellen. Benutzer können hier Modelle validieren, bevor sie in die Produktion verschoben werden.
    • Playground ist eine GPU-beschleunigte Umgebung (Flex-VMs, A10, A100, LS40), die isolierte und leistungsstarke Compute-Ressourcen für benutzerdefinierte und Drittanbietermodelle (z.B. Hugging Face) bietet. Es dient als Experimentierzone für Bring Your Own LLM-(BYOLLM-)Workflows.
  • Anwendungs- und Funktionsschicht
    • OCI Speech- und Sprach-APIs bieten einsatzbereite Services für Transkription, NLU und Entity-Extraktion.
    • OCI Functions wird für Echtzeittranskription, NLP und serverlose Ausführung von KI-Pipelines verwendet.
    • APEX-Frontend- und Überwachungstools bieten Schnittstellen für Benutzerinteraktionen, Analysen und Governance.
    • OCI GenAI Agents und Digital Assistant ermöglichen Konversationserfahrungen mit Unternehmensdaten und integrierten LLMs.
  • Verarbeitung (Produktionsschicht)
    • OCI Kubernetes Engine (OKE) unterstützt das containerisierte Deployment von Produktionsmodellen und Inferenzservices.
    • OCI Generative AI bietet API-basierten Zugriff auf von Oracle gehostete oder benutzerdefinierte, fein abgestimmte LLMs, die sichere und skalierbare Anwendungsfälle für Unternehmen unterstützen.
  • GPU-Infrastruktur (H100- und RDMA-Unterstützung)
    • Bare Metal-GPU-Instanzen (H100 mit RDMA) ermöglichen verteiltes Multi-Knoten-Training und Inferenz mit Kommunikation mit hohem Durchsatz und geringer Latenz, ideal für massive LLM-Workloads.
    • Optimiert für die Kubernetes- und NVIDIA Multi-Instance-GPU-(MIG-)Technologie ermöglicht dieses Setup die GPU-Orchestrierung und dynamische Ressourcenfreigabe, wodurch eine fraktionierte GPU-Zuweisung und eine teamübergreifende Mehrbenutzerplanung ermöglicht wird.
  • Daten- und Wissensebene
    • Oracle Database 23ai, verbessert durch die Unterstützung für Vektor- und semantische Suche, fungiert als Abruflayer für Retrieval-Augmented Generation-(RAG-)Workflows.
    • In OCI Object Storage-Buckets werden unstrukturierte Daten, Einbettungen, Dokumente und Modellartefakte gespeichert.
  • MLOps (Produktionsmodellpipeline)
    • Die Architektur umfasst eine CI/CD-Pipeline zur Förderung von Modellen von der Spielplatzumgebung bis zur Produktion. Derzeit wird OCI DevOps als nativer, vollständig verwalteter Service für kontinuierliche Integration und kontinuierliche Bereitstellung (CI/CD) von OCI dargestellt, mit dem Unternehmen die Bereitstellung von Modellen für maschinelles Lernen vom Experimentieren bis zur Produktion automatisieren können.
    • Integrierte Build-Pipelines mit Git.
    • Automatisiertes Deployment in VMs oder Containern.
    • Native Integration mit OCI Artifacts Registry, OCI Functions und OCI API Gateway.
  • Integrations- und Sicherheitsebene
    • OCI Object Storage-Buckets fungieren als zentraler Speicher für Modelle, Trainingsdaten, Inferenzausgaben und Einbettungen.
    • OCI-Veranstaltungen, OCI Streaming und OCI Connector Hub ermöglichen eine ereignisgesteuerte Orchestrierung und Serviceintegration in der gesamten Umgebung.
    • Oracle Identity Cloud Service, IAM-Policys, OCI Logging und Sicherheitslisten bieten robuste Governance-, Authentifizierungs-, Zugriffskontroll- und Compliancefunktionen für alle OCI-Services.
    • Oracle Integration ist eine vorgefertigte Middleware-Plattform, die eine sichere und nahtlose Integration zwischen On-Premises-Systemen und Cloud-Services ermöglicht und Echtzeitdatensynchronisierung, API-Orchestrierung und Prozessautomatisierung über heterogene Anwendungen hinweg unterstützt.

Die Architektur umfasst folgende Komponenten:

  • Availability-Domains

    Availability-Domains sind eigenständige, unabhängige Data Center innerhalb einer Region. Die physischen Ressourcen in jeder Availability-Domain sind von den Ressourcen in den anderen Availability-Domains isoliert, was eine Fehlertoleranz sicherstellt. Availability-Domains haben keine gemeinsame Infrastruktur wie Stromversorgung oder Kühlung oder das interne Availability-Domainnetzwerk. Ein Fehler in einer Availability-Domain sollte sich also nicht auf die anderen Availability-Domains in der Region auswirken.

  • Bare Metal

    Die Bare-Metal-Server von Oracle bieten Isolation, Transparenz und Kontrolle über dedizierte Compute-Instanzen. Die Server unterstützen Anwendungen, die hohe Kernzahlen, große Speichermengen und hohe Bandbreite erfordern. Sie können bis zu 192 Kerne, 2,3 TB RAM und bis zu 1 PB Blockspeicher skalieren. Kunden können Cloud-Umgebungen mit erheblichen Performanceverbesserungen gegenüber anderen Public Cloud- und On-Premise-Data Centern von Oracle erstellen.

  • Compartment

    Compartments sind regionsübergreifende logische Partitionen innerhalb eines OCI-Mandanten. Mit Compartments können Sie den Zugriff organisieren, kontrollieren und Nutzungsquoten für Ihre Oracle Cloud-Ressourcen festlegen. In einem bestimmten Compartment definieren Sie Policys, die den Zugriff kontrollieren und Berechtigungen für Ressourcen festlegen.

  • Connector-Hub

    Oracle Cloud Infrastructure Connector Hub ist eine Nachrichtenbusplattform, die das Verschieben der Daten zwischen Services auf OCI orchestriert. Mit Connectors können Sie Daten von einem Quellservice in einen Zielservice verschieben. Mit Connectors können Sie optional eine Aufgabe (z. B. eine Funktion) angeben, die für die Daten ausgeführt werden soll, bevor sie an den Zielservice zugestellt werden.

    Mit OCI Connector Hub können Sie schnell ein Loggingaggregations-Framework für SIEM-Systeme (Security Information and Event Management) erstellen.

  • Dynamisches Routinggateway (DRG)

    Das DRG ist ein virtueller Router, der einen Pfad für den privaten Netzwerktraffic zwischen VCNs in derselben Region zwischen einem VCN und einem Netzwerk außerhalb der Region bereitstellt, z.B. ein VCN in einer anderen OCI-Region, ein On-Premise-Netzwerk oder ein Netzwerk in einem anderen Cloud-Provider.

  • FastConnect

    Oracle Cloud Infrastructure FastConnect erstellt eine dedizierte, private Verbindung zwischen Ihrem Data Center und OCI. FastConnect bietet Optionen höherer Bandbreite und ein zuverlässigeres Netzwerk als bei internetbasierten Verbindungen.

  • High-Performance-Computing

    High-Performance-Computing ist für Workloads konzipiert, die Clusternetzwerke und Hochgeschwindigkeits-Prozessorkerne für massiv parallele Workloads erfordern.

  • Internetgateway

    Ein Internetgateway ermöglicht Traffic zwischen den öffentlichen Subnetzen in einem VCN und dem öffentlichen Internet.

  • On-Premise-Netzwerk

    Dies ist ein lokales Netzwerk, das von Ihrer Organisation verwendet wird.

  • Region

    Eine OCI-Region ist ein lokalisierter geografischer Bereich, der mindestens ein Data Centre enthält, das Availability-Domains hostet. Regionen sind unabhängig von anderen Regionen, und große Entfernungen können über Länder oder Kontinente voneinander getrennt werden.

  • Routentabelle

    Virtuelle Routentabellen enthalten Regeln zum Weiterleiten von Traffic von Subnetzen zu Zielen außerhalb eines VCN, in der Regel über Gateways.

  • Sicherheitsliste

    Sie können für jedes Subnetz Sicherheitsregeln erstellen, die Quelle, Ziel und Typ des Traffics angeben, der im Subnetz und außerhalb des Subnetzes zulässig ist.

  • Servicegateway

    Ein Servicegateway ermöglicht den Zugriff von einem VCN auf andere Services, wie Oracle Cloud Infrastructure Object Storage. Der Datenverkehr vom VCN zum Oracle-Service wird über die Oracle-Netzwerkstruktur geleitet und durchläuft nicht das Internet.

  • Tenancy

    Ein Mandant ist eine sichere und isolierte Partition, die Oracle bei der Registrierung für OCI in Oracle Cloud einrichtet. Sie können Ihre Ressourcen auf OCI innerhalb Ihres Mandanten erstellen, organisieren und verwalten. Ein Mandant ist ein Synonym für ein Unternehmen oder eine Organisation. Normalerweise hat ein Unternehmen einen einzelnen Mandanten und spiegelt seine Organisationsstruktur innerhalb dieses Mandanten wider. Ein einzelner Mandant ist in der Regel mit einem einzelnen Abonnement verknüpft, und ein einzelnes Abonnement hat in der Regel nur einen Mandanten.

  • Virtuelles Cloud-Netzwerk (VCN) und Subnetz

    Ein VCN ist ein anpassbares, softwaredefiniertes Netzwerk, das Sie in einer OCI-Region einrichten. Wie herkömmliche Data Center-Netzwerke erhalten Sie über VCNs die Kontrolle über Ihre Netzwerkumgebung. Ein VCN kann mehrere nicht überschneidende CIDR-Blöcke aufweisen, die Sie nach dem Erstellen des VCN ändern können. Sie können ein VCN in Subnetze segmentieren, die sich auf eine Region oder eine Availability-Domain beschränken. Jedes Subnetz besteht aus einem Bereich zusammenhängender Adressen, die sich nicht mit anderen Subnetzen im VCN überschneiden. Sie können die Größe eines Subnetzes nach der Erstellung ändern. Ein Subnetz kann öffentlich oder privat sein.

  • Oracle Database 23ai

    Oracle Database 23ai konzentriert sich auf KI und Entwicklerproduktivität. Es bringt KI zu Ihren Daten, indem AI Vector Search zur konvergierten Datenbank von Oracle hinzugefügt wird. Diese Fähigkeit in Kombination mit neuen einheitlichen Entwicklungsparadigmen und geschäftskritischen Funktionen macht es Entwicklern und Datenexperten einfach, Apps, Anwendungsentwicklung und geschäftskritische Workloads mit KI zu betreiben.

  • Veranstaltungen

    Services auf OCI geben Ereignisse aus, bei denen es sich um strukturierte Nachrichten handelt, die Änderungen an Ressourcen beschreiben. Ereignisse werden für CRUD-Vorgänge (Create, Read, Update oder Delete), Statusänderungen des Ressourcenlebenszyklus und Systemereignisse ausgegeben, die sich auf Cloud-Ressourcen auswirken.

  • Logging
    Oracle Cloud Infrastructure Logging ist ein hoch skalierbarer und vollständig verwalteter Service, der Zugriff auf folgende Logtypen von Ihren Ressourcen in der Cloud ermöglicht:
    • Auditlogs: Logs für Ereignisse, die von OCI Audit erstellt wurden.
    • Servicelogs: Von einzelnen Services veröffentlichte Logs, wie OCI API Gateway, OCI-Ereignisse, OCI Functions, OCI Load Balancing, OCI Object Storage und VCN-Flowlogs.
    • Benutzerdefinierte Logs: Logs, die Diagnoseinformationen von benutzerdefinierten Anwendungen, anderen Cloud-Providern oder einer On-Premise-Umgebung enthalten.
  • Monitoring

    Oracle Cloud Infrastructure Monitoring überwacht aktiv und passiv Ihre Cloud-Ressourcen und benachrichtigt Sie mit Alarmen, wenn Metriken bestimmte Trigger erfüllen.

  • OCI Registry

    Oracle Cloud Infrastructure Registry ist ein von Oracle verwalteter Service, mit dem Sie Ihren Workflow der Entwicklung bis hin zur Produktion vereinfachen können. Mit Registry können Sie Entwicklungsartefakte wie Docker-Images einfach speichern, teilen und verwalten.

  • Sprache

    Oracle Cloud Infrastructure Speech nutzt die Leistungsfähigkeit gesprochener Sprache, sodass Sie Mediendateien mit menschlicher Sprache einfach in hochpräzise Texttranskriptionen konvertieren können. Sie können über die Konsole, die REST-API, die CLI und das SDK zugreifen.

  • Workflow

    Oracle Cloud Infrastructure Workflow ist eine serverlose Workflow-Engine mit einem grafischen Ablaufdesigner für Entwickler und Architekten. Es beschleunigt die Erstellung, Ausführung und Orchestrierung von OCI-Services wie OCI Functions oder KI/ML.

  • APEX-Service

    Oracle APEX Application Development ist eine Low-Code-Entwicklungsplattform, mit der Sie skalierbare, funktionsreiche, sichere Unternehmensanwendungen erstellen können, die überall dort bereitgestellt werden können, wo Oracle Database installiert ist. Sie müssen kein Experte für eine Vielzahl von Technologien sein, um anspruchsvolle Lösungen zu liefern. Der APEX-Service umfasst integrierte Features, wie Benutzeroberflächen-Themes, Navigationskontrollen, Formularbearbeitung und flexible Berichte, die den Anwendungsentwicklungsprozess beschleunigen.

  • API-Gateway

    Mit Oracle Cloud Infrastructure API Gateway können Sie APIs mit privaten Endpunkten veröffentlichen, auf die über Ihr Netzwerk zugegriffen werden kann und die Sie bei Bedarf im öffentlichen Internet bereitstellen können. Die Endpunkte unterstützen API-Validierung, Anforderungs- und Antworttransformation, CORS, Authentifizierung und Autorisierung sowie Anforderungsbegrenzung.

  • OCI-Block-Volumes

    Mit Oracle Cloud Infrastructure Block Volumes können Sie Speicher-Volumes erstellen, anhängen, verbinden und verschieben sowie die Volume-Performance ändern, um Ihre Speicher-, Performance- und Anwendungsanforderungen zu erfüllen. Nachdem Sie ein Volume an eine Instanz angehängt und damit verbunden haben, können Sie es wie eine herkömmliche Festplatte verwenden. Sie können ein Volume auch trennen und an eine andere Instanz anhängen, ohne Daten zu verlieren.

  • Compute

    Mit Oracle Cloud Infrastructure Compute können Sie Compute-Hosts in der Cloud bereitstellen und verwalten. Sie können Compute-Instanzen mit Ausprägungen starten, die Ihren Ressourcenanforderungen für CPU, Arbeitsspeicher, Netzwerkbandbreite und Speicher entsprechen. Nachdem Sie eine Compute-Instanz erstellt haben, können Sie sicher darauf zugreifen, sie neu starten, Volumes anhängen und trennen und beenden, wenn Sie sie nicht mehr benötigen.

  • Data Science

    Oracle Cloud Infrastructure Data Science ist eine vollständig verwaltete, serverlose Plattform, mit der Data-Science-Teams Modelle für maschinelles Lernen (ML) in OCI erstellen, trainieren und verwalten können. Es kann problemlos in andere OCI-Services wie Oracle Autonomous Data Warehouse, Oracle Cloud Infrastructure Object Storage und mehr integriert werden. Sie können hochwertige Modelle für maschinelles Lernen erstellen und bewerten, die die Geschäftsflexibilität erhöhen, indem Sie unternehmensbewusste Daten schnell einsetzen. Außerdem können Sie datengesteuerte Geschäftsziele mit einfacherem Deployment von ML-Modellen unterstützen. Mit Data Science können Data Scientists und Engineers für maschinelles Lernen kostenlos Packages aus dem Anaconda-Repository verwenden.

    Mit dem Data Science-Jobfeature können Data Scientists wiederholbare Aufgaben des maschinellen Lernens in einer vollständig verwalteten Infrastruktur definieren und ausführen.

    Mit dem Data Science-Modell-Deployment-Feature können Data Scientists trainierte Modelle als vollständig verwaltete HTTP-Endpunkte bereitstellen, die Vorhersagen in Echtzeit bereitstellen, Informationen in Prozesse und Anwendungen einfließen lassen und es dem Unternehmen ermöglichen, auf relevante Ereignisse zu reagieren, sobald sie auftreten.

  • DevOps

    Oracle Cloud Infrastructure DevOps (Entwicklervorgänge) ist eine vollständige CI/CD-Plattform (Continuous Integration/Continuous Delivery), mit der Entwickler ihren Softwareentwicklungslebenszyklus vereinfachen und automatisieren können. Mit OCI DevOps können Entwickler und Betreiber gemeinsam Software entwickeln, erstellen, testen und bereitstellen. Entwickler und Operatoren erhalten Visibilität über den gesamten Entwicklungslebenszyklus mit einer Historie des Quell-Commits über Erstellungs-, Test- und Bereitstellungsphasen.

  • Funktionen

    Oracle Cloud Infrastructure Functions ist eine vollständig verwaltete, mehrmandantenfähige, hoch skalierbare, On-Demand-Funktionen-as-a-Service-(FaaS-)Plattform. Sie wird von der Open Source-Engine Fn Project unterstützt. Mit OCI Functions können Sie Ihren Code bereitstellen, direkt aufrufen oder auch als Reaktion auf Ereignisse auslösen. OCI Functions verwendet Docker-Container, die in Oracle Cloud Infrastructure Registry gehostet werden.

  • Identity and Access-Management

    Oracle Cloud Infrastructure Identity and Access Management (IAM) bietet Benutzerzugriffskontrolle für OCI und Oracle Cloud Applications. Mit der IAM-API und der Benutzeroberfläche können Sie Identitätsdomains und die darin enthaltenen Ressourcen verwalten. Jede OCI IAM-Identitätsdomain stellt eine eigenständige Identity and Access Management-Lösung oder eine andere Benutzerpopulation dar.

  • Integration

    Oracle Integration ist eine vollständig verwaltete, vorkonfigurierte Umgebung, in der Sie Cloud- und On-Premise-Anwendungen integrieren, Geschäftsprozesse automatisieren und visuelle Anwendungen entwickeln können. Es verwendet einen SFTP-konformen Dateiserver zum Speichern und Abrufen von Dateien und ermöglicht den Austausch von Dokumenten mit Geschäftspartnern zwischen Unternehmen, indem Sie ein Portfolio von Hunderten von Adaptern und Rezepten für die Verbindung mit Oracle- und Drittanbieteranwendungen verwenden.

  • Kubernetes-Cluster

    Ein Kubernetes-Cluster ist eine Gruppe von Computern, auf denen containerisierte Anwendungen ausgeführt werden. Kubernetes bietet eine portierbare, erweiterbare Open-Source-Plattform für die Verwaltung containerisierter Workloads und Services in diesen Knoten. Ein Kubernetes-Cluster besteht aus Worker-Knoten und Control-Plane-Knoten.

  • Kubernetes-Control Plane

    Eine Kubernetes-Control Plane verwaltet die Ressourcen für die Worker-Knoten und -Pods in einem Kubernetes-Cluster. Die Control-Plane-Komponenten erkennen und reagieren auf Ereignisse, führen eine Planung durch und verschieben Clusterressourcen.

    Es folgen die Komponenten der Steuerebene:
    • kube-apiserver: Führt den Kubernetes-API-Server aus.
    • etcd: Verteilter Key-Value Store für alle Cluster-Daten.
    • kube-scheduler: Bestimmt, auf welchem Knoten neue nicht zugewiesene Pods ausgeführt werden.
    • kube-controller-manager: Führt Controller-Prozesse aus.
    • cloud-controller-manager: Verknüpft Ihr Cluster mit einer cloud-spezifischen API.
  • OCI Kubernetes Engine

    Oracle Cloud Infrastructure Kubernetes Engine (OCI Kubernetes Engine oder OKE) ist ein vollständig verwalteter, skalierbarer und hochverfügbarer Service, mit dessen Hilfe Sie Ihre containerisierten Anwendungen in der Cloud bereitstellen können. Sie geben die Compute-Ressourcen an, die Ihre Anwendungen benötigen, und OKE stellt sie auf OCI in einem vorhandenen Mandanten bereit. OKE automatisiert mit Kubernetes das Deployment, die Skalierung und die Verwaltung containerisierter Anwendungen über Hostscluster hinweg.

  • Kubernetes-Worker-Knoten

    Ein Kubernetes-Worker-Knoten ist ein Worker-Computer, auf dem containerisierte Anwendungen in einem Kubernetes-Cluster ausgeführt werden. Jedes Cluster hat mindestens einen Worker-Knoten.

  • Objektspeicher

    OCI Object Storage bietet Zugriff auf große Mengen an strukturierten und unstrukturierten Daten eines beliebigen Inhaltstyps, darunter Datenbankbackups, Analysedaten und umfangreiche Inhalte, wie Bilder und Videos. Sie können Daten sicher und sicher direkt aus dem Internet bzw. aus der Cloud-Plattform speichern. Sie können den Storage skalieren, ohne dass die Performance oder Servicezuverlässigkeit beeinträchtigt wird.

    Verwenden Sie den Standardspeicher für "Hot Storage", auf die Sie schnell, sofort und häufig zugreifen müssen. Verwenden Sie Archivspeicherung für "Cold Storage", die Sie über lange Zeiträume beibehalten und nur selten darauf zugreifen.

  • Streaming

    Oracle Cloud Infrastructure Streaming bietet eine vollständig verwaltete, skalierbare und dauerhafte Speicherlösung zur Aufnahme kontinuierlicher Datenstreams mit hohem Volumen, auf die Sie in Echtzeit zugreifen und verarbeiten können. Sie können OCI Streaming zum Erfassen von Daten mit hohem Volumen verwenden, wie Anwendungslogs, Betriebstelemetrie, Clickstream-Webdaten oder für andere Anwendungsbereiche, in denen kontinuierlich und sequenziell Daten in einem Publish-Subscribe-Messagingmodell produziert und verarbeitet werden.

  • Audit

    Der Oracle Cloud Infrastructure Audit-Service zeichnet Aufrufe von allen unterstützten öffentlichen OCI-API-Endpunkten (Public Application Programming Interface) automatisch als Logereignisse. Alle OCI-Services unterstützen das Logging durch Oracle Cloud Infrastructure Audit.

  • Generative KI

    Oracle Cloud Infrastructure Generative AI ist ein vollständig verwalteter OCI-Service, der eine Reihe hochmoderner, anpassbarer großer Sprachmodelle (LLMs) bereitstellt, die eine breite Palette an Anwendungsfällen für die Textgenerierung, -zusammenfassung, semantische Suche und mehr abdecken. Verwenden Sie den Playground, um die einsatzbereiten vortrainierten Modelle sofort zu nutzen oder eigene optimierten benutzerdefinierte Modelle basierend auf Ihren eigenen Daten auf dedizierten KI-Clustern zu erstellen und zu hosten.

  • Load Balancer

    Oracle Cloud Infrastructure Load Balancing bietet eine automatisierte Trafficverteilung von einem einzigen Einstiegspunkt auf mehrere Server.

  • Network Address Translation-(NAT-)Gateway

    Mit einem NAT-Gateway können private Ressourcen in einem VCN auf Hosts im Internet zugreifen, ohne diese Ressourcen für eingehende Internetverbindungen verfügbar zu machen.

  • Generative KI

    Oracle Cloud Infrastructure Generative AI ist ein vollständig verwalteter OCI-Service, der eine Reihe hochmoderner, anpassbarer großer Sprachmodelle (LLMs) bereitstellt, die eine breite Palette an Anwendungsfällen für die Textgenerierung, -zusammenfassung, semantische Suche und mehr abdecken. Verwenden Sie den Playground, um die einsatzbereiten vortrainierten Modelle sofort zu nutzen oder eigene optimierten benutzerdefinierte Modelle basierend auf Ihren eigenen Daten auf dedizierten KI-Clustern zu erstellen und zu hosten.

  • Digital Assistant

    Oracle Digital Assistant ist eine Plattform, mit der Sie digitale Assistenten für Ihre Benutzer erstellen und bereitstellen können. Mit Oracle Digital Assistant können Sie KI-gesteuerte Schnittstellen (oder Chatbots) für Geschäftsanwendungen über Text-, Chat- und Sprachschnittstellen erstellen. Jeder digitale Assistent verfügt über eine Sammlung von einem oder mehreren spezialisierten Skills, mit denen Benutzer eine Vielzahl von Aufgaben in Unterhaltungen in natürlicher Sprache ausführen können. Beispiel: Ein einzelner digitaler Assistent verfügt über Skills, die sich auf bestimmte Aufgabentypen konzentrieren, wie das Verfolgen von Bestand, das Weiterleiten von Stundennachweisen und das Erstellen von Spesenabrechnungen.

  • Policy

    Eine Oracle Cloud Infrastructure Identity and Access Management-Policy gibt an, wer auf welche Ressourcen zugreifen kann und wie. Der Zugriff wird auf Gruppen- und Compartment-Ebene erteilt. Sie können also eine Policy schreiben, die einer Gruppe einen bestimmten Zugriffstyp innerhalb eines bestimmten Compartments oder für den Mandanten erteilt.

  • Sicherheitszone

    Sicherheitszonen implementieren wichtige Best Practices für die Oracle-Sicherheit, indem sie Policys für ein gesamtes Compartment durchsetzen, wie die Verschlüsselung von Daten und die Verhinderung des öffentlichen Zugriffs auf Netzwerke. Eine Sicherheitszone ist mit einem Compartment mit demselben Namen verknüpft und enthält Sicherheitszonen-Policys (ein Rezept), die für das Compartment und die zugehörigen Sub-Compartments gelten. Sie können kein Standard-Compartment in ein Sicherheitszonen-Compartment hinzufügen oder verschieben.

Empfehlungen

Stellen Sie den Erfolg, die Skalierbarkeit und die Nachhaltigkeit der auf OCIs basierenden Unternehmens-KI-Plattform sicher, wobei der Schwerpunkt auf der Selfservice-LLM-Entwicklung, MLOps, der GPU-Optimierung und der Unternehmensintegration liegt.

  • Plattform und Strategie-Governance
    • Erstellen Sie ein dediziertes funktionsübergreifendes Kompetenzzentrum für KI, um Folgendes zu steuern:
      • Best Practices für LLM-Schulungen und -Bereitstellungen
      • Ressourcenzuweisung und Quotenverwaltung
      • Sicherheit, Compliance und ethische KI-Nutzung
    • Vermeiden Sie unkontrollierte Ausbreitung von Ressourcen, indem Sie Quoten und Tagging-Policys in OCI aktivieren, um die Rückverfolgbarkeit und Kostenverantwortung über Abteilungen und Teams hinweg sicherzustellen.
  • GPU-Ressourceneffizienz und -Planung
    • Kombinieren Sie NVIDIA MIG, um die GPU-Nutzung zu optimieren. Weisen Sie fraktionierte GPUs pro Job oder Benutzer zu, um die Auslastung zu erhöhen und die Kosten zu senken.
    • GPU-Fraktionierungslösung:
      • Multi-Instance-GPU (MIG) ist ein Feature, das auf NVIDIA-GPUs A100 und H100 verfügbar ist und die Partitionierung einer einzelnen physischen GPU in mehrere, hardwareisolierte Instanzen (oder Bereiche) ermöglicht, die als GPU-Instanzen bezeichnet werden.

        Jede Instanz fungiert als unabhängige GPU mit einer eigenen:

        • Dedizierter Speicher
        • Compute-Cores
        • Cache- und Speicherbandbreite

        Auf diese Weise können Teams mehrere KI-Workloads gleichzeitig auf einer einzigen GPU mit vorhersehbarer Performance und Isolation auf Hardwareebene ausführen.

        Die OCI Kubernetes Engine (OKE) ist für die Unterstützung der MIG-fähigen Planung konfiguriert, sodass Folgendes möglich ist:

        • Jeder Pod, um eine bestimmte MIG-Instanz anzufordern (Beispiel: 1/7 von einer A100).
        • Der Kubernetes-Scheduler, um verfügbare GPU-Segmente basierend auf Anforderungen intelligent zuzuweisen.
        • MIG-Instanzen, die über das NVIDIA-Geräte-Plug-in und Node-Feature-Discovery verfügbar gemacht werden, um sicherzustellen, dass sie von OKE erkannt und geplant werden können.
        • MIG-fähige GPUs (z.B. A100 oder H100) werden auf OCI-Bare-Metal-Instanzen oder als OKE-Worker-Knoten bereitgestellt.
        • OKE verarbeitet containerisierte KI-Workloads mit MIG-fähiger Planung.
    • MIG-Profil Segmentanteil Dedizierter Speicher Geeignet für...
      1g.5gb 1/7 5 GB Leichte Inferenz, Prüfung
      2g.10gb 2/7 10 GB Feinabstimmung kleinerer Modelle
      3g.20gb 3/7 20 GB Mittelgroße Modelle
      7g.40gb Vollständige GPU 40 GB Ganzes Training
    • Mit OCI Monitoring können Sie Engpässe in Phasen mit hohem Bedarf (z.B. Modelltrainings-Sprints) vermeiden.
  • Modelllebenszyklus und Automatisierung
    • Standardisieren Sie CI/CD, indem Sie Modelle über OCI DevOps-Pipelines bereitstellen, die in Git und Container Registry integriert sind, um Folgendes zu automatisieren:
      • Modellverpackung
      • Tests und Validierung
      • Deployment in OKE oder Funktionen
    • Nehmen Sie Rollback- und Validierungsschritte auf, indem Sie A/B-Tests, Canary-Deployments und Rollback-Logik integrieren, um Regressionen im Modellverhalten zu vermeiden.
  • Datenarchitektur
    • Stellen Sie Oracle Database 23ai bereit, um Einbettungen zu speichern und die semantische Suche über Oracle AI Vector Search zu ermöglichen. Kombinieren mit:
      • OCI Object Storage für Dokumente
      • OCI Functions für Abruforchestrierung
    • Behalten Sie die Vektorfrische bei, indem Sie Einbettungen regelmäßig neu berechnen und aktualisieren, wenn sich Quelldokumente ändern, um die Genauigkeit der RAG-Ausgabe sicherzustellen.
  • Sicherheit, Compliance und Beobachtbarkeit
    • Setzen Sie eine IAM-basierte Segmentierung durch, indem Sie OCI IAM-Policys, -Compartments und -Gruppen verwenden, um klare Grenzen zwischen Entwicklungs-, Test- und Produktionsumgebungen zu definieren.
    • Protokollieren und auditieren Sie jede kritische Aktion, indem Sie OCI Logging-, OCI Monitoring- und OCI Audit-Logs für alle kritischen Komponenten (OKE, Functions, Storage, GPU-Knoten) aktivieren.
  • Multicloud- und Hybridintegration
    • Verwenden Sie OCI FastConnect, Servicegateway und private Endpunkte, um eine schnelle, sichere Integration mit On-Premise- und Drittanbieter-KI-Services (z.B. Azure OpenAI, AWS Bedrock) sicherzustellen.
    • Vermeiden Sie das öffentliche Internet für sensible Workloads. Verwenden Sie nach Möglichkeit private Subnetze, NAT-Gateways und Service-to-Service-Authentifizierung.
  • Selfservice-Emailing für Entwickler
    • Stellen Sie kuratierte Startvorlagen und APIs bereit, indem Sie eine Reihe von OCI Functions-, OCI DevOps-Pipelines und Notizbuchvorlagen anbieten, um neue Benutzer schnell und sicher in die Self-Service-Umgebung zu integrieren.
    • Vereinheitlichen Sie Autonomie mit Sicherheitsvorkehrungen, indem Sie Benutzer unterstützen und gleichzeitig die Kontrolle über Richtlinien, Quoten und gemeinsame Best Practices für eine verantwortungsvolle Modellentwicklung behalten.

Hinweise

Berücksichtigen Sie beim Deployment dieser Referenzarchitektur die folgenden Punkte.

  • Performance
    • Stellen Sie leistungsstarke GPU-Instanzen bereit, wie A100, H100, H200, B200 und GB200, die auf bestimmte Workload-Anforderungen zugeschnitten sind, einschließlich Training, Inferenz und groß angelegter verteilter KI.
    • Nutzen Sie RDMA-fähige GPU-Cluster für verteilte Workloads mit hoher Bandbreite und geringer Latenz.
    • Überwachen Sie die Ressourcennutzung kontinuierlich, um Konflikte proaktiv zu vermeiden.
  • Sicherheit
    • Implementieren Sie die Compartmentalisierung und private Subnetze, um verschiedene Betriebsumgebungen zu isolieren.
    • Setzen Sie strenge Zugriffskontrollen mit OCI IAM und IDCS durch.
    • Pflegen Sie umfassende Protokollierungs- und Audittrails für alle wichtigen Vorgänge.
  • Verfügbarkeit
    • Verteilen Sie kritische Ressourcen auf mehrere Faultdomains, um Fehlertoleranz sicherzustellen.
    • Nutzen Sie OCI Kubernetes Engine (OKE) mit Autoscaling, um die Elastizität aufrechtzuerhalten.
    • Validieren Sie Backup-, Recovery- und Datenreplikationsstrategien, um Geschäftskontinuitätsziele zu erreichen.
  • Kosten
    • Maximieren Sie die Effizienz der GPU-Auslastung durch NVIDIA MIG-Fraktionierung.
    • Implementieren Sie Tiered Storage-Strategien, indem Sie OCI Object Storage-Lebenszyklus-Policys nutzen.
    • Verwenden Sie Tagging auf Projektebene und Budgetquoten, um die Finanzverantwortung zu verwalten.
  • Integration und Bereitstellung
    • Standardisieren Sie CI/CD-Workflows mit OCI DevOps, um den Modelllebenszyklus zu optimieren und zu automatisieren.
    • Stellen Sie konsistente Multicloud-Integrationspraktiken mit OCI FastConnect und dynamischen Routinggateways (DRGs) für sichere Datenflüsse sicher.
  • Datenmanagement
    • Verwalten und aktualisieren Sie semantische Einbettungen regelmäßig in Oracle Database 23ai, um einen genauen Abruf zu ermöglichen.
    • Kategorisieren Sie den Speicher entsprechend nach Datennutzungsmustern (Standard versus Archiv).
  • Benutzerakzeptanz und -verwaltung
    • Stellen Sie strukturierte Onboarding-Ressourcen bereit, um die Selfservice-Einführung zu beschleunigen.
    • Bewerten Sie kontinuierlich Self-Service-Umgebungen und passen Sie Richtlinien an, um die Benutzerfreiheit mit operativer Governance in Einklang zu bringen.

Mehr erfahren

Erfahren Sie mehr darüber, wie OCI skalierbare, sichere und unternehmensgerechte generative KI-Lösungen ermöglicht.

Prüfen Sie die folgenden zusätzlichen Ressourcen:

Bestätigungen

  • Autoren: Diego Mariano, Diogo Santiago
  • Mitwirkende: Douglas Silva, John Sulyok