KI-Compute

In diesem Kapitel wird die Verwendung spezieller Computing-Ressourcen für die Stromversorgung von KI-Agents in Oracle AI Data Platform behandelt.

Mit einem AI-Compute-Cluster können Sie Agents in AI Data Platform-Workspaces hosten. KI-Berechnungen können Agents zugeordnet werden, um die Playground-Erfahrung auszuführen und bereitgestellte Agents für Produktions-Workloads zu hosten.

Wo Sie AI Compute finden

Sie verwalten AI-Compute über die Seite "Compute", auf die Sie über den linken Navigationsbereich in Ihrer AI Data Platform zugreifen können. Klicken Sie auf die Registerkarte AI-Compute, um die in Ihrem Workspace verfügbaren KI-Compute-Cluster anzuzeigen.


Die Seite "Compute" wird geöffnet, wobei die Registerkarte "AI Compute" ausgewählt ist.

Die Registerkarte AI-Compute ist die Hauptlandeseite für KI-Compute-Ressourcen im aktuell ausgewählten Workspace. Es bietet Tabellenaktionen, Filterung, Sortierung und Statusinformationen.

Spalte oder Steuerelement Zweck
Filter Durchsuchen Sie die Tabelle nach einer Ressource nach Name oder sichtbarem Text.
Addieren (+) Starten Sie die Erstellung eines neuen KI-Compute.
Löschen Ausgewählte AI-Berechnungen entfernen.
AI-Compute-Name Name der Compute-Ressource. Klicken Sie auf den AI-Compute-Namen, um die Seite mit den Ressourcendetails zu öffnen.
Bundesland Aktueller Lebenszyklusstatus, z.B. "Erstellen", "Aktiv" oder "Aktualisieren".
Anzahl Replikationen Anzahl der Compute-Replikate, die mit dem AI-Compute verknüpft sind. Wenn Sie eine Autoscaling Policy für das Compute auswählen, werden die Mindest- und Höchstanzahl an Replikaten aufgeführt.
Anzahl Agenten Anzahl der Agents, die im AI Compute gehostet werden. Die Anzahl wird als Link angezeigt, wenn Agents vorhanden sind. Dazu gehören Playground-Hosting und bereitgestellte Agent-Endpunkte.
Konfiguration Zusammenfassung der Compute-Ausprägung der Replikate in AI Compute, wie 1 OCPU, 16 GB oder 2 OCPU, 32 GB.
Aktualisiert von / Aktualisiert am / Erstellt am Auditinformationen für die letzte Aktualisierungs- und Erstellungszeit.
Menü "Aktion" (...) Öffnen Sie ressourcenspezifische Aktionen für die ausgewählte Zeile.

Hinweis:

Ein grünes Häkchen gibt eine aktive Ressource an. Ein Drehfeld gibt einen laufenden Vorgang an, z.B. Erstellen oder Aktualisieren. Warten Sie, bis eine Ressource aktiv ist, bevor Sie sich auf sie für Produktionsarbeiten verlassen.

Wenn Sie auf der Registerkarte AI-Compute auf den Namen eines AI-Compute klicken, können Sie detaillierte Informationen zu diesem AI-Compute anzeigen. Die AI-Compute-Ansicht enthält vier Registerkarten: Details, Bereitgestellte Agents, Metriken und Berechtigungen.

Registerkarte "Details"

Auf der Registerkarte "Details" werden die konfigurierte Ausprägung und der Speicher für jedes Replikat des AI-Compute zusammengefasst. AMD wird für alle AI-Berechnungen verwendet.


AI-Compute-Seite mit ausgewählter Registerkarte "Details" geöffnet.

Registerkartenelement "Details" Beschreibung
Treiberausprägung Die für AI Compute ausgewählte GPU-Ausprägung. AMD ist die Treiberausprägung für alle AI Compute-Instanzen.
OCPUs Die ausgewählte Anzahl von OCPUs für AI Compute.
Speicher (GB) Der AI-Computing-Speicher in GB.
Block-Volume Die Block-Volume-Größe der AI Compute-Instanz in GB.

Registerkarte "Bereitgestellte Agents"

Auf der Registerkarte "Bereitgestellte Agents" werden Agents aufgeführt, die in der AI Compute-Ressource gehostet werden. Wenn kein Agent bereitgestellt wird, hostet das AI-Compute das Playground-Erlebnis, das für die iterative Entwicklung und das Testen erforderlich ist. Wenn der Agent bereitgestellt wird, hostet die berechnete KI den Agent-Deployment-Endpunkt für Produktions-Workloads.


Die Seite "AI Compute" wird geöffnet, wobei die Registerkarte "Agents" ausgewählt ist.

Registerkartenelement "Bereitgestellte Agents" Beschreibung
Nach Agent-Name filtern Durchsuchen Sie die Liste der zugeordneten Agents.
Agent-Name Name des Agent, der mit der Compute-Ressource verknüpft ist.
Erstellungsmodus Wie der Agent verfasst wurde. Werte von Visual oder Code.
Deployment Deployment-Status. Agents, die im AI-Compute gehostet werden, können sich entweder im Playground-Status oder im Status "Bereitgestellt" befinden.
Erstellt am/aktualisiert am/um Erstellen und aktualisieren Sie Metadaten für den Agent.

Registerkarte "Kennzahlen"

Auf der Registerkarte "Metriken" können Sie die CPU-, Speicher- und Netzwerkauslastung im Zeitverlauf prüfen. Dies ist nützlich, wenn Sie entscheiden, ob Replikate, OCPUs oder Speicher nach oben oder unten skaliert werden sollen. Bei einem Scale-out/in-AI-Compute-Vorgang entstehen keine Ausfallzeiten.


AI-Compute-Seite geöffnet, auf der die Registerkarte "Compute-Auslastung" ausgewählt ist.

Hinweis:

Jede Zeitreihe entspricht einem anderen Replikat. Beispiel: Wenn Sie ein AI-Compute mit zwei Replikaten erstellen, werden zwei Zeitreihen wie im Screenshot oben dargestellt angezeigt.
Registerkartenelement "Auslastung berechnen" Beschreibung
Angewandte Filter Wählen Sie Start- und Enddatum/-zeit für die Auslastungsansicht.
Anzeigen Wählen Sie die Metrik aus. Optionen:
  • CPU-Auslastung
  • Arbeitsspeicherauslastung
  • Netzwerk Empfangene Byte
  • Netzwerk Übertragene Byte
Zeitraum Wählen Sie zwischen einem benutzerdefinierten Zeitraum oder den letzten 7 Tagen.
Replikat-ID Filtern Sie Metriken nach einer bestimmten Replikat-ID, oder zeigen Sie alle Compute-Replikate an.
Interval Wählen Sie das Aggregationsintervall für das Diagramm aus. Optionen sind Auto, 1min, 5 min, 15min, 30min und 60min.

Registerkarte "Berechtigungen"

Die Registerkarte "Berechtigung" enthält eine Tabelle aller Principals, die über die Berechtigung für diese AI-Compute verfügen. Verwenden Sie diese Registerkarte, um Principals hinzuzufügen, die Berechtigungsstufe zu ändern oder Berechtigungen anderweitig zu ändern.


AI-Compute-Seite wird geöffnet, wobei die Registerkarte "Berechtigungen" ausgewählt ist.

Registerkartenelement "Berechtigungen" Beschreibung
Hauptelementname Name des Principals oder der Rolle.
Principal-Typ Principal-Typ. USER oder ROLE.
Berechtigung Berechtigungsstufe.
Wird geerbt Wenn Berechtigungen für ein übergeordnetes Objekt Berechtigungen für enthaltene Objekte erteilen.

AI-Compute erstellen

Sie können KI-Compute-Cluster erstellen, um KI-Agents in Ihrer Oracle AI Data Platform auszuführen.

  1. Navigieren Sie auf der Homepage zu Ihrem Workspace.
  2. Klicken Sie auf Erstellen und dann auf AI Compute.
  3. Geben Sie einen Namen und die Beschreibung für Ihr AI-Compute an.
    AI-Compute-Dialogfeld erstellen, in dem Standardwerte angezeigt werden, bevor ein Benutzer sie abgeschlossen hat.

  4. Legen Sie die Anzahl der OCPUs in jedem Replikat fest. Sie können 1, 2, 4, 8, 16, 32 oder 64 OCPUs auswählen.
  5. Legen Sie den Arbeitsspeicher (in GB) pro Replikat fest. Der zulässige Speicherbereich variiert je nach Anzahl der OCPUs:
    OCPUs Speicher
    1 OCPU 16 oder 32 GB
    2 OCPUs 16, 32 oder 64 GB
    4 OCPUs 32, 64 oder 128 GB
    8 OCPUs 32, 64, 128 oder 256 GB
    16 OCPUs 64, 128, 256 oder 512 GB
    32 OCPUs 128, 256 oder 512 GB
    64 OCPUs 256, 512 oder 1024 GB
  6. Um horizontales Autoscaling zu aktivieren, aktivieren Sie Autoscaling, und konfigurieren Sie die folgenden Felder:
    • Mindestreplikate: Legen Sie die Mindestanzahl von Replikaten fest, die dem AI-Compute-Cluster zugewiesen sind.
    • Maximale Replikate: Legen Sie die maximale Anzahl von Replikaten fest, die dem AI-Compute-Cluster zugewiesen sind. Scale-out-Ereignisse treten auf, bis die Anzahl der Replikate die maximale Anzahl der Replikate erreicht.
    • Skalierungsbedingungen: Legen Sie die Schwellenwerte für API-Anforderungen pro Sekunde (die Anzahl der Anforderungen pro Sekunde über alle Agents hinweg, die auf dem AI-Compute gehostet werden) und Mittlere CPU-Auslastung über Replikate fest (die durchschnittliche CPU-Auslastung über alle Replikate hinweg; der Standardwert beträgt 80%).

      Skalierungsbedingungen verwenden Logik, die eine Aktion zum Hinzufügen oder Entfernen eines Replikats aus dem AI-Compute initiiert. Bei "True" initiiert die Skalierungsbedingung eine horizontale Skalierungsaktion, und es wird ein weiteres Compute-Replikat hinzugefügt. Eine horizontale Skalierungsaktion wird ausgelöst, wenn API-Anforderungen pro Sekunde einen Schwellenwert überschreiten oder wenn die mittlere CPU-Auslastung für alle Replikate einen Schwellenwert überschreitet.

    • Cooldown-Zeitraum: Legen Sie den Zeitraum nach einer Autoscaling-Aktion fest, während der die automatische Skalierung keine weiteren Aktionen ausführt. Dadurch werden übermäßige Skalierungsaktionen in kurzer Zeit verhindert. Der Mindestwert ist 5 Minuten.
  7. Wenn Sie die automatische Skalierung deaktiviert lassen, legen Sie die Anzahl der Compute-Replikate fest. Replikate skalieren den Compute-Pool. Jedes Replikat hostet eine Kopie aller Agents, die im AI Compute gehostet werden.

    Hinweis:

    Die maximale Anzahl an Replikaten beträgt 10. Wenden Sie sich an Ihren Oracle-Ansprechpartner, wenn Sie das Replikatlimit erhöhen müssen.
  8. Prüfen Sie die entsprechenden AIDP-Einheiten, die von der AI-Compute-Konfiguration pro Stunde berechnet werden.
  9. Klicken Sie auf Create. Die neue Ressource wird in der Liste im Status "Wird erstellt" angezeigt. Nach Abschluss des Provisionings wird der Status in "Aktiv" geändert.

AI-Compute für einen Agent erstellen

Sie können ein neues AI-Compute-Cluster direkt über die Agent-Schnittstelle erstellen und sofort anhängen.

Weitere Informationen finden Sie unter AI Compute.
  1. Navigieren Sie auf der Homepage zu Ihrem Agent.
  2. Klicken Sie auf Compute und dann auf Neues AI-Compute erstellen.
  3. Geben Sie einen Namen und die Beschreibung für Ihr AI-Compute an.
  4. Wählen Sie die Anzahl der OCPUs und die Arbeitsspeichergröße für Ihr AI-Compute aus.
  5. Klicken Sie auf Create.

Vorhandene AI Compute an einen Agent anhängen

Sie können ein AI-Compute-Cluster, das Sie zuvor erstellt haben, an einen Agent anhängen, für den Sie mindestens USE-Berechtigungen haben.

  1. Navigieren Sie auf der Homepage zu Ihrem Agent.
  2. Klicken Sie auf Compute und dann auf An AI Compute anhängen.
  3. Klicken Sie in der Liste auf das zu verwendende AI-Compute.
    Der Agent zeigt AIcompute: (ClusterName) running an, wenn er erfolgreich angehängt wurde. Dieser Vorgang kann mehrere Minuten dauern.

AI-Compute bearbeiten

Sie können die Konfigurationseinstellungen eines AI-Compute-Clusters über den Vorgang "Bearbeiten" ändern.

Das Ändern der OCPU oder des Arbeitsspeichers für Ihre AI-Compute kann einige Minuten dauern. Sie können auch Abfragen mit langer Ausführungszeit in Ihrem Agent unterbrechen.
  1. Navigieren Sie auf der Homepage zu Ihrem Workspace.
  2. Klicken Sie auf Compute und dann auf die Registerkarte AI Compute.
  3. Klicken Sie neben dem AI-Compute, das Sie ändern möchten, auf Aktionssymbol mit drei Punkten Aktionen und dann auf Bearbeiten. Sie können auch auf den Namen des AI-Compute klicken und dann oben rechts auf Bearbeiten klicken.

    Compute-Seite wird auf der Registerkarte "AI Compute" geöffnet. Das Aktionsmenü für ein AI-Compute ist geöffnet, und "Bearbeiten" ist hervorgehoben.


    AI-Compute-Seite geöffnet. Die Schaltfläche "Bearbeiten" oben rechts auf dem Bildschirm ist hervorgehoben.

  4. Ändern Sie den Namen, die Beschreibung, die Anzahl der Compute-Replikate, die OCPU-Anzahl pro Replikat und den Arbeitsspeicher pro Replikat. Änderungen an AI-Computing werden ohne Ausfallzeiten abgeschlossen.
  5. Klicken Sie auf Aktualisieren. Der AI-Compute-Status wird während der Aktualisierung als "Wird aktualisiert" angezeigt.

Agent von AI Compute trennen

Sie können einen Agent von einem AI-Compute trennen. Durch das Trennen der AI-Compute wird der Agent-Code entfernt, der auf dem angeschlossenen Compute ausgeführt wird, und das Testen wird verhindert.

Hinweis:

Wenn Sie einen Agent von AI-Compute trennen, wird der Agent nicht gelöscht. Sie können die Erstellung und das Testen des Agents fortsetzen, indem Sie ihn an dasselbe oder ein anderes AI-Compute anhängen.
  1. Navigieren Sie auf der Homepage zu Ihrem Agent.
  2. Klicken Sie auf Compute und dann auf Zuordnung zu AI Compute aufheben.

    Bild oben auf Agent-Seite abgeschnitten. Das Compute-Aktionsmenü ist geöffnet, wobei "Von AI Compute trennen" hervorgehoben ist

AI-Compute löschen

Sie können KI-Compute-Cluster löschen, die nicht verwendet oder nicht mehr benötigt werden.

  1. Navigieren Sie zu Ihrem Workspace, und klicken Sie auf Compute. Klicken Sie dann auf die Registerkarte AI Compute.
  2. Klicken Sie neben dem zu löschenden AI-Compute auf Aktionssymbol mit drei Punkten Aktionen, und klicken Sie auf Löschen.
  3. Klicken Sie auf Löschen.

    AI-Compute-Seite mit hervorgehobenem Menü "Aktionen" und "Löschen"

AI Compute stoppen

Sie können ein AI-Compute-Cluster stoppen, um alle Agents zu stoppen, die auf dem AI-Compute ausgeführt werden. Die Berechnung wird freigegeben, und die Messung wird gestoppt.

Wir empfehlen, eine AI-Compute zu stoppen, wenn die auf der Compute-Instanz gehosteten Agents nicht verwendet werden.
  1. Navigieren Sie auf der Homepage zu Ihrem Workspace.
  2. Klicken Sie auf Compute und dann auf die Registerkarte AI Compute.
  3. Klicken Sie neben dem AI-Compute, das Sie stoppen möchten, auf Aktionssymbol mit drei Punkten Aktionen, und klicken Sie auf Stoppen.

    AI-Compute-Seite mit hervorgehobenem Menü "Aktionen" und "Stopp"

AI Compute starten

Sie können ein AI-Compute-Cluster starten, das zuvor gestoppt wurde.

  1. Navigieren Sie auf der Homepage zu Ihrem Workspace.
  2. Klicken Sie auf Compute und dann auf die Registerkarte AI Compute.
  3. Klicken Sie neben dem AI-Compute, das Sie starten möchten, auf Aktionssymbol mit drei Punkten Aktionen, und klicken Sie auf Start.

    AI-Compute-Seite mit hervorgehobenem Menü "Aktionen" und "Start"

AI-Compute neu starten

Sie können ein aktives AI-Compute-Cluster neu starten, um aktuelle Änderungen oder Updates abzurufen.

Hinweis:

Agents, die auf aktiver Compute gehostet werden, werden beim Neustart unterbrochen.
  1. Navigieren Sie auf der Homepage zu Ihrem Workspace.
  2. Klicken Sie auf Compute und dann auf die Registerkarte AI Compute.
  3. Klicken Sie neben dem zu startenden AI-Compute auf Aktionssymbol mit drei Punkten Aktionen, und klicken Sie auf Neu starten.

    AI-Compute-Seite mit hervorgehobenem Menü "Aktionen" und "Neu starten"