23 AI-Compute

In diesem Kapitel wird die Verwendung spezieller Computing-Ressourcen für die Stromversorgung von KI-Agents in Oracle AI Data Platform Workbench behandelt.

Mit einem AI-Compute-Cluster können Sie Agents in AI Data Platform Workbench-Workspaces hosten. KI-Berechnungen können Agents zugeordnet werden, um die Playground-Erfahrung auszuführen und bereitgestellte Agents für Produktions-Workloads zu hosten.

Wo Sie AI Compute finden

Sie verwalten AI-Compute über die Seite "Compute", auf die Sie über den linken Navigationsbereich in AI Data Platform Workbench zugreifen können. Klicken Sie auf die Registerkarte AI-Compute, um die in Ihrem Workspace verfügbaren KI-Compute-Cluster anzuzeigen.

Die Registerkarte AI-Compute ist die Hauptlandeseite für KI-Compute-Ressourcen im aktuell ausgewählten Workspace. Es bietet Tabellenaktionen, Filterung, Sortierung und Statusinformationen.

Spalte oder Steuerelement	Zweck
Filter	Durchsuchen Sie die Tabelle nach einer Ressource nach Name oder sichtbarem Text.
Addieren (+)	Starten Sie die Erstellung eines neuen KI-Compute.
Löschen	Ausgewählte AI-Berechnungen entfernen.
AI-Compute-Name	Name der Compute-Ressource. Klicken Sie auf den AI-Compute-Namen, um die Seite mit den Ressourcendetails zu öffnen.
Bundesland	Aktueller Lebenszyklusstatus, z.B. "Erstellen", "Aktiv" oder "Aktualisieren".
Anzahl Replikate	Anzahl der Compute-Replikate, die mit dem AI-Compute verknüpft sind.
Anzahl Agents	Anzahl der Agents, die im AI Compute gehostet werden. Die Anzahl wird als Link angezeigt, wenn Agents vorhanden sind.
Konfiguration	Zusammenfassung der Compute-Ausprägung der Replikate in AI Compute, wie 1 OCPU, 16 GB oder 2 OCPU, 32 GB.
Aktualisiert von / Aktualisiert am / Erstellt am	Auditinformationen für die letzte Aktualisierungs- und Erstellungszeit.
Menü "Aktion" (...)	Öffnen Sie ressourcenspezifische Aktionen für die ausgewählte Zeile.

Hinweis:

Ein grünes Häkchen gibt eine aktive Ressource an. Ein Drehfeld gibt einen laufenden Vorgang an, z.B. Erstellen oder Aktualisieren. Warten Sie, bis eine Ressource aktiv ist, bevor Sie sich auf sie für Produktionsarbeiten verlassen.

Wenn Sie auf der Registerkarte AI-Compute auf den Namen eines AI-Compute klicken, können Sie detaillierte Informationen zu diesem AI-Compute anzeigen. Die AI-Compute-Ansicht verfügt über vier Registerkarten: Agents, Details, Compute-Auslastung und Berechtigungen.

Registerkarte "Agents"

Auf der Registerkarte "Agents" werden Agents aufgeführt, die in der AI Compute-Ressource gehostet werden. Wenn kein Agent bereitgestellt wird, hostet das AI-Compute das Playground-Erlebnis, das für die iterative Entwicklung und das Testen erforderlich ist. Wenn der Agent bereitgestellt wird, hostet die berechnete KI den Agent-Deployment-Endpunkt für Produktions-Workloads.

Registerkartenelement für Agents	Beschreibung
Nach Agent-Name filtern	Durchsuchen Sie die Liste der zugeordneten Agents.
Agent-Name	Name des Agent, der mit der Compute-Ressource verknüpft ist.
Erstellungsmodus	Wie der Agent verfasst wurde. Werte von Visual oder Code.
Deployment	Deployment-Status. Agents, die im AI-Compute gehostet werden, können entweder nicht bereitgestellt (Playground wird in AI-Compute gehostet) oder bereitgestellt werden (wenn das Compute den Deployment-Endpunkt des Agent hostet)
URI/URI-Status	Endpunkt-URI-Informationen, wenn ein Agent bereitgestellt wird und über eine URI verfügt.
KI-Compute	Das Compute, das mit dem Produktionsendpunkt des Agent verknüpft ist.
Erstellt am/aktualisiert am/um	Erstellen und aktualisieren Sie Metadaten für den Agent.

Registerkarte "Details"

Auf der Registerkarte "Details" werden die konfigurierte Ausprägung und der Speicher für jedes Replikat des AI-Compute zusammengefasst.

Registerkartenelement "Details"	Beschreibung
Treiberausprägung	Die für AI Compute ausgewählte GPU-Ausprägung. AMD ist die Treiberausprägung für alle AI Compute-Instanzen.
OCPUs	Die ausgewählte Anzahl von OCPUs für AI Compute.
Speicher (GB)	Der AI-Computing-Speicher in GB.
Block-Volume	Die Block-Volume-Größe der AI Compute-Instanz in GB.

Registerkarte "Compute-Auslastung"

Auf der Registerkarte "Compute-Auslastung" können Sie CPU-, Speicher- und Netzwerkauslastung im Zeitverlauf prüfen. Dies ist nützlich, wenn Sie entscheiden, ob Replikate, OCPUs oder Speicher nach oben oder unten skaliert werden sollen. Bei einem Scale-out/in-AI-Compute-Vorgang entstehen keine Ausfallzeiten.

Hinweis:

Jede Zeitreihe entspricht einem anderen Replikat. Beispiel: Wenn Sie ein AI-Compute mit zwei Replikaten erstellen, werden zwei Zeitreihen wie im Screenshot oben dargestellt angezeigt.

Registerkartenelement "Auslastung berechnen"	Beschreibung
Angewandte Filter	Wählen Sie Start- und Enddatum/-zeit für die Auslastungsansicht.
Anzeigen	Wählen Sie die Metrik aus. Optionen: CPU-Auslastung Arbeitsspeicherauslastung Netzwerk Empfangene Byte Netzwerk Übertragene Byte
Zeitraum	Wählen Sie zwischen einem benutzerdefinierten Zeitraum oder den letzten 7 Tagen.
Replikat-ID	Filtern Sie Metriken nach einer bestimmten Replikat-ID, oder zeigen Sie alle Compute-Replikate an.
Interval	Wählen Sie das Aggregationsintervall für das Diagramm aus. Optionen sind Auto, 1min, 5 min, 15min, 30min und 60min.

Registerkarte "Berechtigungen"

Die Registerkarte "Berechtigung" enthält eine Tabelle aller Principals, die über die Berechtigung für diese AI-Compute verfügen. Verwenden Sie diese Registerkarte, um Principals hinzuzufügen, die Berechtigungsstufe zu ändern oder Berechtigungen anderweitig zu ändern.

Registerkartenelement "Berechtigungen"	Beschreibung
Hauptelementname	Name des Principals oder der Rolle.
Principal-Typ	Principal-Typ. USER oder ROLE.
Berechtigung	Berechtigungsstufe.
Wird geerbt	Wenn Berechtigungen für ein übergeordnetes Objekt Berechtigungen für enthaltene Objekte erteilen.

KI-Cluster erstellen

Sie können KI-Compute-Cluster erstellen, um KI-Agents in Ihrer AI Data Platform auszuführen.

1. Navigieren Sie auf der Homepage zu Ihrem Workspace.
2. Klicken Sie auf Erstellen und dann auf AI Compute.
3. Geben Sie einen Namen und eine Beschreibung für das AI-Compute-Cluster an.
4. Legen Sie die Anzahl der Compute-Replikate fest. Replikate skalieren den Compute-Pool. Jedes Replikat hostet eine Kopie aller Agents, die im AI Compute gehostet werden.

   Hinweis:

   Die maximale Anzahl an Replikaten beträgt 10. Wenden Sie sich an Ihren Oracle-Ansprechpartner, wenn Sie das Replikatlimit erhöhen müssen.
5. Legen Sie die Anzahl der OCPUs in jedem Replikat fest. Sie können 1, 2, 4, 8, 16, 32 oder 64 OCPUs auswählen.
6. Legen Sie den Arbeitsspeicher (in GB) pro Replikat fest. Der zulässige Speicherbereich variiert je nach Anzahl der OCPUs:

   OCPUs	Speicher
   1 OCPU	16 oder 32 GB
   2 OCPUs	16, 32 oder 64 GB
   4 OCPUs	32, 64 oder 128 GB
   8 OCPUs	32, 64, 128 oder 256 GB
   16 OCPUs	64, 128, 256 oder 512 GB
   32 OCPUs	128, 256 oder 512 GB
   64 OCPUs	256, 512 oder 1024 GB

7. Prüfen Sie die entsprechenden AIDP-Einheiten, die eine solche AI-Compute-Konfiguration pro Stunde kostet.
8. Klicken Sie auf Create. Die neue Ressource wird in der Liste im Status "Wird erstellt" angezeigt. Nach Abschluss des Provisionings wird der Status in "Aktiv" geändert.

AI-Cluster bearbeiten

Sie können die Konfigurationseinstellungen eines AI-Compute über den Bearbeitungsvorgang ändern.

Das Ändern der OCPU oder des Arbeitsspeichers für das AI-Compute-Cluster kann einige Minuten dauern. Sie können auch Abfragen mit langer Ausführungszeit in Ihrem Agent unterbrechen.

1. Navigieren Sie auf der Homepage zu Ihrem Workspace.
2. Klicken Sie auf Compute und dann auf die Registerkarte AI Compute.
3. Klicken Sie neben dem AI-Compute-Cluster, das Sie ändern möchten, auf Aktionen und dann auf Bearbeiten. Sie können auch auf den Namen des AI-Compute klicken und dann oben rechts auf Bearbeiten klicken.
   
   

   

   
   
   

   

   
   
4. Ändern Sie den Namen, die Beschreibung, die Anzahl der Compute-Replikate, die OCPU-Anzahl pro Replikat und den Arbeitsspeicher pro Replikat. Änderungen an AI-Computing werden ohne Ausfallzeiten abgeschlossen.
5. Klicken Sie auf Aktualisieren. Der AI-Compute-Status wird während der Aktualisierung als "Wird aktualisiert" angezeigt.

KI-Cluster löschen

Sie können KI-Compute-Cluster löschen, die nicht verwendet oder nicht mehr benötigt werden.

1. Navigieren Sie zu Ihrem Workspace, und klicken Sie auf Compute. Klicken Sie dann auf die Registerkarte AI Compute.
2. Klicken Sie neben dem zu löschenden KI-Cluster auf Aktionen, und klicken Sie auf Löschen.
3. Klicken Sie auf Löschen.
   
   

   

   
   

KI-Cluster stoppen

Sie können eine AI-Compute stoppen, um alle Agents zu stoppen, die auf der AI-Compute ausgeführt werden. Die Berechnung wird freigegeben, und die Messung wird gestoppt.

Wir empfehlen, eine AI-Compute zu stoppen, wenn die auf der Compute-Instanz gehosteten Agents nicht verwendet werden.

1. Navigieren Sie auf der Homepage zu Ihrem Workspace.
2. Klicken Sie auf Compute und dann auf die Registerkarte AI Compute.
3. Klicken Sie neben dem KI-Cluster, das Sie stoppen möchten, auf Aktionen, und klicken Sie auf Stoppen.
   
   

   

   
   

AI-Cluster starten

Sie können eine KI-Berechnung starten, die zuvor gestoppt wurde.

1. Navigieren Sie auf der Homepage zu Ihrem Workspace.
2. Klicken Sie auf Compute und dann auf die Registerkarte AI Compute.
3. Klicken Sie neben dem AI-Cluster, das Sie starten möchten, auf Aktionen, und klicken Sie auf Starten.
   
   

   

   
   

AI-Cluster neu starten

Sie können eine aktive AI-Compute neu starten, um aktuelle Änderungen oder Updates zu übernehmen.

Hinweis:

Agents, die auf aktiver Compute gehostet werden, werden beim Neustart unterbrochen.

1. Navigieren Sie auf der Homepage zu Ihrem Workspace.
2. Klicken Sie auf Compute und dann auf die Registerkarte AI Compute.
3. Klicken Sie neben dem AI-Cluster, das Sie starten möchten, auf Aktionen und dann auf Neu starten.