Für dedizierte KI-Cluster bezahlen
Sie erhalten die folgenden Vorteile für die Verwendung von dedizierten KI-Clustern in OCI Generative AI:
- Vorhersehbare Preise, die nicht mit der Nachfrage schwanken.
- Ideal für Feinabstimmung oder Hosting-Modelle.
- Minimale Hosting-Verpflichtung: 744 Einheitsstunden pro Hosting-Cluster.
- Minimale Feinabstimmungsverpflichtung: 1 Stunde pro Fine-Tuning-Job. (Je nach Modell sind für die Feinabstimmung mindestens 2 Einheiten erforderlich).
Unter Basismodelle mit Clustern abgleichen wird beschrieben, welche Modelle für die Feinabstimmung verfügbar sind.
Die folgenden Beispiele berechnen die Kosten für dedizierte KI-Cluster in OCI Generative AI. Informationen zur Berechnung der On-Demand-Inferenzierungskosten finden Sie unter Für On-Demand-Inferenzierung bezahlen.
Modelle mit Preisen für dedizierte Clustereinheiten abgleichen
Wenn Sie grundlegende Modelle hosting oder sie auf dedizierten KI-Clustern optimieren, werden Ihnen die Einheitenstunde und nicht die Transaktion in Rechnung gestellt. In diesem Fall finden Sie in der folgenden Tabelle Informationen zur Berechnung der Kosten für dedizierte KI-Cluster für die Chatmodelle.
Einige vortrainierte Basismodelle von OCI Generative AI, die für den dedizierten Bereitstellungsmodus unterstützt werden, sind jetzt veraltet und werden spätestens 6 Monate nach dem Release des 1. Ersatzmodells in den Ruhestand versetzt. Sie können ein Basismodell hosten oder ein Basismodell optimieren und das fein abgestimmte Modell in einem dedizierten KI-Cluster (dedizierter Bereitstellungsmodus) hosten, bis das Basismodell deaktiviert wird. Informationen zu den Ruhestandsdaten im dedizierten Bereitstellungsmodus finden Sie unter Modelle in den Ruhestand versetzen.
Chatmodelle
| Basismodell | Fine-Tuning-Cluster | Hosting Cluster | Preisinformationen | Erhöhung des Clusterlimits beantragen |
|---|---|---|---|---|
|
Nicht für Feinabstimmung verfügbar |
|
|
|
|
Nicht für Feinabstimmung verfügbar |
|
|
|
|
Nicht für Feinabstimmung verfügbar |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Nicht für Feinabstimmung verfügbar |
|
|
|
|
Nicht für Feinabstimmung verfügbar |
|
|
|
|
|
|
|
|
|
Nicht für Feinabstimmung verfügbar |
|
|
|
|
Nicht für Feinabstimmung verfügbar |
|
|
|
|
|
|
|
|
|
Nicht für Feinabstimmung verfügbar |
|
|
|
|
|
|
|
|
Sie müssen eine Limiterhöhung beantragen, um die folgenden Ressourcen zu verwenden:
Familie Meta Llama
-
Um ein Meta Llama 4 Maverick-Modell zu hosten, müssen Sie anfordern, dass
dedicated-unit-llama2-70-countum 4 erhöht wird. -
Um ein Meta Llama 4 Scout-Modell zu hosten, müssen Sie die Erhöhung von
dedicated-unit-llama2-70-countum 2 anfordern. -
Um ein Meta Llama 3.3 (70B)-Modell zu hosten, müssen Sie eine Erhöhung um 2 durch
dedicated-unit-llama2-70-countanfordern. -
Um ein Meta Llama 3.3 (70B)-Modell zu optimieren, müssen Sie eine Erhöhung um 4 durch
dedicated-unit-llama2-70-countanfordern. -
Um ein Meta Llama 3.2 11B Vision -Modell zu hosten, müssen Sie eine Erhöhung um 1 durch
dedicated-unit-llama2-70-countanfordern. -
Um ein Meta Llama 3.2 90B Vision -Modell zu hosten, müssen Sie eine Erhöhung um 2 durch
dedicated-unit-llama2-70-countanfordern. -
Um ein Meta Llama 3.1 (70B)-Modell zu hosten, müssen Sie eine Erhöhung um 2 durch
dedicated-unit-llama2-70-countanfordern. -
Um ein Meta Llama 3.1 (70B)-Modell zu optimieren, müssen Sie eine Erhöhung um 4 durch
dedicated-unit-llama2-70-countanfordern. -
Um ein Meta Llama 3.1 (405B)-Modell zu hosten, müssen Sie eine Erhöhung um 4 durch
dedicated-unit-llama2-70-countanfordern.
Cohere Command-Familie
-
Um ein Cohere Command A-Modell zu hosten, müssen Sie anfordern, dass
dedicated-unit-large-cohere-countum 1 erhöht wird. -
Um ein Cohere Command R-(veraltet-)Modell zu hosten, müssen Sie die Erhöhung von
dedicated-unit-small-cohere-countum 1 anfordern. -
Um ein Cohere Command R-Modell (veraltet) zu optimieren, müssen Sie
dedicated-unit-small-cohere-countzur Erhöhung um 8 anfordern. -
Um ein Cohere Command R 08-2024-Modell zu hosten, müssen Sie eine Erhöhung um 1 durch
dedicated-unit-small-cohere-countanfordern. -
Um ein Cohere Command R 08-2024-Modell zu optimieren, müssen Sie eine Erhöhung um 8 durch
dedicated-unit-small-cohere-countanfordern. -
Um ein Cohere Command R+-(veraltet-)Modell zu hosten, müssen Sie die Erhöhung von
dedicated-unit-large-cohere-countum 2 anfordern. -
Um ein Cohere Command R+ 08-2024-Modell zu hosten, müssen Sie eine Erhöhung um 2 durch
dedicated-unit-large-cohere-countanfordern.
Referenzen: Servicelimits für generative KI und Erhöhung des Clusterlimits beantragen
Informationen zu Modellen zur Textgenerierung, -zusammenfassung und -einbettung finden Sie in den Tabellen unter Basismodelle mit Clustern abgleichen.
Hosting eines Basismodells - Beispiel 1
John möchte eine Instanz des Modells Command R+ 08-2024 (cohere.command-r-plus-08-2024) auf einer dedizierten Infrastruktur hosten. John löscht das Cluster nach 40 Tagen und möchte die Kosten des Clusters kennen. Um ein cohere.command-r-plus-08-2024-Modell zu hosten, muss John zuerst die Einheitengröße identifizieren, die das cohere.command-r-plus-08-2024-Modell hosten kann. Die Einheitengröße für das Modell cohere.command-r-plus-08-2024 ist eine Large Cohere V2_2-Einheit. Siehe Basismodelle mit Clustern abgleichen.
John benötigt mindestens eine Large Cohere V2_2-Einheit, um das cohere.command-r-plus-08-2024-Modell zu hosten. Im Folgenden werden die Schritte zum Berechnen der Kosten eines Hostingclusters mit einer Large Cohere V2_2-Einheit beschrieben.
Hosting eines Basismodells - Beispiel 2
Alice möchte eine Instanz des Modells Command R 08-2024 (cohere.command-r-08-2024) auf einer dedizierten Infrastruktur hosten. Um ein cohere.command-r-08-2024-Modell zu hosten, muss Alice zuerst die Einheitengröße identifizieren, die das Command R 08-2024-Modell hosten kann. Die Einheitengröße für Command R 08-2024 ist eine Small Cohere V2-Einheit. Siehe Basismodelle mit Clustern abgleichen.
Alice beschließt, drei Einheiten von Small Cohere V2 zu kaufen, um ein höheres Anrufvolumen an das Modell zu verarbeiten, als eine einzelne Einheit bereitstellen würde. Alice plant, das Cluster nach fünf Tagen zu löschen. Im Folgenden werden die Schritte zum Berechnen der Kosten eines Hostingclusters mit drei Small Cohere V2-Einheiten für fünf Tage beschrieben.
Feinabstimmung und Hosting eines Modellbeispiels
Bob möchte ein Command R 08-2024-(cohere.command-r-08-2024-)Modell optimieren. Bob erstellt ein Defined-Tuning-dediziertes KI-Cluster mit dem voreingestellten Wert von acht Small Cohere V2-Einheiten. Bob erstellt ein benutzerdefiniertes Modell im definierten dedizierten KI-Cluster und optimiert das Command R 08-2024-Grundmodell mit Trainingsdaten. Die Feinabstimmung dauert 5 Stunden. Bob schafft jede Woche ein fein abgestimmtes Cluster.
Um ein cohere.command-r-08-2024-Modell zu hosten, muss Bob die Einheitengröße identifizieren, die das cohere.command-r-08-2024-Modell hosten kann. Die Einheitengröße für das Modell cohere.command-r-08-2024 ist eine Small Cohere V2-Einheit. Siehe Basismodelle mit Clustern abgleichen. Bob kann bis zu 50 fein abgestimmte Modelle auf einem einzigen Hosting-Cluster hosten. Hier sind die Schritte, um die monatlichen Kosten für die Optimierung und das Hosting der Modelle zu berechnen.
Neben der Preisberechnung können Sie die Kosten schätzen, indem Sie die Kategorie KI und maschinelles Lernen auswählen und den Kostenrechner für OCI Generative AI laden.