Oracle Cloud Infrastructure-Dokumentation

Für dedizierte KI-Cluster bezahlen

Sie erhalten die folgenden Vorteile für die Verwendung von dedizierten KI-Clustern in OCI Generative AI:

  • Vorhersehbare Preise, die nicht mit der Nachfrage schwanken.
  • Ideal für Feinabstimmung oder Hosting-Modelle.
  • Minimale Hosting-Verpflichtung: 744 Einheitenstunden pro Hosting-Cluster.
  • Minimale Feinabstimmung: 1 Stunde pro Feinabstimmung-Job. (Je nach Modell erfordert die Feinabstimmung mindestens 2 Einheiten.

Die folgenden Beispiele berechnen die dedizierten KI-Clusterkosten in OCI Generative AI. Informationen zum Berechnen von On-Demand-Inferenzierungskosten finden Sie unter Zahlung für On-Demand-Inferenzierung.

Modelle mit dedizierten Clusterpreisen abgleichen

Wenn Sie grundlegende Modelle hosting oder fine-tuning auf dedizierten KI-Clustern verwenden, werden Ihnen die Einheitenstunde und nicht die Transaktion in Rechnung gestellt.

Gehen Sie zur Seite vorgeschulte Modelle, und wählen Sie das Modell aus, mit dem Sie arbeiten möchten. Suchen Sie im Abschnitt Dediziertes KI-Cluster für das Modell die Einheitengröße für das dedizierte KI-Cluster, das mit dem Modell und den Informationen zur Preisseite übereinstimmt. Lesen Sie anschließend die Beispiele in diesem Abschnitt, um zu erfahren, wie Sie die Kosten für die Verwendung dieser Modelle berechnen.

Wichtig

Einige vortrainierte Basismodelle von OCI Generative AI, die für den dedizierten Bereitstellungsmodus unterstützt werden, sind jetzt veraltet und werden spätestens 6 Monate nach dem Release des 1. Ersatzmodells eingestellt. Sie können ein Basismodell hosten oder ein Basismodell optimieren und das fein abgestimmte Modell in einem dedizierten KI-Cluster (dedizierter Bereitstellungsmodus) hosten, bis das Basismodell deaktiviert wird. Informationen zu den Ruhestandsdaten im dedizierten Bereitstellungsmodus finden Sie unter Modelle in den Ruhestand versetzen.

Hosting eines grundlegenden Modells Beispiel 1

John möchte eine Instanz des Modells Command R+ 08-2024 (cohere.command-r-plus-08-2024) auf einer dedizierten Infrastruktur hosten. John löscht das Cluster nach 40 Tagen und möchte die Kosten des Clusters kennen. Um ein cohere.command-r-plus-08-2024-Modell zu hosten, muss John zuerst die Einheitengröße identifizieren, die das cohere.command-r-plus-08-2024-Modell hosten kann. Die Einheitengröße für das Modell cohere.command-r-plus-08-2024 ist eine Large Cohere V2_2-Einheit. Siehe Dediziertes KI-Cluster für das Modell.

John benötigt mindestens eine Large Cohere V2_2-Einheit, um das cohere.command-r-plus-08-2024-Modell zu hosten. Im Folgenden werden die Kosten für ein Hostingcluster mit einer Large Cohere V2_2-Einheit berechnet.

  1. Berechnen Sie die Stunden pro Einheit für 40 Tage. 
    40 days x 24 hours per day x 1 unit = 960 unit hours.
  2. Stellen Sie sicher, dass die Stunden pro Einheit die Mindestzusage für das Hosting der Modelle überschreiten. 
    960 unit hours > 744 minimum unit hours
  3. Gehen Sie zu KI-Preisen und finden Sie unter OCI Generative AI für Oracle Cloud Infrastructure Generative AI – Large Cohere – Dedicated die <Large-Cohere-dedicated-unit-per-hour-price>.
  4. Suchen Sie im Abschnitt "Dediziertes KI-Cluster für das Modell" im Abschnitt Dediziertes KI-Cluster für das Modell den Multiplikator für das Modell cohere.command-r-plus-08-2024: 
    
                                For Hosting, Multiply the Unit Price: x 2
  5. Berechnen Sie den Preis für 40 Tage. 
    price = (960 unit hours) x $<Large-Cohere-dedicated-unit-per-hour-price> x 2

Hosting eines grundlegenden Modells Beispiel 2

Alice möchte eine Instanz des Modells Command R 08-2024 (cohere.command-r-08-2024) auf einer dedizierten Infrastruktur hosten. Um ein cohere.command-r-08-2024-Modell zu hosten, muss Alice zuerst die Einheitengröße identifizieren, die das Command R 08-2024-Modell hosten kann. Die Einheitengröße für Command R 08-2024 ist eine Small Cohere V2-Einheit. Siehe Dediziertes KI-Cluster für das Modell.

Alice beschließt, drei Einheiten von Small Cohere V2 zu kaufen, um ein höheres Anrufvolumen für das Modell zu verarbeiten, als eine einzelne Einheit bereitstellen würde. Alice plant, das Cluster nach fünf Tagen zu löschen. Im Folgenden werden die Kosten für ein Hostingcluster mit drei Small Cohere V2-Einheiten für fünf Tage berechnet.

  1. Stunden pro Einheit berechnen 
    5 days x 24 hours per day x 3 units = 360 unit hours.
  2. Vergleichen Sie die Stunden pro Einheit mit der Mindestverpflichtung für das Hosting der Modelle. 
    360 unit hours < 744 minimum unit hours
Alice is charged for 744 unit hours.
  3. Gehen Sie zu KI-Preisen und unter OCI Generative AI für Oracle Cloud Infrastructure Generative AI – Small Cohere – Dedicated, finden Sie die <Small-Cohere-dedicated-unit-per-hour-price>.
  4. Suchen Sie im Abschnitt Dediziertes KI-Cluster für das Modell den Multiplikator für das Modell cohere.command-r-08-2024.

    Sie müssen den Preis für das Hosting des cohere.command-r-08-2024-Modells nicht multiplizieren.

  5. Berechnen Sie die Kosten für fünf Tage. 
    price = (744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>

Modell optimieren und hosten – Beispiel

Bob möchte ein Command R 08-2024-(cohere.command-r-08-2024-)Modell optimieren. Bob erstellt ein dediziertes KI-Cluster mit Feinabstimmung und dem voreingestellten Wert von acht Small Cohere V2-Einheiten. Bob erstellt ein benutzerdefiniertes Modell auf dem definierten KI-Cluster zur Feinabstimmung und optimiert das Command R 08-2024-Grundmodell mit Trainingsdaten. Die Feinabstimmung dauert 5 Stunden. Bob erstellt jede Woche einen Feinabstimmungscluster.

Um ein cohere.command-r-08-2024-Modell zu hosten, muss Bob die Einheitengröße identifizieren, die das cohere.command-r-08-2024-Modell hosten kann. Die Einheitengröße für das Modell cohere.command-r-08-2024 ist eine Small Cohere V2-Einheit. Siehe Dediziertes KI-Cluster für das Modell. Bob kann bis zu 50 fein abgestimmte Modelle auf einem einzigen Hosting-Cluster hosten. Hier sind die Schritte, um die monatlichen Kosten für die Optimierung und das Hosting der Modelle zu berechnen.

  1. Berechnen Sie die Stunden pro Einheit für jede Feinabstimmung. 
    Each fine-tuning cluster requires 8 units and each cluster is active for 5 hours
fine-tuning per cluster = 40 unit-hours
  2. Vergleichen Sie die Stunden pro Einheit mit der Mindestverpflichtung für die Feinabstimmung der Modelle. 
    40 unit hours > 1 unit hour
  3. Berechnen Sie die Stunden pro Einheit für das Hosting. 
    31 days x 24 hours per day x 1 unit = 744 unit hours
  4. Vergleichen Sie die Stunden pro Einheit mit der Mindestverpflichtung für das Hosting der Modelle. 
    744 unit hours = 744 minimum unit hours
  5. Gehen Sie zu KI-Preisen und unter OCI Generative AI für Oracle Cloud Infrastructure Generative AI – Small Cohere – Dedicated, finden Sie die <Small-Cohere-dedicated-unit-per-hour-price>.
  6. Finde den monatlichen Gesamtpreis. 
    fine-tuning price = (40 unit hours) per week x (4 weeks) x $<Small-Cohere-dedicated-unit-per-hour-price> 
                            
fine-tuning price = 160 x <Small-Cohere-dedicated-unit-per-hour-price>
                                
    hosting price = (744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>
                                
    total monthly price = (160 + 744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>
Tipp

Neben der Berechnung des Preises können Sie die Kostenschätzung vornehmen, indem Sie die Kategorie KI und maschinelles Lernen auswählen und den Kostenrechner für OCI Generative AI laden.