Oracle Cloud Infrastructure-Dokumentation

Für On Demand-Inferenzierung zahlen

Sie erhalten die folgenden Vorteile bei der Verpflichtung zur On-Demand-Inferenzierung in OCI Generative AI:

  • Geringe Barriere für den Einsatz generativer KI.
  • Zugriff auf alle verfügbaren Grundmodelle für generative KI.
  • Ideal zum Experimentieren und Auswerten der Modelle.
  • Pay as you go für Transaktionen. Weitere Einzelheiten finden Sie in der folgenden Anmerkung.
Hinweis

Bei On-Demand-Inferenzierung zahlen Sie für die folgenden Zeichenlängen:

  • Chat: Prompt-Länge (in Zeichen) + Antwortlänge (in Zeichen)
  • Texteinbettungen: Eingabelänge (in Zeichen)

Auf der Preisfindungsseite wird 1 character als 1 transaction berechnet.

Wenn Sie grundlegende Modelle hosten oder auf dedizierten KI-Clustern optimieren, werden Ihnen die Stunde und nicht die Transaktion in Rechnung gestellt. In diesem Fall wird unter Für dedizierte KI-Cluster bezahlen beschrieben, wie die dedizierten KI-Clusterkosten berechnet werden.

Modelle mit On-Demand-Preisen vergleichen

Auf der Preisseite wird der Preis für 10.000 On-Demand-Transaktionen oder 1.000.000 Token aufgeführt, wenn der Playground, die API oder die CLI für Inferenzen verwendet werden.

Gehen Sie zur Seite vorgeschulte Modelle, und wählen Sie das Modell aus, mit dem Sie arbeiten möchten. Suchen Sie im Abschnitt On-Demand-Modus die Informationen zur Preisseite für das Modell. Lesen Sie anschließend die Beispiele in diesem Abschnitt, um zu erfahren, wie Sie die Kosten basierend auf der Anzahl der Eingabe- und Ausgabezeichen berechnen.

Chatbeispiel

Paul ruft das Modell meta.llama-3.3-70b-instruct mit dem folgenden Prompt auf, der 220 characters lang ist:

Generieren Sie eine Produktneigung für ein kompaktes USB-Mikrofon, das Surround-Sound aufnehmen kann. Das Mikrofon ist am nützlichsten bei der Aufnahme von Musik oder Gesprächen. Das Mikrofon kann auch für die Aufzeichnung von Podcasts nützlich sein.

Die Antwort des Modells ist 2,205 characters lang. Paulus möchte die Kosten für diesen Anruf kennen. Hier sind die Schritte, um die Kosten zu berechnen.

  1. Berechnen Sie die Prompt + Antwortlänge (in Zeichen).

    Fügen wir die Prompt-Länge (220 Zeichen) und die Modellantwortlänge (2.205 Zeichen) hinzu.

    
                                    prompt + response length = 220 + 2,205 = 2,425 characters
  2. Anzahl der Transaktionen berechnen

    Die Preise sind für 10.000 Transaktionen aufgeführt.

    10,000 transactions = 10,000 characters, so 1 transaction = 1 character
2,425 characters = 2,425 transactions
  3. Gehen Sie zu KI-Preisen und finden Sie unter OCI Generative AI für Oracle Cloud Infrastructure Generative AI - Large Meta die <Large-Meta-unit-price> .
    Paul verwendet das meta.llama-3.3-70b-instruct-Modell, das dem Produkt entspricht, Generative AI OCI - Large Meta auf der Seite AI Pricing für generative KI.
  4. Berechnen Sie den Preis für 1.838 Zeichen. 
    price = (2,425 transactions )/ (10,000 transactions) x $<Large-Meta-unit-price>
Tipp

Neben der Berechnung des Preises können Sie die Kostenschätzung vornehmen, indem Sie die Kategorie KI und maschinelles Lernen auswählen und den Kostenrechner für OCI Generative AI laden.

Beispiel für Texteinbettungen

Gina konvertiert Kundenverträge in Einbettungen für eine neue semantische Suchanwendung. Im Durchschnitt nimmt Gina 16 Dokumente pro Stunde auf. Jedes Dokument ist ca. 1,000 characters lang. Gina möchte eine Schätzung der monatlichen Rechnung für die Generierung dieser Einbettungen erhalten. Hier sind die Schritte, um die Kosten zu berechnen.

  1. Berechnen Sie die Eingabelänge (in Zeichen).

    Fügen wir die Länge der Eingabezeichen für jede Stunde hinzu.

    
                                    input character length for 16 documents = 16 x 1,000 = 16,000 characters per hour
  2. Gehen Sie zu KI-Preisen und finden Sie unter OCI Generative AI unter Oracle Cloud Infrastructure Generative AI - Embed Cohere die <Embed-Cohere-unit-price>.
    Gina verwendet das cohere.embed-v4.0-Modell, das dem Produkt entspricht, Oracle Cloud Infrastructure Generative AI - Embed Cohere auf der Seite AI Pricing für generative KI.
  3. Die Anzahl der Transaktionen pro Stunde berechnen.

    Gina nimmt 16.000 Zeichen pro Stunde auf. Die Preise sind für 10.000 Transaktionen aufgeführt.

    10,000 transactions = 10,000 characters, so 1 transaction = 1 character
16,000 characters = 16,000 transactions
  4. Finden Sie den Stundenpreis für die 16.000 Zeichen, die Gina stündlich aufnimmt. 
    hourly price = 
(16,000 transactions ) / (10,000 transactions) x $<Embed-Cohere-unit-price>
  5. Finden Sie den monatlichen Preis für den längsten Monat des Jahres. 
    One month = 31 x 24 hours = 744 hours
monthly price = 744 hours x hourly price