Zahlung für On-Demand-Inferenzierung
Sie erhalten die folgenden Vorteile durch das Festschreiben von On-Demand-Inferenzen in OCI Generative AI:
- Niedrige Barriere für die Nutzung generativer KI.
- Zugriff auf alle verfügbaren Grundmodelle für generative KI.
- Ideal zum Experimentieren und Auswerten der Modelle.
- Pay as you go für Transaktionen. Weitere Informationen finden Sie im folgenden Hinweis.
Wenn On-Demand inferenziert wird, zahlen Sie für die folgenden Zeichenlängen:
- Chat: Prompt-Länge (in Zeichen) + Antwortlänge (in Zeichen)
- Texteinbettungen: Eingabelänge (in Zeichen)
Auf der Seite Preise wird 1 character als 1 transaction berechnet.
Wenn Sie grundlegende Modelle hosten oder sie auf dedizierten KI-Clustern optimieren, wird Ihnen die Einheitenzeit und nicht die Transaktion in Rechnung gestellt. In diesem Fall erfahren Sie unter Für dedizierte KI-Cluster bezahlen, wie Sie die Kosten des dedizierten KI-Clusters berechnen.
Modelle mit On-Demand-Preisen abgleichen
Siehe die folgenden Tabellen, um ein Basismodell mit seinem Produktnamen auf der Seite "Preisfindung" abzugleichen. Auf der Preisseite wird der Preis für 10.000 On-Demand-Transaktionen aufgeführt, wenn der Playground, die API oder die CLI für Inferenzen verwendet werden.
Chatmodelle
| Modellname | OCI-Modellname | Preisfindungsseite - Produktname |
|---|---|---|
| Cohere Command A | cohere.command-a-03-2025 |
Large Cohere |
| Cohere Command R 08-2024 | cohere.command-r-08-2024 |
Small Cohere |
| Cohere Command R+ 08-2024 | cohere.command-r-plus-08-2024 |
Large Cohere |
| Cohere Command R | cohere.command-r-16k (veraltet) |
Small Cohere |
| Cohere Command R+ | cohere.command-r-plus (veraltet) |
Large Cohere |
| Meta Llama 4 Maverick | meta.llama-4-maverick-17b-128e-instruct-fp8 |
Meta Llama 4 Maverick |
| Meta Llama 4 Scout | meta.llama-4-scout-17b-16e-instruct |
Meta Llama 4 Scout |
| Meta Llama 3.3 | meta.llama-3.3-70b-instruct |
Large Meta |
| Meta Llama 3.2 11B Vision | meta.llama-3.2-11b-vision-instruct |
Large Meta |
| Meta Llama 3.2 90B Vision | meta.llama-3.2-90b-vision-instruct |
Large Meta |
| Meta Llama 3.1 (70B) | meta.llama-3.1-70b-instruct |
Large Meta |
| Meta Llama 3.1 (405B) | meta.llama-3.1-405b-instruct |
Meta Llama 3.1 405B |
| Meta Llama 3 | meta.llama-3-70b-instruct (veraltet) |
Large Meta |
Die für den On-Demand-Modus unterstützten Zusammenfassungs- und Textgenerierungsmodelle sind jetzt eingezogen. Wir empfehlen, stattdessen die chat-modelle zu verwenden.
Modelle einbetten
| Modellname | OCI-Modellname | Preisfindungsseite - Produktname |
|---|---|---|
| Cohere Englisches Bild einbetten V3 | cohere.embed-english-image-v3.0 |
Embed Cohere |
| Cohere Embed Multilingual Image V3 | cohere.embed-multilingual-image-v3.0 |
Embed Cohere |
| Cohere Embed English Light Image V3 | cohere.embed-english-light-image-v3.0 |
Embed Cohere |
| Cohere Embed Multilingual Light Image V3 | cohere.embed-multilingual-light-image-v3.0 |
Embed Cohere |
| Cohere Embed English V3 | cohere.embed-english-v3.0 |
Embed Cohere |
| Cohere Embed Multilingual V3 | cohere.embed-multilingual-v3.0 |
Embed Cohere |
| Cohere Embed English Light V3 | cohere.embed-english-light-v3.0 |
Embed Cohere |
| Cohere Embed Multilingual Light V3 | cohere.embed-multilingual-light-v3.0 |
Embed Cohere |
Chatbeispiel
Paul ruft das Modell meta.llama-3.3-70b-instruct mit der folgenden Eingabeaufforderung auf, die 220 characters lang ist:
Generieren Sie eine Produktneigung für ein an USB angeschlossenes kompaktes Mikrofon, das Surround-Sound aufnehmen kann. Das Mikrofon ist am nützlichsten bei der Aufnahme von Musik oder Gesprächen. Das Mikrofon kann auch für die Aufzeichnung von Podcasts nützlich sein.
Die Antwort vom Modell ist 2,205 characters lang. Paul will die Kosten für diesen Aufruf wissen. Hier sind die Schritte zur Berechnung der Kosten.
Neben der Preisberechnung können Sie die Kosten schätzen, indem Sie die Kategorie KI und maschinelles Lernen auswählen und den Kostenrechner für OCI Generative AI laden.
Beispiel für Texteinbettungen
Gina wandelt Kundenverträge in Einbettungen für eine neue semantische Suchanwendung um. Im Durchschnitt nimmt Gina 16 Dokumente pro Stunde auf. Jedes Dokument ist etwa 1,000 characters lang. Gina möchte eine Schätzung der monatlichen Rechnung für die Generierung dieser Einbettungen erhalten. So berechnen Sie die Kosten: