Oracle Cloud Infrastructureドキュメント

オンデマンド推論に対する支払

OCI 生成AIでオンデマンド推論にコミットすると、次の利点が得られます:

  • 生成AIの使用を開始するための障壁が低くなります。
  • 使用可能なすべての生成AI基盤モデルにアクセスします。
  • モデルの実験と評価に最適です。
  • トランザクションのPay as you goです。詳細は、次のノートを参照してください。
ノート

オンデマンド推論では、次の文字長に従って支払います。

  • チャット: プロンプトの長さ(文字数) +レスポンスの長さ(文字数)
  • テキスト生成: プロンプトの長さ(文字数) +レスポンスの長さ(文字数)
  • サマリー: プロンプトの長さ(文字) +レスポンスの長さ(文字)
  • テキスト埋込み: 入力長(文字)

次の例では、OCI 生成AIでのテキスト生成およびテキスト埋込みのオンデマンド推論コストを計算します。専用AIクラスタ・コストの計算については、専用AIクラスタへの支払を参照してください。

製品への基本モデルの対応

オンデマンド推論の10,000トランザクションの単価を検索するには、次の表の製品への推論に使用する基本モデルと一致します。

能力 基盤となるベース・モデル 価格設定ページのオンデマンド推論用製品
チャット meta.llama-3-70b-instruct Oracle Cloud Infrastructure 生成AI - 大規模Meta
チャット cohere.command-r-plus Oracle Cloud Infrastructure 生成AI - 大規模Cohere V2
チャット cohere.command-r-16k Oracle Cloud Infrastructure 生成AI - Small Cohere V2
テキスト生成 cohere.command Oracle Cloud Infrastructure 生成AI - Large Cohere
テキスト生成 cohere.command-light Oracle Cloud Infrastructure 生成AI - Small Cohere
テキスト生成 meta.llama2_70b-chat Oracle Cloud Infrastructure 生成AI - 大規模Meta
要約 cohere.command Oracle Cloud Infrastructure 生成AI - Large Cohere
埋込み cohere.embed Oracle Cloud Infrastructure 生成AI - Cohereの埋込み

次の例では、OCI 生成AIでのテキスト生成およびテキスト埋込みのオンデマンド推論コストを計算します。専用AIクラスタ・コストの計算については、専用AIクラスタへの支払を参照してください。

チャットの例

Paulは、次のプロンプト(220 characters long)を使用してmeta.llama-3-70b-instructモデルをコールします。

サラウンド・サウンドを記録できるUSB接続コンパクト・マイク用の製品ピッチを生成します。マイクは、音楽や会話の録音に最も役立ちます。マイクは、ポッドキャストの記録にも役立ちます。

モデルからのレスポンスは1,618 characters longです。ポールはこの電話の費用を知りたい。ここでは、コストを計算するステップを示します。

  1. プロンプト+レスポンスの長さ(文字)を計算します。

    プロンプトの長さ(220文字)とモデル・レスポンスの長さ(1,618文字)を合計します。

    prompt + response length = 220 + 1,618 = 1,838 characters
  2. トランザクション数を計算します。

    10,000トランザクションの価格がリストされます。

    10,000 transactions = 10,000 characters, so 1 transaction = 1 character
1,838 characters = 1,838 transactions
  3. 「AI価格設定」に移動し、「OCI生成AI」の「Oracle Cloud Infrastructure Generative AI - Large Meta」で、10,000トランザクションの<Large-Meta-unit-price>を見つけます。
    Paulは、生成AIの「AI価格設定」ページにある製品と一致するmeta.llama-3-70b-instructモデル、Oracle Cloud Infrastructure 生成AI - 大規模メタを使用します。
  4. 1,838文字の価格を計算します。 
    price = (1,838 transactions )/ (10,000 transactions) x $<Large-Meta-unit-price>

テキスト生成の例

Paulは、次のプロンプト(220 characters long)を使用してcohere.commandモデルをコールします。

サラウンド・サウンドを記録できるUSB接続コンパクト・マイク用の製品ピッチを生成します。マイクは、音楽や会話の録音に最も役立ちます。マイクは、ポッドキャストの記録にも役立ちます。

モデルからのレスポンスは1,618 characters longです。ポールはこの電話の費用を知りたい。ここでは、コストを計算するステップを示します。

  1. プロンプト+レスポンスの長さ(文字)を計算します。

    プロンプトの長さ(220文字)とモデル・レスポンスの長さ(1,618文字)を合計します。

    prompt + response length = 220 + 1,618 = 1,838 characters
  2. トランザクション数を計算します。

    10,000トランザクションの価格がリストされます。

    10,000 transactions = 10,000 characters, so 1 transaction = 1 character
1,838 characters = 1,838 transactions
  3. AIの価格設定に移動し、「OCI生成AI」の「Oracle Cloud Infrastructure Generative AI - Large Cohere」で、10,000トランザクションの<Large-Cohere-unit-price>を見つけます。
    Paulは、生成AIの「AI価格設定」ページにある製品と一致するcohere.commandモデル、Oracle Cloud Infrastructure Generative AI - Large Cohereを使用します。
  4. 1,838文字の価格を計算します。 
    price = (1,838 transactions )/ (10,000 transactions) x $<Large-Cohere-unit-price>

テキスト埋込みの例

Ginaは、顧客契約を新しいセマンティック検索アプリケーションの埋込みに変換しています。平均して、Ginaは毎時16の文書を取り込みます。各ドキュメントの長さは約1,000 charactersです。Ginaは、これらの埋込みを生成するための月次請求の見積を取得したいと考えています。ここでは、コストを計算するステップを示します。

  1. 入力長(文字数)を計算します。

    各時間の入力文字の長さを合計します。

    input character length for 16 documents = 16 x 1,000 = 16,000 characters per hour
  2. AIの価格設定に移動し、「OCI生成AI」の「Oracle Cloud Infrastructure Generative AI - Embed Cohere」で、10,000トランザクションの<Embed-Cohere-unit-price>を見つけます。
    Ginaは、生成AIの「AI価格設定」ページに製品と一致するcohere.embedモデル、Oracle Cloud Infrastructure 生成AI - Embed Cohereを使用します。
  3. 1時間当たりのトランザクション数を計算します。

    Ginaは1時間あたり16,000文字を取り込みます。10,000トランザクションの価格がリストされます。

    10,000 transactions = 10,000 characters, so 1 transaction = 1 character
16,000 characters = 16,000 transactions
  4. Ginaが毎時取り込む16,000文字の時給を見つけます。 
    hourly price = 
(16,000 transactions )/ (10,000 transactions) x $<Embed-Cohere-unit-price>
  5. 年間最長月の月額料金を検索 
    One month = 31 x 24 hours = 744 hours
monthly price = 744 hours x hourly price