Oracle Cloud Infrastructureドキュメント

オンデマンド推論に対する支払い

OCI生成AIでオンデマンド推論にコミットすると、次のメリットが得られます。

  • 生成AIの使用を開始するための障壁が低くなります。
  • 使用可能なすべての生成AI基盤モデルにアクセスできます。
  • モデルの実験と評価に最適です。
  • トランザクションに対するPay as you go。詳細は、次のNoteを参照してください。
ノート

オンデマンド推論では、次の文字長に従って支払います。

  • チャット: プロンプト長(文字数) +レスポンス長(文字数)
  • テキスト埋込み: 入力長(文字数)

価格設定ページでは、1 characterは1 transactionとして計算されます。

基本モデルをホストしたり、専用AIクラスタでファインチューニングする場合、トランザクションではなく単位時間で請求されます。この場合、専用AIクラスタ・コストを計算する方法を学習するには、専用AIクラスタに対する支払を参照してください。

モデルとオンデマンド価格との照合

価格設定ページには、推論にプレイグラウンド、APIまたはCLIを使用する場合、10,000件のオンデマンド・トランザクションまたは1,000,000件のトークンの価格がリストされます。

「事前トレーニング済モデル」ページに移動し、操作するモデルを選択します。「オンデマンド・モード」セクションで、モデルの「価格設定ページ情報」を見つけます。次に、この項の例を確認して、入力文字数および出力文字数に基づいてコストを計算する方法を学習します。

チャットの例

Paulは、次のプロンプト(220 characters long)を使用してmeta.llama-3.3-70b-instructモデルをコールします。

サラウンド・サウンドを記録できるUSB接続コンパクト・マイク用の製品ピッチを生成します。マイクは、音楽や会話の録音に最も役立ちます。マイクはポッドキャストの記録にも役立ちます。

モデルからのレスポンスの長さは2,205 charactersです。パウロは、この呼びかけの費用を知りたいと思っています。次に、コストを計算するステップを示します。

  1. プロンプト+レスポンスの長さ(文字数)を計算します。

    プロンプト長(220文字)とモデル・レスポンス長(2,205文字)を合計します。

    
                                    prompt + response length = 220 + 2,205 = 2,425 characters
  2. トランザクション数を計算します。

    価格は10,000トランザクションについてリストされています。

    10,000 transactions = 10,000 characters, so 1 transaction = 1 character
2,425 characters = 2,425 transactions
  3. AIの価格設定に移動し、OCI Generative AIのOracle Cloud Infrastructure Generative AI - Large Metaで <Large-Meta-unit-price> を見つけます。
    Paulは、生成AIの「AI価格設定」ページの製品と一致するmeta.llama-3.3-70b-instructモデル、生成AI OCI - 大規模メタを使用します。
  4. 1,838文字の価格を計算します。 
    price = (2,425 transactions )/ (10,000 transactions) x $<Large-Meta-unit-price>
ヒント

価格の計算に加えて、「AIおよび機械学習」カテゴリを選択し、OCI生成AIのコスト試算ツールをロードすることで、コストを推定できます。

テキスト埋込みの例

Ginaは、新しいセマンティック検索アプリケーションの埋込みに顧客契約を変換しています。Ginaは毎時16件の文書を採取しています。各ドキュメントの長さは約1,000 charactersです。Ginaは、これらの埋込みを生成するための月次請求の見積りを取得したいと考えています。次に、コストを計算するステップを示します。

  1. 入力長(文字数)を計算します。

    各時間の入力文字長を合計してみましょう。

    
                                    input character length for 16 documents = 16 x 1,000 = 16,000 characters per hour
  2. 「AI価格」に移動し、「OCI Generative AI」の下の「Oracle Cloud Infrastructure Generative AI - Embed Cohere」で、<Embed-Cohere-unit-price>を参照してください。
    Ginaは、生成AIの「AI価格」ページの「Oracle Cloud Infrastructure Generative AI - Embed Cohere」である製品と一致するcohere.embed-v4.0モデルを使用しています。
  3. 1時間当たりのトランザクション数を計算します。

    Ginaは1時間あたり16,000文字を取り込みます。価格は10,000トランザクションについてリストされています。

    10,000 transactions = 10,000 characters, so 1 transaction = 1 character
16,000 characters = 16,000 transactions
  4. Ginaが毎時取り込む16,000文字の時間単価を見つけます。 
    hourly price = 
(16,000 transactions ) / (10,000 transactions) x $<Embed-Cohere-unit-price>
  5. 一年で最も長い月の月額を検索します。 
    One month = 31 x 24 hours = 744 hours
monthly price = 744 hours x hourly price