Oracle Cloud Infrastructureドキュメント

専用AIクラスタに対する支払い

OCI生成AIで専用AIクラスタを使用する利点は次のとおりです。

  • 需要によって変動しない予測可能な価格設定。
  • ファインチューニングやホスティングモデルに最適です。
  • 最小ホスティング・コミットメント: ホスティング・クラスタ当たり744単位時間。
  • 最小ファインチューニング・コミットメント: ファインチューニング・ジョブごとに1単位時間。(モデルによっては、ファインチューニングを実行するには少なくとも2ユニットが必要です)。

次の例では、OCI生成AIの専用AIクラスタ・コストを計算します。オンデマンド推論コストの計算については、オンデマンド推論の支払を参照してください。

専用クラスタ単価へのモデルの照合

基本モデルをホスティングしたり、専用AIクラスタでファインチューニングする場合、トランザクションではなく単位時間で請求されます。

「事前トレーニング済モデル」ページに移動し、操作するモデルを選択します。「モデルの専用AIクラスタ」セクションで、モデルに一致する専用AIクラスタのユニット・サイズと「価格設定ページ情報」を見つけます。次に、この項の例を確認して、これらのモデルを使用するためのコストを計算する方法を学習します。

重要

専用サービング・モードでサポートされている一部のOCI生成AI基礎事前トレーニング済ベース・モデルは非推奨となり、最初の置換モデルのリリース後6か月以内に廃止されます。ベース・モデルをホストするか、ベース・モデルを微調整して、ベース・モデルが廃止されるまで専用AIクラスタ(専用サービング・モード)でファインチューニング・モデルをホストできます。専用サービング・モード・リタイア日については、モデルのリタイアを参照してください。

基礎モデルのホスティングの例1

Johnは、専用インフラストラクチャ上でCommand R+ 08-2024 (cohere.command-r-plus-08-2024)モデルのインスタンスをホストしたいと考えています。Johnは、40日後にクラスタを削除し、クラスタのコストを知りたいと考えています。cohere.command-r-plus-08-2024モデルをホストするには、まずJohnがcohere.command-r-plus-08-2024モデルをホストできるユニット・サイズを識別する必要があります。cohere.command-r-plus-08-2024モデルの単位サイズは、Large Cohere V2_2単位です。モデルの専用AIクラスタを参照してください。

Johnは、cohere.command-r-plus-08-2024モデルをホストするために、少なくとも1つのLarge Cohere V2_2ユニットを必要とします。1つのLarge Cohere V2_2ユニットを持つホスティング・クラスタのコストを計算するステップを次に示します。

  1. 40日間の単位時間を計算します。 
    40 days x 24 hours per day x 1 unit = 960 unit hours.
  2. 単位時間が、モデルをホストするための最小コミットメントを超えていることを確認します。 
    960 unit hours > 744 minimum unit hours
  3. AIの価格設定に移動し、OCI Generative AIのOracle Cloud Infrastructure Generative AI- Large Cohere - Dedicatedで、<Large-Cohere-dedicated-unit-per-hour-price>を見つけます。
  4. 「モデルの専用AIクラスタ」セクションの専用AIクラスタ・セクションで、cohere.command-r-plus-08-2024モデルの乗数を見つけます: 
    
                                For Hosting, Multiply the Unit Price: x 2
  5. 40日間の価格を計算します。 
    price = (960 unit hours) x $<Large-Cohere-dedicated-unit-per-hour-price> x 2

基礎モデルのホスティングの例2

Aliceは、専用インフラストラクチャ上のCommand R 08-2024 (cohere.command-r-08-2024)モデルのインスタンスをホストします。cohere.command-r-08-2024モデルをホストするには、最初にAliceがCommand R 08-2024モデルをホストできるユニット・サイズを識別する必要があります。Command R 08-2024の単位サイズは、Small Cohere V2単位です。モデルの専用AIクラスタを参照してください。

Aliceは、Small Cohere V2の3ユニットを購入し、1つのユニットよりも高いコール量をモデルに対して処理することを決定します。Aliceは、5日後にクラスタを削除する予定です。3つのSmall Cohere V2ユニットを持つホスティング・クラスタのコストを5日間計算するステップを次に示します。

  1. 単位時間数の計算 
    5 days x 24 hours per day x 3 units = 360 unit hours.
  2. 単位時間数をモデルをホストするための最小コミットメントと比較します。 
    360 unit hours < 744 minimum unit hours
Alice is charged for 744 unit hours.
  3. AIの価格設定に移動し、OCI Generative AIの下にあるOracle Cloud Infrastructure Generative AI- Small Cohere - Dedicatedの場合は、<Small-Cohere-dedicated-unit-per-hour-price>を参照してください。
  4. 「モデルの専用AIクラスタ」セクションで、cohere.command-r-08-2024モデルの乗数を見つけます。

    cohere.command-r-08-2024モデルをホストするための価格を乗算する必要はありません。

  5. 5日間のコストを計算します。 
    price = (744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>

モデルのファインチューニングとホスティングの例

Bobは、Command R 08-2024 (cohere.command-r-08-2024)モデルを微調整します。Bobは、8つのSmall Cohere V2ユニットの事前設定値を使用してファインチューニング専用AIクラスタを作成します。Bobは専用AIクラスタにカスタム・モデルを作成し、トレーニング・データを使用してCommand R 08-2024基本モデルを微調整します。ファインチューニング・ジョブの完了には5時間かかります。Bobは毎週ファインチューニング・クラスタを作成します。

cohere.command-r-08-2024モデルをホストするには、Bobがcohere.command-r-08-2024モデルをホストできるユニット・サイズを識別する必要があります。cohere.command-r-08-2024モデルの単位サイズは、Small Cohere V2単位です。モデルの専用AIクラスタを参照してください。Bobは、1つのホスティング・クラスタで最大50のファインチューニング・モデルをホストできます。ここでは、モデルのファインチューニングおよびホスティングの月次コストを計算するステップを示します。

  1. 各微調整の単位時間を計算します。 
    Each fine-tuning cluster requires 8 units and each cluster is active for 5 hours
fine-tuning per cluster = 40 unit-hours
  2. モデルを微調整するための単位時間と最小コミットメントを比較します。 
    40 unit hours > 1 unit hour
  3. ホスティングの単位時間を計算します。 
    31 days x 24 hours per day x 1 unit = 744 unit hours
  4. 単位時間数をモデルをホストするための最小コミットメントと比較します。 
    744 unit hours = 744 minimum unit hours
  5. AIの価格設定に移動し、OCI Generative AIの下にあるOracle Cloud Infrastructure Generative AI- Small Cohere - Dedicatedの場合は、<Small-Cohere-dedicated-unit-per-hour-price>を参照してください。
  6. 月額料金の合計を算出します。 
    fine-tuning price = (40 unit hours) per week x (4 weeks) x $<Small-Cohere-dedicated-unit-per-hour-price> 
                            
fine-tuning price = 160 x <Small-Cohere-dedicated-unit-per-hour-price>
                                
    hosting price = (744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>
                                
    total monthly price = (160 + 744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>
ヒント

価格の計算に加えて、「AIおよび機械学習」カテゴリを選択し、OCI生成AIのコスト試算ツールをロードすることで、コストを推定できます。