Oracle Cloud Infrastructureドキュメント

専用AIクラスタへの支払い

OCI生成AIで専用AIクラスタを使用する場合、次の利点があります:

  • 需要にあわせて変動しない予測可能な価格設定。
  • ファインチューニングやホスティングモデルに最適です。
  • 最小ホスティング・コミットメント: ホスティング・クラスタ当たり744ユニット時間。
  • 最小ファインチューニング・コミットメント: ファインチューニング・ジョブごとに1単位時間。(微調整には2ユニットの実行が必要です)。
ノート

ファインチューニングに使用できるモデルを確認するには、ベース・モデルへのクラスタの一致を参照してください。

次の例では、OCI生成AIにおける専用AIクラスタのコストを計算します。オンデマンド推論コストの計算については、「オンデマンド推論の支払」を参照してください。

基本モデルのホストの例1

Johnは、専用インフラストラクチャでCohere command (52 billion parameters) (cohere.command)モデルのインスタンスをホストしようとしています。Johnは40日後にクラスタを削除し、クラスタのコストを知りたいと考えています。cohere.commandモデルをホストするには、Johnが最初にcohere.commandモデルをホストできるユニット・サイズを識別する必要があります。cohere.commandモデルの単位サイズはLarge Cohere単位です。「ベース・モデルへのクラスタの一致」を参照してください。

Johnでは、cohere.commandモデルをホストするために少なくとも1つのLarge Cohereユニットが必要です。1つのLarge Cohere単位でホスティング・クラスタのコストを計算するステップを次に示します。

  1. 単位時間を40日間計算します。 
    40 days x 24 hours/day x 1 unit = 960 unit hours.
  2. 単位時間がモデルをホストするための最小コミットメントを超えていることを確認してください。 
    960 unit hours > 744 minimum unit hours
  3. AIの価格設定にアクセスし、OCI生成AIのOracle Cloud Infrastructure Generative AI- Large Cohere - Dedicatedで<Large-Cohere-dedicated-unit-per-hour-price>を見つけます。
  4. 価格を40日間計算します。 
    price = (960 unit hours) x $<Large-Cohere-dedicated-unit-per-hour-price>

基本モデルのホストの例2

Aliceは、専用インフラストラクチャでCohere command light (6 billion parameters) (cohere.command-light)モデルのインスタンスをホストしようと考えています。cohere.command-lightモデルをホストするには、まずAliceがコマンド・ライト・モデルをホストできるユニット・サイズを識別する必要があります。コマンド・ライトの単位サイズはSmall Cohere単位です。「ベース・モデルへのクラスタの一致」を参照してください。

Aliceは、1つのユニットよりも高いコール量をモデルに対して処理するために、3つの単位のSmall Cohereを購入することを決定します。Aliceでは、5日後にクラスタの削除を計画しています。3つのSmall Cohereユニットを持つホスティング・クラスタのコストを5日間計算するステップを次に示します。

  1. ユニット時間の計算 
    5 days x 24 hours/day x 3 units = 360 unit hours.
  2. 単位時間とモデルをホストするための最小コミットメントを比較します。 
    360 unit hours < 744 minimum unit hours
Alice is charged for 744 unit hours.
  3. AI価格設定の「OCI生成AI」で、Oracle Cloud Infrastructure Generative AI- Small Cohere - Dedicatedについて、<Small-Cohere-dedicated-unit-per-hour-price>を見つけます。
  4. 5日間の費用を計算します。 
    price = (744 unit hours) x $<Small-Cohere-dedicated-unit-per-hour-price>

モデルの微調整とホスティングの例

Bobは、Cohere command (52 billion parameters) (cohere.command)モデルを微調整します。Bobは、事前設定された値が2つのLarge Cohereユニットであるファインチューニング専用AIクラスタを作成します。Bobはファインチューニング専用でカスタム・モデルを作成し、トレーニング・データで基礎モデルを微調整します。微調整ジョブの完了には5時間かかります。Bobは毎週ファインチューニング・クラスタを作成します。

cohere.commandモデルをホストするには、Bobがcohere.commandモデルをホストできるユニット・サイズを識別する必要があります。cohere.commandモデルの単位サイズはLarge Cohere単位です。「ベース・モデルへのクラスタの一致」を参照してください。Bobは、1つのホスティング・クラスタで最大50個のファインチューニング・モデルをホストできます。ここでは、モデルを微調整およびホスティングするための月次コストを計算するステップを示します。

  1. 各微調整の単位時間を計算します。 
    Each fine-tuning cluster requires 2 units and each cluster is active for 5 hours
fine-tuning per cluster= 10 unit-hours
  2. 単位時間と最小コミットメントを比較して、モデルを微調整します。 
    10 unit hours > 1 unit hour
  3. ホスティングの単位時間を計算します。 
    31 days x 24 hours/day x 1 unit = 744 unit hours
  4. 単位時間とモデルをホストするための最小コミットメントを比較します。 
    744 unit hours = 744 minimum unit hours
  5. 「AI価格設定」に移動し、「OCI生成AI」のOracle Cloud Infrastructure Generative AI- Large Cohere - Dedicatedで<Large-Cohere-dedicated-unit-per-hour-price>を見つけます。
  6. 月額の合計価格を検索 
    fine-tuning price = 
(10 unit hours)/week x (4 weeks) x $<Large-Cohere-dedicated-unit-per-hour-price>

fine-tuning price = 
40 x <Large-Cohere-dedicated-unit-per-hour-price>
    hosting price = 
(744 unit hours) x $<Large-Cohere-dedicated-unit-per-hour-price>
    total monthly price = 
(40 + 744 unit hours) x $<Large-Cohere-dedicated-unit-per-hour-price>