Oracle Cloud Infrastructureドキュメント

モデル・リタイアについて

OCI Generative AIは、各モデルのタイプとサービス・モードに基づいて、大規模言語モデル(LLM)を廃止します。LLMは、オンデマンド・モードまたは専用モードでユーザー・リクエストを処理します。各サービング・モードと、モデルのリタイア前に通知を受ける方法については、次の項を参照してください。

オンデマンドモード

オンデマンドと専用の2つのモードを使用して、生成AIで事前にトレーニングされた基本モデルにアクセスできます。オンデマンド・モードの主な機能は次のとおりです。

  • プレイグラウンドでモデルを使用する場合、またはAPIを介してモデルをコールする場合に、推論コールごとに支払いをするようにします。

  • 生成AIの使用を開始するための障壁が低くなります。
  • 実験、概念実証、モデル評価に最適です。
  • リストされていないリージョンの事前トレーニング済モデルで使用可能です(専用AIクラスタのみ)。
重要

オンデマンド・モードの動的スロットル制限調整

OCI Generative AIは、モデル需要とシステム容量に基づいてアクティブ・テナンシのリクエスト・スロットル制限を動的に調整して、リソース割当てを最適化し、公平なアクセスを確保します。

この調整は、次の要因によって異なります。

  • ターゲット・モデルでサポートされている現在の最大スループット。
  • 調整時点における未使用のシステム容量。
  • 各テナンシの履歴スループットの使用量と、そのテナンシに設定された指定されたオーバーライド制限。

ノート: 動的スロットルのため、レート制限は文書化されず、システム全体の需要を満たすように変更できます。

ヒント

スロットル制限の動的調整のため、拒否後のリクエストの遅延を含むバックオフ戦略を実装することをお薦めします。これがないと、迅速なリクエストを繰り返すことで、時間の経過とともにさらに拒否され、レイテンシが増加し、生成AIサービスによるクライアントの一時的なブロックが発生する可能性があります。指数関数的なバックオフ戦略などのバックオフ戦略を使用することで、業界のベスト・プラクティスに従い、サービスとの統合の全体的な安定性とパフォーマンスを向上させ、より均等にリクエストを配分し、負荷を削減し、再試行の成功を向上させることができます。

オンデマンド・モードの除・売却

モデルがオンデマンド・モードでリタイアされると、生成AIサービス・プレイグラウンドまたは生成AI推論APIで使用できなくなります。

オンデマンド・モードの非推奨

モデルがオンデマンド・モードで非推奨になると、生成AIサービスで使用可能のままになりますが、廃止されるまでに使用できる時間が定義されています。専用モードでは、この時間が長くなります。

OCI生成AIモデルの場合は、モデル・リタイア日(オンデマンド・モード)を参照してください。

専用モード

  • 専用AIクラスタの専用GPUセットを取得します。
  • 専用AIクラスタでカスタム・モデルを作成するには、ファインチューニング用にリストされている生成AIの提供済事前トレーニング済基礎モデルのサブセットをファインチューニングします。
  • 専用AIクラスタ上で基本モデルおよびファインチューニング・モデルのレプリカをホストできます。
  • 専用AIクラスタを使用する特定の時間に事前にコミットします。価格については、価格のページを参照してください。
  • リストされているすべてのリージョンの事前トレーニング済モデルで使用できます。
  • 予測可能なパフォーマンスが得られ、本番ワークロードに適しています。
専用モードの除・売却

モデルが専用モードでリタイアされると、リタイアしたモデルの専用AIクラスタは作成できなくなりますが、リタイアしたモデルを実行しているアクティブな専用AIクラスタは引き続き実行されます。リタイアしたモデルから実行されているカスタム・モデルは、アクティブな専用AIクラスタでも引き続き使用可能であり、リタイアしたモデルで作成されたカスタム・モデルを使用して、新しい専用AIクラスタを引き続き作成できます。ただし、Oracleではこれらのシナリオのサポートは制限されており、Oracleエンジニアリングでは、モデルに関連する問題を解決するために、サポートされているモデルにアップグレードするよう求められる場合があります。

専用モードでモデルがリタイア日より長く存続するようにリクエストするには、サポート・チケットを作成します。

専用モードの非推奨

モデルが専用モードで非推奨になると、生成AIサービスで使用可能のままになりますが、廃止されるまでの使用時間は定義されています。専用モードの非推奨時間が、同じモデルのオンデマンドの非推奨時間より長くなっています。

OCI生成AIモデルの場合は、モデル・リタイア日(専用モード)を参照してください。

除・売却日の通知の取得

OCI通知サービスをサブスクライブすると、モデル・リタイア日の通知を取得できます。サブスクライブすると、次の頻度でモデルの非推奨およびリタイア・メッセージが表示されます。

  • オンデマンド・モード:モデルの除・売却日の30日と14日前。(2件の通知)
  • 専用モード:モデルの除・売却日の180日、90日、60日、30日および14日前。(5件の通知)

OCIのお知らせをサブスクライブして通知を受信する方法について学習します。サービスのお知らせを作成するときに、「Oracle Cloud Infrastructure Generative AI Service」を選択します。