モデル除・売却について
OCI生成AIは、各モデルのタイプとサービング・モードに基づいて、大規模言語モデル(LLM)を廃止します。LLMは、オンデマンド・モードまたは専用モードでユーザー・リクエストを処理します。各サービング・モードと、モデルがリタイアする前に通知を受ける方法については、次の項を参照してください。
オンデマンドモード
-
プレイグラウンドでモデルを使用する場合、またはAPIを介してモデルをコールする場合、推論コールごとに従量課金します。
- 生成AIの使用を開始するための障壁が低くなります。
- 実験、概念実証、およびモデルの評価に最適です。
- としてリストされていないリージョンの事前トレーニング済モデルで使用できます(専用AIクラスタのみ)。
オンデマンド・モードで生成AIモデルへの確実なアクセスを確保するには、拒否後にリクエストを遅延させるバックオフ戦略を実装することをお薦めします。1つがない場合、迅速なリクエストを繰り返すと、生成AIサービスによる時間の経過に伴うさらなる拒否、レイテンシの増加、およびクライアントの一時的なブロックにつながる可能性があります。指数関数的なバックオフ戦略などのバックオフ戦略を使用することで、業界のベスト・プラクティスに従い、サービスとの統合の全体的な安定性とパフォーマンスを向上させ、リクエストをより均等に配分し、負荷を軽減し、再試行の成功を向上させることができます。
- オンデマンド・モードの除・売却
-
モデルがオンデマンド・モードで廃止されると、生成AIサービス・プレイグラウンドまたは生成AI推論APIでモデルを使用できなくなります。
- オンデマンド・モードの非推奨
-
オンデマンド・モードでモデルが非推奨になった場合、生成AIサービスは引き続き使用できますが、モデルが廃止されるまでに使用できる時間は定義されています。専用モードの場合、この時間は長くなります。
OCI生成AIモデルについては、モデル・リタイア日(オンデマンド・モード)を参照してください。
専用モード
- 専用AIクラスタ用のGPUの専用セットが提供されます。
- 専用AIクラスタでカスタム・モデルを作成するには、ファインチューニング用にリストされた生成AIの事前トレーニング済基本モデルのサブセットをファインチューニングします。
- 専用AIクラスタで、基本モデルとファインチューニング・モデルのレプリカをホストできます。
- 専用AIクラスタを使用する特定の時間に事前にコミットします。価格については、価格のページを参照してください。
- リストされているすべてのリージョンの事前トレーニング済モデルで使用できます。
- 予測可能なパフォーマンスを実現し、本番ワークロードに適しています。
- 専用モードの除・売却
-
モデルが専用モードでリタイアされると、リタイアされたモデルの専用AIクラスタは作成できなくなりますが、リタイアされたモデルを実行しているアクティブな専用AIクラスタは引き続き実行されます。廃止されたモデルから実行されているカスタム・モデルは、アクティブな専用AIクラスタでも引き続き使用でき、廃止されたモデルで作成されたカスタム・モデルを使用して、新しい専用AIクラスタを引き続き作成できます。ただし、Oracleではこれらのシナリオのサポートが制限されており、Oracleエンジニアリングでは、モデルに関連する問題を解決するために、サポートされているモデルにアップグレードするよう求められる場合があります。
専用モードでモデルが退職日より長く存続するようにリクエストするには、サポート・チケットを作成します。
- 専用モードの非推奨
-
モデルが専用モードで非推奨になった場合、生成AIサービスでは引き続き使用できますが、モデルが廃止されるまでに使用できる時間は定義されています。専用モードの非推奨時間が、同じモデルのオンデマンド非推奨時間より長くなっています。
OCI生成AIモデルについては、モデル・リタイア日(専用モード)を参照してください。
除・売却日の通知の取得
OCI Notificationsサービスをサブスクライブすると、モデル・リタイア日の通知を受け取ることができます。サブスクライブすると、次の間隔でモデルの非推奨およびリタイア・メッセージが表示されます。
- オンデマンド・モード:モデル・リタイア日の14日前と7日前。
- 専用モード:モデルの除・売却日の90日、60日、30日および7日前。
OCIのお知らせをサブスクライブして通知を受信する方法について学習します。お知らせを作成したら、サービスの「Oracle Cloud Infrastructure Generative AI Service」を選択します。