互換性のあるMistralモデル
大規模言語モデルをHugging FaceおよびOCI Object StorageバケットからOCI生成AIにインポートし、それらのモデルのエンドポイントを作成して生成AIサービスで使用できます。
モデルを選択する前に、このページのモデル表に従って、互換性のあるハードウェア・ユニット・シェイプを選択し、インポートされたモデルをホストする専用AIクラスタの請求を理解するためのガイダンスを確認します。
これらのモデルには、効率的な長文処理を行うためのSliding Window Attention (SWA)と、スケーラビリティを向上させるためのオプションのGrouped Query Attention (GQA)を備えた、高パフォーマンスでデコーダ専用のTransformerアーキテクチャがあります。詳細は、Hugging FaceドキュメントのMistralを参照してください。
Mistral
| Hugging FaceモデルID | モデル機能 | 最小専用AIクラスタ・ユニット・シェイプ |
|---|---|---|
| ミストラライ/マジストラルスモール-2509 | TEXT_TO_TEXT |
|
| ミストラライ/Mistral- 中-3.5-128B | TEXT_TO_TEXT |
|
| ミストラライ/Devstral-2-123B-Instruct-2512 | TEXT_TO_TEXT |
|
| mistralai/Mixtral-8x7B-Instruct-v0.1 | TEXT_TO_TEXT | A100_80G_X2 |
| ミストラライ/Mistral-Nemo-Instruct-2407 | TEXT_TO_TEXT | A100_80G_X1 |
| mistralai/Mistral-7B-Instruct-v0.3 | テキスト間_テキスト | A100_80G_X1 |
| mistralai/Mistral-7B-Instruct-v0.2 | テキスト間_テキスト | A100_80G_X1 |
| mistralai/Mistral-7B-Instruct-v0.1 | テキスト間_テキスト | A100_80G_X1 |
| intfloat/e5-mistral-7b-instruct | 埋込み | A10_X1 |
- インポートされたモデルの場合は、モデル・プロバイダによって指定されたネイティブ・コンテキスト長を使用できます。ただし、効果的な最大コンテキスト長は、OCI生成AIでホスティング専用AIクラスタに選択する基礎となるハードウェア設定によって制限されます。モデルのネイティブ・コンテキスト長を最大限に活用するには、より多くのハードウェア・リソースをプロビジョニングする必要がある場合があります。
- ファインチューニング・モデルは、互換性のあるベース・モデルのトランスフォーマ・バージョンと一致し、パラメータ数が元のモデルの±10%以内である場合にのみ使用します。
- インポートしたモデルをホストできる場所を決定するには、このページの表でモデルの互換性のあるユニット・シェイプを見つけ、「リージョン別のハードウェア・ユニット・シェイプ」のターゲット・リージョンでハードウェア・シェイプが使用可能であることを確認します。モデルをリージョンでホストできるのは、リージョンがそのモデルにリストされたハードウェア・シェイプを提供する場合のみです。
- インポートされたモデルをデプロイするステップは、「インポートされたモデルの管理」を参照してください。
インポートされたモデルをホストする専用AIクラスタの請求
インポートされたモデルをホストする専用AIクラスタでは、OCI Generative AIで利用可能な事前トレーニング済みモデルをホストする専用AIクラスタに適用される744ユニットの最小コミットメントは必要ありません。かわりに、インポートされたモデルの専用AIクラスタには、請求可能な最小期間は1時間です。たとえば、1つのAIユニットを使用し、30分間実行されるクラスタは、1つのAIユニット時間に対して請求されます。
最初の1時間後、料金はクラスタの実際の稼働時間に基づいており、ミリ秒に按分されます。たとえば、1時間1分間実行されるクラスタは、2時間ではなく、その期間について請求されます。
OCIは、クラスタの実行中に5分ごとに使用量レコードをMetering and Billingに送信します。最小1時間に達する前にクラスタが削除された場合、OCIは最小値を満たすまで請求可能な使用量を報告し続けます。クラスタが1時間以上実行された場合、OCIはクラスタが削除されるまで、使用状況レコードの送信を5分ごとに続けます。