互換性のあるMistralモデル
大規模言語モデルをHugging FaceおよびOCI Object StorageバケットからOCI生成AIにインポートし、それらのモデルのエンドポイントを作成して生成AIサービスで使用できます。
これらのモデルには、効率的な長文処理を行うためのSliding Window Attention (SWA)と、スケーラビリティを向上させるためのオプションのGrouped Query Attention (GQA)を備えた、高パフォーマンスでデコーダ専用のTransformerアーキテクチャがあります。詳細は、Hugging FaceドキュメントのMistralを参照してください。
Mistral
| Hugging FaceモデルID | モデル機能 | 推奨される専用AIクラスタ・ユニット・シェイプ |
|---|---|---|
| ミストラライ/Mistral- 中-3.5-128B | TEXT_TO_TEXT |
|
| ミストラライ/Devstral-2-123B-Instruct-2512 | TEXT_TO_TEXT |
|
| mistralai/Mixtral-8x7B-Instruct-v0.1 | TEXT_TO_TEXT | A100_80G_X2 |
| ミストラライ/Mistral-Nemo-Instruct-2407 | TEXT_TO_TEXT | A100_80G_X1 |
| mistralai/Mistral-7B-Instruct-v0.3 | TEXT_TO_TEXT | A100_80G_X1 |
| mistralai/Mistral-7B-Instruct-v0.2 | テキスト間_テキスト | A100_80G_X1 |
| mistralai/Mistral-7B-Instruct-v0.1 | テキスト間_テキスト | A100_80G_X1 |
| intfloat/e5-mistral-7b-instruct | 埋込み | A10_X1 |
重要
- インポートされたモデルの場合は、モデル・プロバイダによって指定されたネイティブ・コンテキスト長を使用できます。ただし、効果的な最大コンテキスト長は、OCI生成AIでホスティング専用AIクラスタに選択する基礎となるハードウェア設定によって制限されます。モデルのネイティブ・コンテキスト長を最大限に活用するには、より多くのハードウェア・リソースをプロビジョニングする必要がある場合があります。
- ファインチューニング・モデルは、互換性のあるベース・モデルのトランスフォーマ・バージョンと一致し、パラメータ数が元のモデルの±10%以内である場合にのみ使用します。
- インポートされたモデルのデプロイ方法に関する使用可能なハードウェアおよびステップは、インポートされたモデルの管理を参照してください。