サポートされているミストラル・モデル
大規模言語モデルをHugging FaceおよびOCI Object StorageバケットからOCI生成AIにインポートし、それらのモデルのエンドポイントを作成して生成AIサービスで使用できます。
これらのモデルには、効率的な長文処理を行うためのSliding Window Attention (SWA)と、スケーラビリティを向上させるためのオプションのGrouped Query Attention (GQA)を備えた、高パフォーマンスでデコーダ専用のTransformerアーキテクチャがあります。詳細は、Hugging FaceドキュメントのMistralを参照してください。
Mistral
| Hugging FaceモデルID | モデル機能 | 推奨される専用AIクラスタ・ユニット・シェイプ |
|---|---|---|
| intfloat/e5-mistral-7b-instruct | 埋込み | A10_X1 |
重要
- インポートされたモデルは、モデル・プロバイダによって指定されたネイティブ・コンテキスト長をサポートします。ただし、使用できるコンテキストの最大長は、OCI生成AIの基礎となるハードウェア構成によっても制限されます。モデルのネイティブ・コンテキスト長を最大限に活用するには、追加のハードウェア・リソースをプロビジョニングする必要がある場合があります。
- モデルのファインチューニング・バージョンをインポートするには、元のモデルと同じトランスフォーマ・バージョンを使用し、元のモデルの±10%以内にパラメータ数を持つファインチューニング・モデルのみがサポートされます。
- 推奨ユニット・シェイプのインスタンス・タイプがリージョンで使用できない場合は、上位インスタンスを選択します(たとえば、A100-80GシェイプではなくH100シェイプを選択します)。
- 前提条件およびモデルのインポート方法については、インポートされたモデルの管理(新規)を参照してください。