インポートされたモデルの管理(新規)
OCI生成AIでホストされた事前トレーニング済モデルを使用する以外に、サポートされているオープン・ソース・モデルおよびサードパーティ・モデル(Hugging Faceなど)をOCI生成AIにインポートし、それらをホストし、エンドポイントを作成し、他のモデルと同様にそれらを使用できます。
Hugging Faceの前提条件
Hugging Faceから直接モデルをインポートする前に:
- Hugging Faceからサポートされているモデルを決定し、推奨される専用AIクラスタ・ユニット・サイズを記録します。
- 一部のモデルにアクセスして使用するには、Hugging Faceトークン、特にLlama 3やLlama 3.1などの最新バージョンおよびゲート付きバージョンが必要です。これらのモデルでは、「アクセス・トークン」でHugging Faceアカウント設定からアクセス・トークンを生成します。必要な権限(少なくとも「読取り」アクセス)があることを確認します。
オブジェクト・ストレージの前提条件
オブジェクト・ストレージ・バケットからモデルをインポートする前に:
- OCI管理者でない場合は、コンパートメント内のオブジェクト・ストレージを管理する権限をIAMに付与するようにリクエストします:
allow group <your-group-name> to manage object-family in compartment <compartment-with-bucket> /v1/chat/completionsエンドポイントと連携するモデルを決定します。これらのモデルのみがサポートされます。- モデルが次の機能の1つのみをサポートしていることを確認します。
- TEXT_TO_TEXT:テキスト入力、テキスト出力
- IMAGE_TEXT_TO_TEXT:イメージまたはテキスト、あるいはその両方、テキスト・アウト
- EMBEDDING:テキスト・イン、ベクトル埋込みアウト
- 再ランク:問合せおよび候補文書、関連性スコアおよび順序変更済リスト出力
- モデル・アーティファクトをオブジェクト・ストレージ・バケットに保存します。
- 重要:ほとんどのHugging Faceモデルと同様に、インポートを成功させるには、構成ファイルを
config.jsonと呼びます。
リソース・リクエストおよび価格設定
インポートされたモデルに到達するには、専用AIクラスタにそのモデルのエンドポイントを作成します。次の表を使用して、モデルをインポートする前に専用AIクラスタ・リソースをリクエストします。
| 専用AIクラスタ単位サイズ | 制限名 | 要求必須ユニット | AIユニット数 |
|---|---|---|---|
| A10_X1 | dedicated-unit-a10-count |
1 | 1.77 |
| A10_X2 | dedicated-unit-a10-count |
2 | 3.54 |
| A10_X4 | dedicated-unit-a10-count |
4 | 7.08 |
| A100_40G_X1 | dedicated-unit-a100-40g-count |
1 | 2.70 |
| A100_40G_X2 | dedicated-unit-a100-40g-count |
2 | 5.40 |
| A100_40G_X4 | dedicated-unit-a100-40g-count |
4 | 10.8 |
| A100_40G_X8 | dedicated-unit-a100-40g-count |
8 | 21.60 |
| A100_80G_X1 | dedicated-unit-a100-80g-count |
1 | 3.24 |
| A100_80G_X2 | dedicated-unit-a100-80g-count |
2 | 6.48 |
| A100_80G_X4 | dedicated-unit-a100-80g-count |
4 | 12.96 |
| A100_80G_X8 | dedicated-unit-a100-80g-count |
8 | 25.92 |
| H100_X1 | dedicated-unit-h100-count |
1 | 6.01 |
| H100_X2 | dedicated-unit-h100-count |
2 | 12.02 |
| H100_X4 | dedicated-unit-h100-count |
4 | 24.04 |
| H100_X8 | dedicated-unit-h100-count |
8 | 48.08 |
| H200_X1 | dedicated-unit-h200-coun |
1 | 6.22 |
| H200_X2 | dedicated-unit-h200-coun |
2 | 12.44 |
| H200_X4 | dedicated-unit-h200-coun |
4 | 24.88 |
| H200_X8 | dedicated-unit-h200-coun |
8 | 49.76 |
ヒント
推奨される専用AIクラスタ・ユニット・サイズのリソースをリクエストするには、リソース制限のリクエストを参照してください。
価格を計算するには、「価格設定ページ情報」ページのOracle Cloud Infrastructure Generative AI - モデル・インポートのAI単位/時間の価格をこのページのAI単位数に掛けます。
モデルのインポートのタスク
- 次のいずれかのオプションを使用してモデルをインポートします。
- 推奨されるユニット・シェイプを使用して、インポートされたモデルのホスティング専用AIクラスタを作成します。
- エンドポイントを作成します。
- OCI生成AI API、SDKを介してモデルをコールするか、プレイグラウンドでモデルを使用します。
インポートされたモデルの管理
前提条件を実行し、モデルをインポートした後、インポートしたモデルに対して次のタスクを実行できます。