Oracle Cloud Infrastructureドキュメント

インポートされたモデルの管理(新規)

OCI Generative AIでホストされた事前トレーニング済モデルを使用することに加えて、サポートされているオープン・ソース・モデルとサードパーティ・モデル(Hugging Faceなど)をOCI Generative AIにインポートし、ホストし、エンドポイントを作成して、他のモデルと同様に使用できます。

Hugging Faceの前提条件

Hugging Faceから直接モデルをインポートする前に:

  • インポートするHugging Faceでサポートされているモデルを決定し、推奨される専用AIクラスタ・ユニット・サイズを書き留めます。
  • 一部のモデルにアクセスして使用するには、Hugging Faceトークン、特にLlama 3やLlama 3.1などの最新およびゲート付きバージョンが必要です。これらのモデルでは、「アクセス・トークン」でHugging Faceアカウント設定からアクセス・トークンを生成します。必要な権限(少なくとも「読取り」アクセス権)があることを確認してください。

オブジェクト・ストレージの前提条件

オブジェクト・ストレージ・バケットからモデルをインポートする前に:

  • OCI管理者でない場合は、コンパートメント内のオブジェクト・ストレージを管理する権限をIAMに付与するよう依頼してください:
    allow group <your-group-name> to manage object-family in compartment <compartment-with-bucket>
  • /v1/chat/completionsエンドポイントと連携するモデルを決定します。これらのモデルのみサポートされます。
  • モデルが次の機能のいずれか1つのみをサポートしていることを確認します。
    • TEXT_TO_TEXT:テキスト実行のテキスト
    • IMAGE_TEXT_TO_TEXT:イメージまたはテキスト(あるいはその両方)、テキスト・アウト
    • EMBEDDING:テキスト・イン、ベクトル埋込みアウト
    • RERANK:問合せと候補者文書、関連性スコア、並べ替えられたリスト
  • オブジェクト・ストレージ・バケットにモデル・アーティファクトを保存します。
  • 重要:インポートを成功させるには、ほとんどのHugging Faceモデルと同様に、構成ファイルをconfig.jsonと呼ぶ必要があります。

リソース・リクエストおよび価格設定

インポートされたモデルに到達するには、専用AIクラスタ上でそのモデルのエンドポイントを作成します。次の表を使用して、モデルをインポートする前に専用AIクラスタ・リソースをリクエストします。

インポートされたモデルの専用AIクラスタ・ユニット・サイズ
専用のAIクラスタユニットサイズ 制限名 要求必須単位 AIユニット数
A10_X1 dedicated-unit-a10-count 1 1.77
A10_X2 dedicated-unit-a10-count 2 3.54
A10_X4 dedicated-unit-a10-count 4 7.08
A100_40G_X1 dedicated-unit-a100-40g-count 1 2.70
A100_40G_X2 dedicated-unit-a100-40g-count 2 5.40
A100_40G_X4 dedicated-unit-a100-40g-count 4 10.8
A100_40G_X8 dedicated-unit-a100-40g-count 8 21.60
A100_80G_X1 dedicated-unit-a100-80g-count 1 3.24
A100_80G_X2 dedicated-unit-a100-80g-count 2 6.48
A100_80G_X4 dedicated-unit-a100-80g-count 4 12.96
A100_80G_X8 dedicated-unit-a100-80g-count 8 25.92
H100_X1 dedicated-unit-h100-count 1 6.01
H100_X2 dedicated-unit-h100-count 2 12.02
H100_X4 dedicated-unit-h100-count 4 24.04
H100_X8 dedicated-unit-h100-count 8 48.08
H200_X1 dedicated-unit-h200-count 1 6.22
H200_X2 dedicated-unit-h200-count 2 12.44
H200_X4 dedicated-unit-h200-count 4 24.88
H200_X8 dedicated-unit-h200-count 8 49.76
ヒント

推奨される専用AIクラスタ・ユニット・サイズのリソースをリクエストするには、リソース制限のリクエストを参照してください。

価格を計算するには、「価格設定ページ情報」ページのOracle Cloud Infrastructure Generative AI - Model ImportのAI Unit Per Hourの価格をこのページのAIユニット数に掛けます。

モデルのインポートのタスク

  1. 次のいずれかのオプションを使用してモデルをインポートします。
  2. 推奨されるユニット・シェイプを使用して、インポートされたモデルのホスティング専用AIクラスタを作成します。
  3. エンドポイントを作成します。
  4. OCI Generative AI API、SDKを使用してモデルをコールするか、プレイグラウンドでモデルを使用します。