インポートされたモデルの管理

Hugging Faceから直接モデルをインポートする前に:

• インポートするHugging Faceの検証済モデルを決定し、推奨される専用AIクラスタ・ハードウェア・ユニット・シェイプを書き留めます。
• 一部のモデルにアクセスして使用するには、Hugging Faceトークン、特にLlama 3やLlama 3.1などの最新およびゲート付きバージョンが必要です。これらのモデルでは、「アクセス・トークン」でHugging Faceアカウント設定からアクセス・トークンを生成します。必要な権限(少なくとも「読取り」アクセス権)があることを確認してください。

オブジェクト・ストレージ・バケットからモデルをインポートする前に:

• OCI管理者でない場合は、コンパートメント内のオブジェクト・ストレージを管理する権限をIAMに付与するよう依頼してください:

  allow group <your-group-name> to manage object-family in compartment <compartment-with-bucket>
                              

• /v1/chat/completionsエンドポイントと連携するモデルを決定します。これらのモデルのみサポートされます。
• モデルが次の機能のいずれか1つのみをサポートしていることを確認します。
  • TEXT_TO_TEXT:テキスト実行のテキスト
  • IMAGE_TEXT_TO_TEXT:イメージまたはテキスト(あるいはその両方)、テキスト・アウト
  • AUDIO_TO_TEXT:オーディオ入力、テキスト出力
  • EMBEDDING:テキスト・イン、ベクトル埋込みアウト
  • RERANK:問合せと候補者文書、関連性スコア、並べ替えられたリスト
• オブジェクト・ストレージ・バケットにモデル・アーティファクトを保存します。
• 重要:インポートを成功させるには、ほとんどのHugging Faceモデルと同様に、構成ファイルをconfig.jsonと呼ぶ必要があります。

インポートされたモデルのホスティング専用AIクラスタを作成する場合は、インポートされたモデルと、ターゲット・リージョンで使用可能な互換性のあるハードウェア・ユニット・シェイプを選択します。インポートされたモデル・ユニット・シェイプ名には、モデル・プロバイダ接頭辞は含まれません。たとえば、プロバイダ固有の値(Cohere_H100_X2など)ではなく、H100_X2またはA100_80G_X1を選択します。

クラスタを作成する前に、Imported Model Hardware Unit Shapes、 Service Limits、 and AI Unit Countsを参照してください。

• ターゲット・リージョンで使用可能なハードウェア・シェイプを識別します。
• インポートしたモデルのハードウェアユニットシェイプを選択します。
• サービス制限名と必要なハードウェア・ユニットを見つけます。
• 時間単価を計算するためのAIユニット数を見つけます。

前提条件を実行してモデルをインポートした後、インポートしたモデルに対して次のタスクを実行できます。

• インポートされたモデルのリスト
• インポートされたモデルの詳細の取得
• インポートしたモデルの更新
• インポートしたモデルの移動
• インポートしたモデルの削除