互換性のあるOpenAIモデル
互換性のあるモデルをHugging FaceおよびOCI Object StorageバケットからOCI生成AIにインポートし、それらのモデルのエンドポイントを作成して、生成AIサービスで使用できます。
OpenAI Whisper
OpenAI Whisper Large V3 Turboモデルは、自動音声認識および音声変換ワークロード用に最適化されています。このオーディオ・トゥ・テキスト・モデルは、プルーニングされたWhisper Large V3モデルのファインチューニング・バージョンであり、より少ないデコーダ・レイヤーで、より質の低いトレードオフでより高速なトランスクリプションを実現します。このモデルは、サポートされている言語から英語テキストへの多言語トランスクリプション、言語識別、および音声翻訳をサポートしており、レイテンシセンシティブで高スループットのオーディオ処理のユースケースに適しています。詳細については、Hugging FaceドキュメントのOpenAI Whisper Large V3 Turboを参照してください。
| Hugging FaceモデルID | モデル機能 | 推奨される専用AIクラスタ・ユニット・シェイプ |
|---|---|---|
| openai/whisper-large-v3- ターボ | 音声からテキストへ |
|
-
Open Model Engine(vLLMまたはSGLangランタイムを使用)を介して検証された任意のチャット、埋込み(およびファインチューニング)モデルをインポートできますが、このページの明示的にリストされたモデルのみは、オープンソース・モデル・ランタイムに対してOracleによってこのモデル・ファミリについて評価され、OracleでサポートされているGPU構成でテストされています。上記にかかわらず、Oracleは、互換性のあるモデルのパフォーマンス、可用性、操作またはセキュリティに関連する問題に対して責任を負いません。非リスト・モデルには互換性に問題がある可能性があり、本番で使用する前に、リストされていないモデルをテストすることをお薦めします。OCI Generative AI Imported Model Architectureについて学習します。
- インポートされたモデルの場合は、モデル・プロバイダによって指定されたネイティブ・コンテキスト長を使用できます。ただし、効果的な最大コンテキスト長は、OCI生成AIでホスティング専用AIクラスタに選択する基礎となるハードウェア設定によって制限されます。モデルのネイティブ・コンテキスト長を最大限に活用するには、より多くのハードウェア・リソースをプロビジョニングする必要がある場合があります。
- ファインチューニング・モデルは、互換性のあるベース・モデルのトランスフォーマ・バージョンと一致し、パラメータ数が元のモデルの±10%以内である場合にのみ使用します。
- インポートされたモデルのデプロイ方法に関する使用可能なハードウェアおよびステップは、インポートされたモデルの管理を参照してください。
- 推奨シェイプがリージョンで使用できない場合は、最も近い使用可能な代替を選択します。たとえば、
H100_X2は使用できませんが、A100_80G_X2の場合は、A100_80G_X2を選択します。H100シェイプとA100シェイプの両方が使用可能な場合は、パフォーマンスを向上させるためにH100を選択します。