17 OCI Generative AI (Pretrained Foundation Models)
生成AIは、完全に管理されたOracle Cloud Infrastructureサービスで、チャット、テキスト生成、要約、テキスト埋込みの作成など、幅広いユース・ケースをカバーする、最先端のカスタマイズが可能な大規模言語モデル(LLM)のセットを提供します。
Oracle AI Data Platform Workbenchユーザーは、必要な権限があり、事前トレーニング済モデルがデータレイクと同じリージョンでホストされている場合、生成AIモデルにアクセスできます。権限の詳細は、生成AIへのアクセスの取得を参照してください。生成AIモデルがホストされる場所の詳細は、生成AIを使用するリージョンを参照してください。
AIデータ・プラットフォーム・ワークベンチで生成AIモデルを次のユースケースに使用できます。
- 事前トレーニング済チャット・モデルを使用して、任意の目的でテキストを作成します。
- テキストから特定のデータを抽出します。
- 長すぎて読むことができないドキュメントのエグゼクティブ・サマリーを生成したり、任意のタイプのテキストを要約します。
- テキストは事前定義済のカテゴリに分類します。
SQLやPythonなど、任意の言語で事前トレーニング済モデルを使用して、Sparkデータ・フレームでバッチ推論を実行することもできます。事前トレーニング済モデルの詳細は、生成AIの事前トレーニング済基礎モデルを参照してください。
生成AIの前提条件
AIデータ・プラットフォーム・ワークベンチで生成AIを使用するには、次の前提条件を満たす必要があります。
- ユーザーは、ベース・モデルに対するUSE権限を持っている必要があります
- AIデータ・プラットフォームは、生成AIモデルがホストされているのと同じリージョンにあります
前提条件が満たされている場合、モデルはdefault.oci_ai_modelsスキーマにリストされます。その後、ノートブックでの作業中にカタログ・エクスプローラでモデルをリストし、モデルをドラッグ・ドロップしてサンプル・コードを生成したり、バッチ推論にモデルを使用できます。または、AI Data Platform Workbenchノートブックにコードを記述してモデルを起動することもできます。
次のメソッドを使用して、生成AIモデルを起動できます。
SQLselect *, query_model(model_name, concat("What is the sentiment for this review: ", review)) as sentiment from <<catalog_name>>.<<schema_name>>.<<table_name>>説明:
- model_nameは、起動する生成AIモデルです:
default.oci_ai_models.<model_name> - reviewは、プロンプトの作成に使用される列名です。
- sentimentは出力列名です。
- <<catalog_name>>.<<schema_name>>.<<table_name>>は、3つの部分からなる名前パターンの表です
df.withColumn("sentiment", query_model(model_name, "What is the sentiment for this review: "+review))説明:
- model_nameは、起動する生成AIモデルです:
default.oci_ai_models.<model_name> - reviewは、プロンプトの作成に使用される列名です。
- sentimentは出力列名です。
- dfは入力データ・フレームです。
要求制限
| 説明 | 制限名 | サービス制限 |
|---|---|---|
| オンデマンド推論のコンパートメント当たりに許可されるチャット・リクエストの最大数/分 | 最大オンデマンド・チャット・リクエスト/分数 | 500 |