13 OCI Generative AI (Pretrained Foundation Models)

Oracle Cloud Infrastructure Generative AIは、テキスト生成のために幅広いユース・ケースをカバーする、最先端のカスタマイズできる大規模言語モデル(LLM)のセットを提供するフルマネージドOracle Cloud Infrastructureサービスです(チャット、テキスト生成、要約、テキスト埋込みの作成など)。

Oracle AI Data Platformユーザーは、必要な権限があり、事前トレーニング済モデルがデータレイクと同じリージョンにホストされている場合、OCI Generative AIモデルにアクセスできます。権限の詳細は、生成AIへのアクセスの取得を参照してください。

OCI生成AIモデルは、AIデータ・プラットフォームで次のユース・ケースに使用できます:
  • 事前トレーニング済チャット・モデルを使用して、任意の目的でテキストを作成します。
  • テキストから特定のデータを抽出します。
  • 長すぎて読むことができないドキュメントのエグゼクティブ・サマリーを生成したり、任意のタイプのテキストを要約します。
  • テキストは事前定義済のカテゴリに分類します。

SQLやPythonなど、任意の言語で事前トレーニング済モデルを使用して、Sparkデータ・フレームでバッチ推論を実行することもできます。事前トレーニング済モデルの詳細は、生成AIの事前トレーニング済基礎モデルを参照してください。

ノート:

使用するOCI Generative AIサービスがリージョンで使用可能かどうかを確認します。モデルはリージョン固有であり、サポートされていないリージョンのモデルを参照するスクリプトは機能しない場合があります。詳細は、Generative AI Regionsを参照してください。

OCI生成AIの前提条件

AIデータ・プラットフォームでOCI生成AIを使用するには、次の前提条件を満たす必要があります:
  • ユーザーは、ベース・モデルに対するUSE権限を持っている必要があります
  • AIデータ・プラットフォームは、OCI Generative AIモデルがホストされているのと同じリージョンにあります

前提条件が満たされている場合、モデルはdefault.oci_ai_modelsスキーマにリストされます。その後、ノートブックでの作業中にカタログ・エクスプローラでモデルをリストし、モデルをドラッグ・ドロップしてサンプル・コードを生成したり、バッチ推論にモデルを使用できます。または、AIデータ・プラットフォーム・ノートブックにコードを記述してモデルを起動することもできます。

次のメソッドを使用して、OCI生成AIモデルを起動できます:

SQL
select *, query_model(model_name, concat("What is the sentiment for this review: ", review)) as sentiment from <<catalog_name>>.<<schema_name>>.<<table_name>>

説明:

  • model_nameは、起動する生成AIモデルです: default.oci_ai_models.<model_name>
  • reviewは、プロンプトの作成に使用される列名です。
  • sentimentは出力列名です。
  • <<catalog_name>>.<<schema_name>>.<<table_name>>は、3つの部分からなる名前パターンの表です
PySpark
df.withColumn("sentiment", query_model(model_name, "What is the sentiment for this review: "+review))
説明:
  • model_nameは、起動する生成AIモデルです: default.oci_ai_models.<model_name>
  • reviewは、プロンプトの作成に使用される列名です。
  • sentimentは出力列名です。
  • dfは入力データ・フレームです。

要求制限

説明 制限名 サービス制限
オンデマンド推論のコンパートメント当たりに許可されるチャット・リクエストの最大数/分 最大オンデマンド・チャット・リクエスト/分数 500