17 OCI Generative AI (預先訓練的基礎模型)
生成式 AI 是一項完全託管的 Oracle Cloud Infrastructure 服務，提供一組最先進的可自訂大型語言模型 (LLM)，涵蓋各種使用案例，包括交談、文字產生、摘要及建立文字內嵌。
如果 Oracle AI Data Platform Workbench 使用者具有必要權限，且預先訓練的模型與資料湖位於相同區域，則可存取生成式 AI 模型。如需有關權限的詳細資訊，請參閱取得生成式 AI 的存取權。如需有關代管生成式 AI 模型的詳細資訊，請參閱使用生成式 AI 的區域。
您可以在 AI Data Platform Workbench 中針對下列使用案例使用生成式 AI 模型：
- 使用預先訓練的交談模型來建立任何用途的文字。
- 從文字擷取特定的資料片段。
- 針對過長而無法讀取的文件產生執行摘要，或彙總任何類型的文字。
- 將文字分類為預先定義的種類。
您也可以使用您所選語言的預先訓練模型 (例如 SQL 或 Python)，在 Spark 資料框架上執行批次推論。如需預先訓練模型的詳細資訊，請參閱生成式 AI 中預先訓練的基礎模型。
生成式 AI 的先決條件
您必須符合下列先決條件，才能在 AI Data Platform Workbench 中使用生成式 AI：
- 使用者必須具備基本目錄模型的 USE 權限
- AI Data Platform 位於代管生成式 AI 模型的相同區域
如果符合先決條件，則模型會列在 default.oci_ai_models 綱要中。然後，您可以在使用記事本時列出目錄總管中的模型，並拖放模型以產生範例代碼，或使用模型進行批次推論。或者，您也可以選擇在 AI Data Platform Workbench 筆記型電腦中編寫程式碼來呼叫模型。
您可以使用下列方法來呼叫生成式 AI 模型：
SQLselect *, query_model(model_name, concat("What is the sentiment for this review: ", review)) as sentiment from <<catalog_name>>.<<schema_name>>.<<table_name>>其中：
- model_name 是您要呼叫的生成式 AI 模型：
default.oci_ai_models.<model_name> - review 是用來建立提示的資料欄名稱
- sentiment 是輸出資料欄名稱
- <<catalog_name>>.<<schema_name>>.<<table_name>> 是 3 個部分名稱樣式中的表格
df.withColumn("sentiment", query_model(model_name, "What is the sentiment for this review: "+review))其中：
- model_name 是您要呼叫的生成式 AI 模型：
default.oci_ai_models.<model_name> - review 是用來建立提示的資料欄名稱
- sentiment 是輸出資料欄名稱
- df 是輸入資料框架
要求限制
| 描述 | 限額名稱 | 服務限額 |
|---|---|---|
| 每一區間允許的按需推論交談要求數目上限 (每分鐘) | 隨選交談要求上限 - 每分鐘計數 | 500 |