13 OCI Generative AI (預先訓練的基礎模型)

Oracle Cloud Infrastructure Generative AI 是完全託管的 Oracle Cloud Infrastructure 服務，提供一組最先進的可自訂大型語言模型 (LLM)，涵蓋各種使用案例，包括交談、文字產生、摘要及建立文字內嵌。

如果 Oracle AI Data Platform 使用者具有必要權限，且預先訓練的模型是由與資料湖相同的區域代管，則可以存取 OCI Generative AI 模型。如需有關權限的詳細資訊，請參閱取得生成式 AI 的存取權。

您可以在 AI Data Platform 中針對下列使用案例使用 OCI Generative AI 模型：

• 使用預先訓練的交談模型來建立任何用途的文字。
• 從文字擷取特定的資料片段。
• 針對過長而無法讀取的文件產生執行摘要，或彙總任何類型的文字。
• 將文字分類為預先定義的種類。

您也可以使用您所選語言的預先訓練模型 (例如 SQL 或 Python)，在 Spark 資料框架上執行批次推論。如需預先訓練模型的詳細資訊，請參閱生成式 AI 中預先訓練的基礎模型。

附註：

檢查您區域中是否有想要使用的 OCI Generative AI 服務。模型是區域特定模型，在不支援的區域中參照模型的命令檔可能無法運作。如需詳細資訊，請參閱生成式 AI 區域。

OCI Generative AI 的先決條件

您必須符合下列先決條件，才能在 AI 資料平台中使用 OCI Generative AI ：

• 使用者必須具備基本目錄模型的 USE 權限
• AI Data Platform 位於代管 OCI Generative AI 模型的相同區域

如果符合先決條件，則模型會列在 default.oci_ai_models 綱要中。然後，您可以在使用記事本時列出目錄總管中的模型，並拖放模型以產生範例代碼，或使用模型進行批次推論。或者，您也可以選擇在 AI 資料平台筆記型電腦中編寫程式碼，以呼叫模型。

您可以使用下列方法呼叫 OCI Generative AI 模型：

SQL

select *, query_model(model_name, concat("What is the sentiment for this review: ", review)) as sentiment from <<catalog_name>>.<<schema_name>>.<<table_name>>

其中：

• model_name 是您要呼叫的生成式 AI 模型：default.oci_ai_models.<model_name>
• review 是用來建立提示的資料欄名稱
• sentiment 是輸出資料欄名稱
• <<catalog_name>>.<<schema_name>>.<<table_name>> 是 3 個部分名稱樣式中的表格

PySpark

df.withColumn("sentiment", query_model(model_name, "What is the sentiment for this review: "+review))

其中：

• model_name 是您要呼叫的生成式 AI 模型：default.oci_ai_models.<model_name>
• review 是用來建立提示的資料欄名稱
• sentiment 是輸出資料欄名稱
• df 是輸入資料框架

要求限制

描述	限額名稱	服務限額
每一區間允許的按需推論交談要求數目上限 (每分鐘)	隨選交談要求上限 - 每分鐘計數	500