17 OCI Generative AI（预训练基础模型）
生成式 AI 是一项完全托管的 Oracle Cloud Infrastructure 服务，它提供了一组先进的、可定制的大语言模型 (LLM)，涵盖了广泛的用例，包括聊天、文本生成、汇总和创建文本嵌入。
Oracle AI Data Platform Workbench 用户可以访问生成式 AI 模型，前提是他们具有必要的权限，并且预先训练的模型托管在与数据湖相同的区域中。有关权限的更多信息，请参见 Getting Access to Generative AI 。有关生成式 AI 模型托管位置的更多信息，请参阅使用生成式 AI 的区域。
您可以在 AI Data Platform Workbench 中将生成式 AI 模型用于以下用例：
- 使用预先训练的聊天模型创建用于任何目的的文本。
- 从文本中提取特定数据片段。
- 为无法阅读的文档生成执行摘要，或汇总任何类型的文本。
- 将文本分类为预定义的类别。
您还可以使用您选择的语言（如 SQL 或 Python）使用预训练模型在 Spark 数据框架上运行批处理推断。有关预训练模型的更多信息，请参阅生成式 AI 中的预训练基础模型。
生成式 AI 的先决条件
您必须满足以下先决条件，才能在 AI 数据平台工作台中使用生成式 AI：
- 用户必须对基本模型具有 USE 权限
- AI Data Platform 位于托管生成式 AI 模型的同一区域中
如果满足这些先决条件，则模型将列在 default.oci_ai_models 方案中。然后，您可以在记事本中操作时在目录浏览器中列出模型，并拖放模型以生成示例代码或使用模型进行批推断。或者，您可以选择在 AI Data Platform Workbench 记事本中编写代码以调用模型。
可以使用以下方法调用生成式 AI 模型：
SQLselect *, query_model(model_name, concat("What is the sentiment for this review: ", review)) as sentiment from <<catalog_name>>.<<schema_name>>.<<table_name>>其中：
- model_name 是要调用的生成式 AI 模型：
default.oci_ai_models.<model_name> - review 是用于创建提示的列名
- sentiment 是输出列名
- <<catalog_name>>.<<schema_name>>.<<table_name>> 是 3 部分名称模式中的表
df.withColumn("sentiment", query_model(model_name, "What is the sentiment for this review: "+review))其中：
- model_name 是要调用的生成式 AI 模型：
default.oci_ai_models.<model_name> - review 是用于创建提示的列名
- sentiment 是输出列名
- df 是输入数据框架
请求限额
| 说明 | 限额名称 | 服务限制 |
|---|---|---|
| 每个区间允许的按需推断每分钟的最大聊天请求数 | 每分钟最大按需聊天请求数 - 计数 | 500 |