在 Oracle Cloud Infrastructure 上使用 Llama 2 模型构建生成式 AI 应用

您可以使用 Llama 2 作为预训练的基础模型，而无需担心底层基础设施。运行提示、调整参数、更新提示并重新运行模型，直到对结果满意为止。然后从控制台获取代码并将代码复制到应用程序中。您还可以在专用集群上托管 Llama 2 模型，并使用 API 端点与应用集成。

在此参考架构中，对象存储预配在 OCI 中用于数据存储、用于转换的数据集成、用于构建模型的 OCI 数据科学工作区、用于存储嵌入的矢量数据库、用于托管的专用 AI 集群的 OCI 生成式 AI 服务以及用于 UI 的 OCI 开发人员工具 APEX。

下图说明了此参考体系结构。

在 OCI 上构建 LLM 的优势

生成式 AI 服务： OCI 生成式 AI 是一个完全托管的服务，可通过 API 将这些通用语言模型无缝集成到各种用例中，包括编写帮助、汇总和聊天。

专用 AI 集群：专用 AI 集群是可用于微调定制模型或托管模型专用 AI 端点的计算资源。这些集群专用于您的模型，不与其他租户中的用户共享。

注意：

Oracle Database 23ai 中提供了新的 AI 向量相似性搜索功能。

该体系结构具有以下组成部分：

对象存储
通过对象存储，可以快速访问任意内容类型的大量结构化和非结构化数据，包括数据库备份、分析数据以及图像和视频等丰富内容。您可以安全、安全地存储数据，然后直接从互联网或云平台检索数据。您可以扩展存储，而不会出现性能或服务可靠性下降的情况。将标准存储用于“热”存储，以便您快速、立即和频繁地访问。将归档存储用于长时间保留的“冷”存储，很少或很少访问。
OCI 集成
Oracle Cloud Infrastructure 集成服务可连接任何应用和数据源，包括 Salesforce、SAP、Shopify、Snowflake 和 Workday，从而实现端到端流程自动化和集中管理。提供多种集成，包括预构建适配器和低代码定制，可简化迁移到云的过程，同时简化混合云和多云操作。
OCI 数据科学
Oracle Cloud Infrastructure (OCI) 数据科学是一个完全托管的无服务器平台，可帮助数据科学团队构建、训练和管理机器学习模型。
OCI 生成式 AI
Oracle Cloud Infrastructure Generative AI 是一项完全托管的服务，它提供了一系列先进的大型语言模型 (LLM)，涵盖了广泛的文本生成用例。使用游乐场尝试现成的预训练模型，或者基于专用 AI 集群上的企业数据创建和托管您自己的专用 Llama2 模型。

部署此引用体系结构时，请考虑以下几点。

安全
OCI Generative AI 中的专用 AI 集群是可用于托管 Llama 2 LLM 模型端点的计算资源。这些集群专用于您的模型，不与其他租户中的用户共享。
资源限制
考虑您的租户的最佳实践、按服务列出的限制以及区间限额。

查看这些附加资源以了解有关此参考体系结构功能的更多信息。