1. 在 Oracle Cloud Infrastructure 上构建企业级生成式 AI 堆栈
  2. 在 Oracle Cloud Infrastructure 上构建企业级生成式 AI 堆栈

在 Oracle Cloud Infrastructure 上构建企业级生成式 AI 堆栈

在 Oracle Cloud Infrastructure (OCI) 上构建端到端生成式 AI 堆栈需要一种多层方法来将人工智能集成到企业系统中。

其目的是简化应用开发，确保可靠的数据集成，并增强不同层的安全措施。它有助于部署 AI 模型，高效管理客户数据，并结合高级日志记录和监视来保持高性能和可靠性。此参考体系结构还将解决所需的不同组件以及如何根据所需的响应来编排不同的 LLM 来协同工作。

体系结构

此参考架构描述了一个四层 AI 堆栈，以及在企业设置中实施企业级生成式 AI 解决方案所需的所有不同组件。

  1. 应用程序层
  2. 访问层
  3. 在整个解决方案中记录和监视
  4. AI 层由以下五个模块组成：
    • AI 集成
    • LLM
    • AI 开发
    • 数据集成
    • 上下文和数据目录

下节将介绍此参考体系结构所考虑的假设流：

  1. 请求将从应用进入 API 和访问层。
  2. 该层由 WAF 保护，并使用 OCI Identity and Access Management 和授权策略检查请求以进行验证。
  3. 然后，API 网关将请求转到集成层，此层包含用于 AI 抽象和编排的 LangChain。此层还包括已列入白名单并映射到适当授权和 LLM 模型版本的提示系统信息库。
  4. 请求将发送到与请求类和提示匹配的 LLM。
  5. 上下文和使用者历史记录从上下文数据库中加载。
  6. 可以从数据目录访问需要扩充的任何数据的位置。
  7. 假设某些数据仍然缺失，数据集成层将首先检查数据是否已缓存，如果没有，则从客户的数据中查询数据。
  8. LLM 将通过集成进行响应。
  9. 响应将通过 Hallucination 检查器，然后 Hallucination 检查器将运行对抗 AI 来验证响应是否有意义。
  10. 最后，它将通过 API 网关返回到应用程序。

下图说明了此引用体系结构。


下面是 oci-genai-enterprise-arch.png 的说明
插图 oci-genai-enterprise-arch.png 的说明

oci-genai-enterprise-arch-oracle.zip

让我们浏览构建每个块层的构建块：

AI 层
  1. 将 LLM 模块中的 LLM 与其最适合的区域使用的每个 LLM 混合并匹配。
  2. 应根据客户和不同对话维护上下文，数据目录可帮助不同的 LLM 知道在何处查找所需数据。
  3. 数据集成层可以访问客户数据，并快速将其提供给 AI，这包括所需的数据高速缓存和集成。
  4. AI 集成模块维护提示信息库、用于抽象 LLM 的 LangChain 和用于集成的 Oracle Integration 。
  5. AI 开发层支持模型版本控制和存储，以及开发解决方案所需的 DevOps。
日志记录和监视层
  1. Hallucination 检查器运行对抗 AI 来运行 LLM 输出的输出以验证其真实性。
  2. Application Performance Monitoring 跟踪性能 SLA。
  3. 日志记录和审计跟踪生成式 AI 解决方案如何用于观察系统并识别潜在问题。
API 和访问层
  1. API 网关支持受控访问 AI 堆栈。
  2. 集中维护策略以管理对 LLM 堆栈的访问。
  3. WAF 可保护环境免受潜在攻击向量攻击。
  4. 访问令牌和控制通过 OCI Identity and Access Management 进行管理。

该体系结构具有以下组件：

  • OCI Generative AI 代理

    OCI Generative AI Agents 是一项完全托管的服务，它将大型语言模型 (LLM) 的强大功能与智能检索系统相结合，通过搜索知识库来创建与上下文相关的答案，使 AI 应用智能化和 efficient.OCI 生成式 AI 代理支持多种方式将数据引入，然后允许您和您的客户使用聊天界面或 API 与数据交互。

  • 生成式 AI

    Oracle Cloud Infrastructure Generative AI 是一个完全托管的 OCI 服务，它提供了一组先进、可定制的大型语言模型 (LLM)，涵盖了文本生成、汇总、语义搜索等各种用例。使用游乐场试用现成可用的预训练模型，或者根据您自己的数据在专用 AI 集群上创建和托管您自己的优化定制模型。

  • 集成

    Oracle Integration 是一个完全托管的预配置环境，可用于集成云和内部部署应用、自动执行业务流程以及开发可视化应用。它使用符合 SFTP 标准的文件服务器来存储和检索文件，并允许您通过使用数百个适配器和配方组合来与 Oracle 和第三方应用进行连接，从而与企业对企业贸易合作伙伴交换文档。

  • API 网关

    使用 Oracle Cloud Infrastructure API Gateway ，您可以发布具有可从网络内访问的专用端点的 API，并根据需要向公共互联网公开这些 API。这些端点支持 API 验证、请求和响应转换、CORS、验证和授权以及请求限制。

  • OCI 数据集成

    Oracle Cloud Infrastructure Data Integration 是一项完全托管的无服务器云原生服务，可将各种数据源中的数据提取、加载、转换、清理和重塑为 Autonomous Data Warehouse 和 Oracle Cloud Infrastructure Object Storage 等目标 Oracle Cloud Infrastructure 服务。ETL（提取转换负载）利用 Spark 上的完全托管的横向扩展处理，ELT（提取负载转换）利用 Autonomous Data Warehouse 的完整 SQL 下推功能，以便最大限度地减少数据移动并缩短新摄取数据的价值实现时间。用户可以使用直观、无代码的用户界面设计数据集成流程，优化集成流以生成高效的引擎和编排，并自动分配和扩展执行环境。Oracle Cloud Infrastructure Data Integration 提供交互式探索和数据准备，通过定义规则来处理模式更改，帮助数据工程师防范模式偏差。

  • Oracle Exadata Database Service

    Oracle Exadata Database Service 可帮助您充分利用云端 Exadata 的强大功能。Oracle Exadata Database Service 在公有云和 Cloud@Customer 上专门构建、优化的 Oracle Exadata 基础设施上提供经过验证的 Oracle Database 功能。为所有 Oracle Database 工作负载提供内置的云技术自动化、弹性资源扩展、安全性和快速性能，可帮助您简化管理和降低成本。

  • Identity and Access Management (IAM)

    Oracle Cloud Infrastructure Identity and Access Management (IAM) 是 Oracle Cloud Infrastructure (OCI) 和 Oracle Cloud Applications 的访问控制层。通过 IAM API 和用户界面，您可以管理身份域和身份域中的资源。每个 OCI IAM 身份域代表一个独立的身份和访问管理解决方案或不同的用户群体。

推荐

使用以下建议作为起点。您的要求可能与此处所述的体系结构不同。
  • Oracle Cloud Infrastructure + 生成式 AI
    生成式 AI 可以推动创新、改进流程并帮助公司实现比以往更多的目标，但需要正确的方法。Oracle 持续向全球各地的企业提供 AI 功能，专注于高性能模型、在堆栈中嵌入生成式 AI 以及数据管理、安全性和隐私。通过在整个技术堆栈中嵌入 AI（从企业运行的基础设施到从财务到供应链和 HR 的各个业务线应用），Oracle 正在帮助企业务实地使用 AI 来提高性能，同时节省时间、精力和资源：
    • 我们的核心云基础设施现在包含基于 Supercluster 技术的独特 AI 基础设施层，利用最新、最出色的硬件（包括高性能 GPU），这些硬件对于高效训练和部署 AI 模型至关重要，尤其适用于大型语言处理 (Large Language Processing，LLP) 等计算密集型场景。此基础设施专为充分利用 AI 和 GPU 技术的功能而设计，可确保企业 AI 工作负载获得最佳性能和可扩展性。
    • On top of this infrastructure, our database layer embeds AI in our products such as Oracle Autonomous Database and Oracle MySQL HeatWave with AutoML (built in Machine Learning), to enable developers to add prebuilt models to applications and operations without being experts in technologies such as ML.
    • 我们的应用开发平台提供 AI 服务，例如 Oracle Digital Assistant for Natural Language Processing (NLP)。
    • 此外，Oracle 广泛的行业应用嵌入了 AI 模型，这些模型经过培训，可应对从医疗保健和金融服务到零售、制造和公共部门等行业的特定挑战。这使我们处于一个独特的位置，以帮助我们的客户优化工作负载，以解决最复杂和战略性的挑战。
  • LangChain 集成

    您可以使用以下功能将 OCI Generative AI 添加到基于 LangChain 的实施中：

    • 开源：开源框架，可帮助构建或编排基于 LLM 的应用。
    • 定义 LLM 模型和提示：使用首选 LLM 模型并定义上下文内提示。
    • 索引库：使用开箱即用的库设置 RAG 体系结构以进行文本拆分、会话 2 SQL 等。
    • 链、代理和内存：使用链和代理设置更复杂的 LLM 工作流，并能够使用对话历史记录设置更多上下文。

注意事项

实现此参考体系结构时，请考虑这些选项。

  • 跨业务职能的生成式 AI 使用场景

    您可以考虑在不同业务职能中使用生成式 AI 功能，如以下某些示例所述：

    客户运营
    • 根据客户的产品套件、体验和语言自动提供客户服务。
    • 基于对话历史记录和呼叫者上下文的实时 AI 调用脚本。
    • 针对呼叫绩效发布呼叫座席反馈，以优化将来的呼叫。

    市场营销

    • 电子商务内容生成（产品描述），B2B（针对 SEO 优化的文章）在品牌语音。
    • 根据采购员概要信息和使用历史记录，对搜索、外联和客户培养进行大规模个性化。
    • 合成非结构化客户数据，以识别新趋势和角色。

    销售

    • 根据交互历史记录和潜在客户档案定制销售推广活动，以腾出销售代表时间。
    • 引导潜在客户从产品到销售的虚拟销售代表。
    • 根据现有内容为新客户生成自定义销售推介。

    产品开发

    • 分析、清理和标记大量数据，例如用户反馈、市场趋势、日志。
    • 自动完成编码和 API，从而加快开发、重构和系统集成的速度。
    • 通过创建合成数据以及编译日志数据来测试自动化。

    策略和财务

    • 来自收益电话、分析师报告和其他来源的非结构化数据的合成。
    • 自动化复杂、上下文繁重的流程，例如费用。
    • 跨公共或私有来源对竞争对手和客户进行大规模监视。
  • AI 向量搜索和存储：Oracle Database 23ai 和 Oracle MySQL HeatWave
    Vectors 用于表示图像、文档、视频等的语义内容。
    • 融合数据库允许您在回答问题时同时使用业务数据和向量。
    • 无需移动和同步数据、管理多个产品等。

浏览更多

查看这些其他资源以了解有关此参考体系结构功能的更多信息。

确认

  • 作者：Badr Tharwat