为企业 AI 模型和服务实施 API 管理平台
如果是这样，您的组织很可能会实施 AI，那么在基于私有和公共 AI 模型构建应用程序时，您很可能是众多难以实施企业级安全性和标准化流程的组织之一。
使用 AI 模型可能会给所有行业的组织带来常见挑战，包括：
- 集成复杂性：当组织希望采用不同的模型时，管理应用与 AI 模型之间的点对点集成通常会导致复杂性。
- 安全标准化：在不同 AI 模型中实施一致的安全措施被证明是一项重大挑战。
- 访问控制：基于用户角色和责任对 AI 模型 API 实施基于角色的访问控制可能难以有效管理。
- 货币化：构建在向外部使用者提供模型时缺乏货币化功能的 AI 模型。
- 使用量和 Resource Management ：为订户设置限额以限制 AI 模型的使用量。
- 限制：限制和速率限制 AI 模型 API。
- 监视：监视和跟踪功能，以可视化 AI 模型 API 的使用情况。
此架构概述了一个解决方案，可帮助客户利用 Oracle Cloud Infrastructure API Gateway 和其他 OCI 服务的功能来解决 AI 解决方案中的这些挑战。
体系结构
此架构使用 OCI API Gateway 作为中间件来管理 AI 模型与其他 OCI 服务之间的点对点集成。此架构适用于需要企业级安全流程和流程标准化的 AI 用例。
标准化安全性
许多基础 AI 模型和其他 AI 服务使用不同的验证机制，例如 OAuth 2.0、Open ID、JWT 等。OCI API 网关可帮助将 API 验证标准化为 AI 模型。
虚拟化或抽象层
由于大多数现代企业组织利用来自不同提供商（专门针对特定域）的最新 AI 模型，因此直接从应用使用 AI 模型可能会产生点对点集成复杂性。OCI API Gateway 用作服务虚拟化层，可轻松从一个 AI 模型切换到另一个 AI 模型。
OCI API Gateway 和 OCI Vault 可以从使用者中提取 AI 模型 API 凭据，而 AI 模型凭据存储在 OCI Vault 中。使用者可以使用从为该使用者创建的机密应用程序生成的客户端身份证明访问 OCI API 网关端点。OCI API 网关根据客户端身份证明对用户进行验证，如果验证成功， OCI API 网关将从 OCI Vault 中检索模型 API 身份证明以调用后端模型 API 端点。
访问控制和监管
OCI API 网关可以对 AI 模型 API 实施细粒度访问控制，以根据使用者的域、角色或责任授予 API 访问权限。OCI API 网关部署支持基于域打包 API，使用者可以请求订阅特定部署。OCI API Gateway 的速率限制和限制功能有助于控制 AI 模型的使用和性能。
成本控制
可以利用使用计划和配额来有效控制 AI 模型使用成本。使用量计划使您可以创建不同的计划层，这些计划层可以根据优先级和业务价值分配给使用者。对于向团队提供第三方 AI 服务的公司，使用计划可以确保对员工使用情况进行管理和监视，以防止产生大量成本。
OCI Cache with Redis 可与 OCI API Gateway 集成，通过缓存频繁的请求和卸载模型上的推断请求来降低 AI 模型 API 的成本并提高其性能。
日志记录和监视
OCI API 网关现成的报告仪表盘可帮助企业深入了解 AI 模型的使用情况和性能，并发现节省成本的机会。
您可以将日志流式传输到 Oracle Cloud Infrastructure Logging Analytics ，以进行故障排除、监视 AI 模型使用行为、生成自定义报告来监视资源使用情况，并就组织 AI 产品组合的未来投资做出明智的决策。如果组织希望将经过微调的 AI 模型货币化，则可以将日志流式传输到计费系统。
OCI API Gateway 可向 OCI Monitoring 发出指标，使用量计划指标可用于监视使用量最高的客户和其他维度，从而对部署和 OCI API Gateway 问题进行故障排除。
网络
OCI API Gateway 可通过公共互联网和专用网络连接访问。
来自互联网的用户和应用可以在互联网网关前面的公共子网中访问 OCI API 网关。
本地用户和应用可以通过 OCI FastConnect 或 VPN 访问专用子网中的 OCI API 网关。Microsoft Azure 或 Google Cloud 上的应用程序可以通过对应的 Oracle Interconnect for Microsoft Azure 或 Oracle Interconnect for Google Cloud 访问专用子网中的 OCI API Gateway 。
下图展示了体系结构。
api-gateway-ai-architecture.zip
下图说明了 OCI API Gateway 、AI 模型和其他 Oracle 服务之间的工作流：
工作流类似于以下内容：
- 互联网上的 AI 使用者通过 API 网关连接到 AI 服务 API。使用方包括使用任何 UI 技术构建的 Web 和移动应用，例如 Oracle Visual Builder 、Oracle Analytics Cloud 、Oracle SaaS 中的嵌入式 Visual Builder Cloud Service 应用。本地消费者可以在 OCI 和本地数据中心之间建立高性能安全隧道，让本地消费者无需使用互联网即可访问 AI 模型。
- OCI API Gateway 与 OCI Identity and Access Management 集成，通过 OAuth 2.0 和基本身份验证实现标准化安全实施。
- OCI Vault 可安全地存储 AI 模型 API 凭据，并可对使用者的后端 API 凭据进行抽象。
- 将 OCI API 网关日志流式传输到 OCI 日志记录，以更长的时间保留日志，并通过日志分析生成报告以生成洞察。
- 与 OCI Cache with Redis 集成，通过缓存频繁的请求来帮助降低成本并提高 AI 模型 API 的性能。
- OCI 函数可用作绕过没有 REST 端点的 AI 模型的包装工具。OCI 函数支持从 Python、Java、Node、Go、Ruby 和 C# 等不同语言实施。
- 如果 AI 服务公开 REST 端点，则直接将 OCI API 网关与 AI 服务集成。
- Oracle Integration Cloud Service 可以在将推断输出返回给使用者之前实施复杂转换或实施编排逻辑。
该体系结构具有以下组件：
- 区域
Oracle Cloud Infrastructure 区域是包含一个或多个数据中心（称为可用性域）的本地化地理区域。地区独立于其他地区，远距离可以把它们分开（跨越国家甚至大陆）。
- 可用性域
可用性域是区域中的独立数据中心。每个可用性域中的物理资源与其他可用性域中的资源隔离，从而提供容错能力。可用性域不共享电源或冷却设备等基础设施，也不共享内部可用性域网络。因此，一个可用性域出现故障不会影响区域中的其他可用性域。
- 容错域
容错域是可用性域内的一组硬件和基础设施。每个可用性域都有三个容错域，它们具有独立的电源和硬件。在多个容错域之间分配资源时，应用可以承受容错域内的物理服务器故障、系统维护和电源故障。
- 虚拟云网络 (VCN) 和子网
VCN 是一个可定制的软件定义网络，您可以在 Oracle Cloud Infrastructure 区域中设置。与传统的数据中心网络一样，VCN 允许您控制您的网络环境。VCN 可以具有多个不重叠的 CIDR 块，您可以在创建 VCN 后更改这些块。您可以将 VCN 划分为子网，子网可以限定为区域或可用性域。每个子网都包含一系列不与 VCN 中的其他子网重叠的连续地址。可以在创建后更改子网的大小。子网可以是公共子网，也可以是专用子网。
- API 网关
借助 Oracle API Gateway，您可以发布具有专用端点的 API，这些专用端点可从网络内访问，并且您可以根据需要向公共互联网公开。这些端点支持 API 验证、请求和响应转换、CORS、验证和授权以及请求限制。
- 函数
Oracle Cloud Infrastructure Functions 是一个完全托管的多租户、高度可扩展的按需函数即服务 (FaaS) 平台。它由 Fn Project 开源引擎提供支持。使用函数可以部署代码，也可以直接调用代码或触发代码以响应事件。Oracle Functions 使用 Oracle Cloud Infrastructure Registry 中托管的 Docker 容器。
- 使用 Redis 进行高速缓存
Oracle Cloud Infrastructure Cache with Redis 是一个基于开源 Redis 的全面、内存中托管缓存解决方案。这一全托管式服务可加快数据读取和写入速度，显著提高应用响应时间和数据库性能，从而改善客户体验。
- 集成
Oracle Integration 是一项全托管式服务，可用于集成应用、自动执行流程、深入了解业务流程以及创建可视化应用。
- Vault
借助 Oracle Cloud Infrastructure Vault ，您可以集中管理加密密钥，以保护您的数据和用于保护对云中资源的访问的密钥凭证。可以使用 Vault 服务创建和管理 Vault、密钥和密钥。
- 日志记录日志记录是一项高度可扩展且完全托管的服务，它允许您从云端资源访问以下类型的日志：
- 审计日志：与审计服务发出的事件相关的日志。
- 服务日志：由各个服务发出的日志，如 API 网关、事件、函数、负载平衡、对象存储和 VCN 流日志。
- 定制日志：包含来自定制应用程序、其他云提供商或内部部署环境的诊断信息的日志。
- 监视
Oracle Cloud Infrastructure Monitoring 服务使用指标主动和被动监视云资源，监视资源和警报，以便在这些指标满足警报指定的触发器时通知您。
- Identity and Access Management (IAM)
Oracle Cloud Infrastructure Identity and Access Management (IAM) 是 Oracle Cloud Infrastructure (OCI) 和 Oracle Cloud Applications 的访问控制层。通过 IAM API 和用户界面，您可以管理身份域和身份域中的资源。每个 OCI IAM 身份域代表一个独立的身份和访问管理解决方案或不同的用户群体。
- 策略
Oracle Cloud Infrastructure Identity and Access Management 策略指定谁可以访问哪些资源以及如何访问这些资源。可以在组和区间级别授予访问权限，这意味着您可以编写策略来为组提供特定区间内或租户的特定类型的访问权限。
- 使用 Redis 进行高速缓存
Oracle Cloud Infrastructure Cache with Redis 是一个基于开源 Redis 的全面、内存中托管缓存解决方案。这一全托管式服务可加快数据读取和写入速度，显著提高应用响应时间和数据库性能，从而改善客户体验。
- 视觉服务
Oracle Cloud Infrastructure Vision 是一项用于大规模执行基于深度学习的图像分析的 AI 服务。利用现成的预构建模型，开发人员无需具备机器学习 (ML) 专业知识即可轻松将图像识别和文本识别构建到应用中。
- 生成式 AI
Oracle Cloud Infrastructure Generative AI 是一个完全托管的 OCI 服务，它提供了一组先进、可定制的大型语言模型 (LLM)，涵盖了文本生成、汇总、语义搜索等各种用例。使用游乐场试用现成可用的预训练模型，或者根据您自己的数据在专用 AI 集群上创建和托管您自己的优化定制模型。
- 文档分析
Oracle Cloud Infrastructure Document Understanding 是一项可大规模执行基于深度学习的文档分析的 AI 服务。利用现成的预构建模型，开发人员无需具备机器学习 (ML) 专业知识即可轻松将智能文档处理构建到应用中。
- 数字助手
Oracle Digital Assistant 是一个支持您为用户创建和部署数字助手的平台。借助 Oracle Digital Assistant，您可以通过文本、聊天和语音界面为业务应用创建 AI 驱动的界面（或聊天机器人）。每个数字助手都包含一个或多个专业技能，可帮助用户在自然语言对话中完成各种任务。例如，单个数字助手可能具有侧重于特定类型任务的技能，例如跟踪库存、提交工时记录卡和创建费用报表。
- Oracle Database 23ai
Oracle Database 23ai 为企业数据和应用带来了 AI 的强大功能。借助 Oracle AI 向量搜索，可以根据关键任务数据库中的概念内容轻松搜索存储在关键任务数据库中的文档、图像和关系数据。
- Oracle Autonomous Database Select AI
Oracle Autonomous Database Select AI 支持 Oracle Autonomous Database 将生成式 AI 与大型语言模型 (LLM) 结合使用，将用户的输入转换为 Oracle SQL。Oracle Autonomous Database Select AI 处理自然语言提示，使用元数据补充提示，然后生成并运行 SQL 查询。
- Oracle HeatWave Gen AI
Oracle HeatWave Gen AI 和向量存储可用于检索增强生成 (RAG) 实施，以提高 AI 模型的准确性和性能。
注意事项
为 AI 模型 API 管理实施 OCI API Gateway 时，请考虑以下事项：
- 安全
AI 模型使用大量企业数据。监管团队应通过实施屏蔽、加密和访问控制来确保安全措施处理数据。
- AI 模型使用条款和许可
第三方 AI 模型自带许可证和协议条款。在通过 OCI API 网关公开模型时，AI 治理团队应了解法律使用条款以确保合规性。