关于部署具有企业 AI 功能的 TEN 框架
广泛采用人与人工智能语音对话的两个最大障碍是延迟（或延迟）和无线最后一英里挑战，例如快速变化的带宽和高数据包丢失。Agora 的软件定义实时网络 (SD-RTN) 是互联网的实时覆盖网络，采用智能路由和最后一英里优化构建，以确保最高的质量和最低的延迟。将 Agora 的实时网络基础设施应用于语音驱动的对话 AI，使人类能够以与人类相同的方式与 AI 进行交互。
TEN 框架提供实时网络基础设施。TEN Agent 在 Apache 2.0 开源许可证下获得许可，而 TEN Framework 使用混合开源许可证。Agora 作为 TEN 的主要支持者，提供基于框架构建的对话式 AI 服务。OCI 可以提供计算能力，而 Oracle Autonomous Database Select AI 支持 RAG 功能，支持您使用 LLM 通过自然语言提示来获取洞察或基于您的私有数据生成创新内容。
体系结构
此架构展示了如何创建将 Oracle 和 Agora 的 AI 技术用于 AI 基础设施的多模式语音代理模型。
下图是级联多模式 AI 语音代理模型的示例：
插图 multimodal-voice-agents.png 的说明
该模型显示了大型语言模型 (LLM) 如何处理音频和视频，并包含以下组件：
- 在 OCI VM 上部署 LLM
- 语音到文本 (STT)
- 文本到语音 (TTS)
AI 基础设施包括专为支持 AI 任务的苛刻计算需求而设计的底层硬件和软件系统。您可以在单个 OCI 区域中部署 AI 基础设施或部署多云架构，在多云架构中，处理能力分布在多个地理位置分散的数据中心，从而灵活部署应用和数据。
下图是 VM 上安装了 TEN（Transformative Extensions Network，转换扩展网络）代理的单个 OCI 区域。
插图 oci-ten-agent-deploy.png 的说明
oci-ten-agent-deploy-oracle.zip
为了加快处理速度并提高大型数据集的可扩展性，请部署多云基础设施来跨多个计算节点运行 AI 算法。您可以在 OCI 区域或多云架构中使用分布式 AI 架构。分布式云利用多云的强大功能，将大型 AI 任务拆分为较小的部分，并同时在多个节点上执行。它还允许在海量数据集上更快地训练复杂的人工智能模型。然而，它在管理数据一致性和协调不同节点的计算方面提出了挑战。
以下架构使用 Google Cloud 和 OCI 的多云解决方案，其中 Google Kubernetes Engine (GKE) 编排了整体培训和推断流程，同时按需将计算密集型部分分流到 OCI AI 基础设施。
插图 oci-google-multiregion.png 的说明
oci-google-multiregion-oracle.zip
体系结构支持以下组件：
- 区域
Oracle Cloud Infrastructure 区域是包含一个或多个数据中心（称为可用性域）的本地化地理区域。地区独立于其他地区，远距离可以把它们分开（跨越国家甚至大陆）。
- 可用性域
可用性域是区域中的独立数据中心。每个可用性域中的物理资源与其他可用性域中的资源隔离，从而提供容错能力。可用性域不共享电源或冷却设备等基础设施，也不共享内部可用性域网络。因此，一个可用性域出现故障不会影响区域中的其他可用性域。
- 虚拟云网络 (VCN) 和子网
VCN 是一个可定制的软件定义网络，您可以在 Oracle Cloud Infrastructure 区域中设置。与传统的数据中心网络一样，VCN 允许您控制您的网络环境。VCN 可以具有多个不重叠的 CIDR 块，您可以在创建 VCN 后更改这些块。您可以将 VCN 划分为子网，子网可以限定为区域或可用性域。每个子网都包含一系列不与 VCN 中的其他子网重叠的连续地址。可以在创建后更改子网的大小。子网可以是公共子网，也可以是专用子网。
- 容错域
容错域是可用性域内的一组硬件和基础设施。每个可用性域都有三个容错域，它们具有独立的电源和硬件。在多个容错域之间分配资源时，应用可以承受容错域内的物理服务器故障、系统维护和电源故障。
- 负载平衡器
Oracle Cloud Infrastructure Load Balancing 提供从单个入口点到多个服务器的自动流量分配。
- 自治数据库
Oracle Autonomous Database 是一个完全托管的预配置数据库环境，可用于事务处理和数据仓库工作负载。您不需要配置或管理任何硬件，或者安装任何软件。Oracle Cloud Infrastructure 负责创建、备份、打补丁、升级和优化数据库。
- Identity and Access Management
Oracle Cloud Infrastructure Identity and Access Management (IAM) 为 Oracle Cloud Infrastructure (OCI) 和 Oracle Cloud Applications 提供用户访问控制。借助 IAM API 和用户界面，您可以管理身份域及其中的资源。每个 OCI IAM 身份域代表一个独立的身份和访问管理解决方案或不同的用户群体。
- 策略
Oracle Cloud Infrastructure Identity and Access Management 策略指定谁可以访问哪些资源以及如何访问这些资源。可以在组和区间级别授予访问权限，这意味着您可以编写策略来为组提供特定区间内或租户的特定类型的访问权限。
- 审计
Oracle Cloud Infrastructure Audit 服务将对所有受支持的 Oracle Cloud Infrastructure 公共应用编程接口 (API) 端点的调用自动记录为日志事件。所有 OCI 服务都支持 Oracle Cloud Infrastructure Audit 日志记录。
- 日志记录Oracle Cloud Infrastructure Logging 是一项高度可扩展的全托管式服务，支持您从云端资源访问以下类型的日志：
- 审计日志：与 OCI 审计生成的事件相关的日志。
- 服务日志：各个服务（例如 OCI API 网关、 OCI 事件、 OCI 函数、 OCI 负载平衡、 OCI 对象存储和 VCN 流日志）发布的日志。
- 定制日志：包含来自定制应用程序、其他云提供商或内部部署环境的诊断信息的日志。
- 对象存储
Oracle Cloud Infrastructure Object Storage 支持您快速访问任意内容类型的大量结构化和非结构化数据，包括数据库备份、分析数据以及图像和视频等丰富内容。您可以安全地存储数据，然后直接从互联网或云平台检索数据。您可以在不降低性能或服务可靠性的情况下扩展存储。将标准存储用于需要快速、立即和频繁访问的“热”存储。将归档存储用于长期保留、很少访问或很少访问的“冷”存储。
- Internet 网关
通过互联网网关，可以在 VCN 中的公共子网与公共互联网之间进行流量传输。
- 服务网关
通过服务网关，您可以从 VCN 访问其他服务，例如 Oracle Cloud Infrastructure Object Storage 。从 VCN 到 Oracle 服务的流量通过 Oracle 网络结构传输，不会通过互联网传输。
- Web 应用程序防火墙 (WAF)
Oracle Cloud Infrastructure Web Application Firewall (WAF) 是一项符合支付卡行业 (PCI) 标准、基于区域和边缘的实施服务，它连接到实施点，例如负载平衡器或 Web 应用程序域名。WAF 可保护应用免受恶意和不需要的互联网流量攻击。WAF 可以保护任何面向互联网的端点，并在客户应用之间实施一致的规则。
- FastConnect
Oracle Cloud Infrastructure FastConnect 可在您的数据中心与 Oracle Cloud Infrastructure 之间创建专用的私有连接。与基于 Internet 的连接相比，FastConnect 提供了更高的带宽选项和更可靠的网络体验。
以下第三方组件：
- TEN 框架
TEN(Transformative Extensions Network) 是一个开源框架，使开发人员能够快速构建实时多模式代理（语音，视频，数据流，图像和文本），使开发人员能够轻松地进行实验，集成大型语言模型，并创建可重用的扩展。
- TEN 代理
TEN 代理安装在虚拟机上。您可以使用 TEN 构建代理来支持使用场景，例如语音聊天机器人、AI 生成的会议记录、语言导师、同声传译员、虚拟同伴、咨询等。开发人员可以利用各种 AI 服务和扩展，并具有完全的灵活性来构建、测试和推出下一代 AI 代理，这些代理可以像人类一样实时思考、倾听、查看和交互。
- Llama 3.2
Llama 3.2 是 Meta AI 的 Llama 大语言模型 (LLM) 的轻量级版本。Llama 3.2 是一种多模式自动回归语言模型，可用于需要图像识别和语言处理的任务。
- 深度
语音转文本 (STT) 组件。
- Fishaudio
文本到语音 (TTS) 组件。
推荐
- VCN
创建 VCN 时，请根据您计划附加到 VCN 中子网的资源数量，确定所需的 CIDR 块数和每个块的大小。使用标准专用 IP 地址空间内的 CIDR 块。
选择不与要设置专用连接的任何其他网络（在 Oracle Cloud Infrastructure 、您的内部部署数据中心或其他云提供商中）重叠的 CIDR 块。
创建 VCN 后，您可以更改、添加和删除其 CIDR 块。
设计子网时，请考虑流量和安全要求。将特定层或角色中的所有资源附加到可以用作安全边界的同一子网。
- 安全列表
使用安全列表定义应用于整个子网的入站和出站规则。
- 网络安全组 (NSG)
可以使用 NSG 定义一组适用于特定 VNIC 的入站和出站规则。我们建议使用 NSG 而非安全列表，因为 NSG 使您能够将 VCN 的子网体系结构与应用的安全要求分开。
- Cloud Guard
克隆和定制 Oracle 提供的默认配方，以创建定制检测器和响应器配方。通过这些配方，您可以指定哪种类型的安全违规会生成警告，以及允许对它们执行哪些操作。例如，您可能希望检测可见性设置为公共的对象存储桶。
在租户级别应用 Cloud Guard，以涵盖最广泛的范围并减轻维护多个配置的管理负担。
还可以使用“托管列表”功能将某些配置应用于检测器。
- 安全区域
对于需要最高安全性的资源，Oracle 建议您使用安全区域。安全区域是与 Oracle 定义的基于优秀实践的安全策略配方关联的区间。例如，安全区域中的资源必须无法从公共 Internet 访问，并且必须使用客户管理的密钥对它们进行加密。在安全区域中创建和更新资源时，Oracle Cloud Infrastructure 会根据安全区域配方中的策略验证操作，并拒绝违反任何策略的操作。
- 负载平衡器带宽
创建负载平衡器时，您可以选择提供固定带宽的预定义配置，也可以指定定制（灵活）配置，在其中设置带宽范围并允许服务根据流量模式自动扩展带宽。通过任一方法，您都可以在创建负载平衡器后随时更改配置。
注意事项
在实施多模式 TEN 框架时，请考虑以下事项：
- 网络连接
需要强大的网络连接才能有效地管理分布式计算资源。
- GPU
AI 基础设施包括具有专用硬件（例如 GPU）的高性能计算集群，可加快 AI 计算速度。它通常利用分布式存储系统高效处理大型数据集，并且可能需要专门的 AI 框架和库来训练和部署 AI 模型。使用 OCI Supercluster 可扩展至 32,768 个 GPU。
- Oracle Database 23ai
利用 Oracle Database 23ai 技术并借助 AI 提供以下优势：
- 降低幻觉风险：利用 RAG 和 AI Vector Search，在将 LLM 与企业数据结合使用时，对自然语言问题提供更精确的响应。
- Oracle Autonomous Database NVIDIA GPU 支持：访问 NVIDIA GPU 以加速某些 AI 数据操作的性能，而无需担心供应或管理 GPU 服务器。您可以利用 Oracle Machine Learning Notebooks 将支持 GPU 的 Python 程序包用于资源密集型工作负载，例如使用变压器模型生成向量嵌入以及构建深度学习模型。
- 对 LLM 的更广泛支持：通过从 Oracle Autonomous Database 到其他 LLM（Google Gemini、Anthropic Claude 和 Hugging Face）的内置集成，帮助组织从生成式 AI 中获得更多价值。Autonomous Database 与七家提供商的 35 个不同的 LLM 集成，让您能够在构建 GenDev 应用时做出广泛的选择。
- Data Studio AI 增强功能：使用自然语言准备和加载数据，并使用可视化的“拖放”工具创建包含文本和图像向量嵌入的 AI 管道。
- Graph Studio 增强功能：使用内置自助工具构建无代码的运营属性图形模型，这是 Oracle Database 23ai 中的新增功能。
- 面向开发人员的 Autonomous Database：以统一的小时费率访问 Oracle Autonomous Database 提供的丰富功能和工具集。这为开发用例提供了更低且更可预测的切入点，并且提供了指向生产部署的简单升级路径。
- 多云
OCI 在多云架构中运行的功能具有以下优势：
- 使您能够跨多个位置（包括内部部署、边缘设备和公有云）部署应用和数据。
- 根据用户所在的位置提供更好的性能、可恢复性和数据位置。
- OCI 是一个超大规模供应商，能够在任何地方的任何环境中提供 150 多个云服务。或者，从 AWS、Microsoft Azure 和 Google Cloud 合作伙伴区域获取 Oracle Database 服务。