实施基于 Web 的用户界面，以便与 Oracle Cloud Infrastructure Generative AI 代理交互
使用 Oracle Cloud Infrastructure Generative AI ( OCI Generative AI ) 代理实施交互式 Web 界面，让用户能够进行实时对话。
OCI Generative AI 不提供 OCI 控制台外部的用户界面，用户希望使用 API 将其集成到 Web 项目中。此参考架构展示了使用 OCI Generative AI 代理的 Web 应用程序，该代理还与实时语音到文本和文本到语音集成，以便在不离开客户端租户数据的情况下提供完整的体验。此解决方案涉及通过 Web 套接字连接 Web 应用程序和 OCI 语音服务的虚拟机。
使用 OCI Speech 实时转录，用户说的所有内容都会立即转换为文本并由 AI 代理处理。然后，AI 代理生成响应，该响应不仅显示在屏幕上，还通过 OCI 语音文本到语音功能与用户通话。这可以创建完全沉浸式、自然和动态的交互，非常适合客户服务、虚拟助手和对话式 AI 解决方案。
体系结构
此参考架构围绕 Oracle Visual Builder 构建，作为前端接口，可与 OCI Generative AI 代理和 OCI Speech 无缝集成。
- Oracle Visual Builder 通过使用 Python SDK 的 VM Bridge 向 OCI Speech 发送用户输入。
- OCI Speech 中的文本到语音功能支持跨应用合成类似人类的语音。此功能支持客户对话、多语言语音翻译和改进可访问性。从各种声音中进行选择以增强交互。
- Oracle Visual Builder 可处理用户交互，通过 REST API 将用户输入发送到 OCI Generative AI 代理，并实时显示代理的响应。
OCI Generative AI 代理在后台使用 OCI Generative AI 来访问 Cohere 和 Meta 的预训练基础模型。它支持具有专用 GPU 的专用 AI 集群，以支持稳定、高性能的生产负载，包括托管和微调。
Chat API 和 Playground 通过 OCI 控制台或 API 提供 Cohere 和 Meta 模型的交互式聊天体验。LangChain 集成支持灵活开发 OCI Generative AI 应用，而 LlamaIndex 集成支持使用自定义数据源构建 RAG 解决方案。对于运营而言， OCI Generative AI 包含内容审核控制，很快将支持零停机地交换模型端点，并支持激活和停用功能。它还提供有关模型使用情况的分析，包括调用统计信息、处理的令牌和错误计数。
- 对于语音输出， OCI 语音文本到语音 (TTS) 服务将座席的响应转换为语音音频，从而增强用户体验。
下图说明了此引用体系结构。
oci-genai-speech-arch-oracle.zip
该体系结构包含以下组件：
- 计算服务
借助 Oracle Cloud Infrastructure Compute ，您可以在云中预配和管理计算主机。您可以通过配置启动计算实例，以满足对 CPU、内存、网络带宽和存储的资源要求。创建计算实例后，您可以安全地访问它，重新启动它，连接和分离卷，并在不再需要时终止它。
- OCI 语音
OCI Speech 是云原生 AI 服务之一。您可以使用 OCI 语音服务将音频文件转换为以 JSON 格式存储的可读文本。
OCI Speech 利用口语的力量，您可以轻松将包含人类语音的音频文件转换为高度准确的文本转录。该服务是 OCI 本机应用，您可以使用 Web 应用、REST API、SDK、CLI 或控制台访问。
OCI Speech 使用自动语音识别 (Automatic Speech，ASR) 技术来提供视频和音频文件的语法正确转录。OCI Speech 处理低保真音频录音，并转录具有挑战性的录音，例如会议或呼叫中心呼叫。使用语音功能，您可以将存储在 OCI 对象存储或数据资产中的文件转换为准确、规范化、带时间戳且经过亵渎过滤的文本。此功能随下游服务一起提供。例如，您可以使用语言和预测等其他服务来分析拜访情绪、定位广告内容、为媒体文件夹编制索引以及使用 Oracle Cloud Infrastructure Lakehouse 创建媒体搜索引擎。
- OCI Generative AI 代理
OCI Generative AI 代理是一项完全托管的服务，它将大型语言模型 (LLM) 的强大功能与智能检索系统相结合，通过搜索知识库来创建与上下文相关的答案。
OCI Generative AI 座席支持多种方式将数据上线，让您和您的客户可以使用聊天界面或 API 与数据交互。
- 支持多种数据上线方法和交互渠道（聊天界面或 API）。
- 通过搜索知识库来创建与上下文相关的答案。
- 为每个答案提供源属性。
- 提供混合搜索功能（灵活和语义）。包括用于输入和输出的内容审核选项。
- 支持多回合对话，用户可以在其中询问跟进问题并接收考虑先前问题和答案上下文的答案。
- 可以在 PDF 中解释双轴图表和参考表中的数据，而无需明确描述可视化元素。
- PDF 文档中存在的所有超链接都将提取并显示为聊天回应中的超链接。
- Oracle Visual Builder
Oracle Visual Builder 是一个基于开发和托管平台的直观开发体验，可帮助您创建引人入胜的响应式应用。它侧重于易用性和可视化开发方法，让您能够轻松创建托管在 Oracle 安全且可扩展的云平台上的应用。
可视化开发体验
Oracle Visual Builder 提供了简单而强大的可视化开发工具来创建响应式应用，无需安装任何其他软件。这组丰富的可视化工具可以拖放 UI 组件并自定义其属性以定义行为，从而帮助您快速设计应用。虽然这些工具借给低代码开发人员，但经验丰富的开发人员可以轻松地访问底层源代码，甚至可以使用标准 HTML5，JavaScript 和 CSS 技术来扩展它以满足复杂需求。
轻松访问数据
Oracle Visual Builder 支持您通过基于 REST 的服务轻松访问应用数据。因此，您可以创建可重用的业务对象来实施应用的业务逻辑并存储其数据，然后可以通过 Oracle Visual Builder 为您生成的 REST 端点进行管理，或者在 REST 服务的集成目录中选取 Oracle SaaS 或 Oracle Integration 应用公开的数据对象。只需单击几下便可访问任何外部 REST 服务中的数据。
开发和托管平台
Oracle Visual Builder 是一个完整的开发工具和一个托管平台，这意味着您可以管理从开发到测试和最终发布的应用生命周期。版本管理和数据迁移内置在应用的生命周期中，使您能够轻松地在每个阶段暂存和发布应用以及管理其数据。