了解如何部署 AI Meetings 应用

持续的会议可能会使会议保持高效,同时尝试记录会议记录、记录操作项,同时尝试与同行有效协作。

该解决方案以人工智能为中心,集成了生成式 AI 和 Oracle Cloud 服务来自动执行和增强流程。使用低代码平台 (Oracle Visual Builder ) 简化了应用开发和部署,从而可以轻松利用 AI 服务和 Oracle Cloud Infrastructure Object Storage

Oracle Database 23ai 和 OCI AI 服务用于创建 AI 会议应用,以利用前沿技术,通过无缝实时音频转录、高效汇总和轻松查询转录来增强团队会议。AI 会议应用可提取情感,减少管理任务,并提供数据驱动的洞察,将会议数据转化为可操作的智能,并提高整体生产力。



体系结构

此架构提供了一个大纲,用于部署使用 AI 管理会议的应用程序。

成功配置应用程序后,可以使用 Oracle Visual Builder 界面将音频和视频上载到 OCI 对象存储中的存储桶。然后调用 Oracle Cloud Infrastructure Speech 进行音频转录。转录被逐字记录,以检测会议与会者人数,并按发言者分开文本。

转录完成后,将从对象存储读取文件,并将其发送到 AI 服务进行分析:

  • Oracle Cloud Infrastructure Generative AI 对转录进行了汇总。
  • Oracle Cloud Infrastructure Language 可分析情绪并检测产品、位置和人工提及等实体。
  • 我们的定制 RAG(Retrieval-Augmented Generation,检索增强生成)在 Oracle Database 23ai 上运行。该服务在具有公开 API 的虚拟机上运行。将调用 API,并提供记录和问题,以便 RAG 响应已处理的数据。

下图展示了此解决方案:



smartmeeting-app-architecture.zip

此体系结构支持以下组件:

  • 区域

    Oracle Cloud Infrastructure 区域是包含一个或多个数据中心(称为可用性域)的本地化地理区域。地区独立于其他地区,远距离可以把它们分开(跨越国家甚至大陆)。

  • 对象存储

    Oracle Cloud Infrastructure Object Storage 支持您快速访问任意内容类型的大量结构化和非结构化数据,包括数据库备份、分析数据以及图像和视频等丰富内容。您可以安全地存储数据,然后直接从互联网或云平台检索数据。您可以在不降低性能或服务可靠性的情况下扩展存储。将标准存储用于需要快速、立即和频繁访问的“热”存储。将归档存储用于长期保留、很少访问或很少访问的“冷”存储。

  • Oracle Cloud Infrastructure Language

    Oracle Cloud Infrastructure Language 将关键语言处理功能作为生产就绪的预训练模型提供,以发现非结构化文本中的洞察并消除对机器学习专业知识的需求,从而减少时间和工作量。您可以使用 OCI 语言处理服务自动执行文本分析,并了解文档、客户反馈交互或有关任何问题或评论的支持单中的非结构化文本。这将使您能够提取洞察来改善客户体验和提高效率。

    OCI Language 支持开发人员将情感分析、关键短语提取、文本分类、命名实体识别等功能应用到应用中。开发人员可以将预先训练的 NLP 功能集成到应用中,而无需数据科学家创建定制模型。OCI Language 可通过 OCI 控制台、Python 中的 OCI SDK、Java、Go、Typescript、.Net、REST API 或 OCI CLI 访问。

    使用 OCI 语言处理服务具有以下优势:

    • 改善客户体验:探索客户如何使用产品,提取有关某些感兴趣领域的情绪,并确定关键挫折,及时解决这些问题。
    • 识别重要数据:从客户反馈中提取指定的实体,以识别提及的人员、产品和组织。
    • 确保安全性和隐私:OCI Language 使用不存储任何数据用于培训、调试或其他目的的语言模型来维护客户隐私。此外,OCI Language 可用于识别任何潜在的个人身份信息 (PII),以保护客户隐私。
  • Oracle Cloud Infrastructure Speech

    Oracle Cloud Infrastructure (OCI) Speech 是云原生 AI 服务之一。您可以使用语音服务将音频文件转换为以 JSON 格式存储的可读文本。

    语音通过允许您轻松地将包含人类语音的音频文件转换为高度准确的文本转录来利用口语的力量。该服务是 OCI 本机应用,您可以使用 Web 应用、REST API、SDK、CLI 或控制台访问。

    语音使用自动语音识别 (ASR) 技术来提供视频和音频文件的语法正确转录。语音处理低保真音频录音,并转录具有挑战性的录音,如会议或呼叫中心呼叫。使用 Speech,您可以将存储在 OCI Object Storage 或数据资产中的文件转换为准确、规范化、时间戳和粗略筛选的文本。下游服务提供了此功能。例如,您可以使用语言和预测等其他服务来分析拜访情绪、定位广告内容、为媒体文件夹编制索引以及使用 Oracle Cloud Infrastructure Lakehouse 创建媒体搜索引擎。

  • Oracle Cloud Infrastructure Generative AI

    Oracle Cloud Infrastructure (OCI) Generative AI 是通过 API 提供的全托管式服务,可将这些通用语言模型无缝集成到各种用例中,包括编写帮助、汇总和聊天。OCI Generative AI 服务包括以下基础模型:

    • 生成:给出生成文本或从您的文本提取信息的指令。
    • 摘要:用您指示的格式、长度和语气概述文本。
    • 嵌入:将文本转换为向量嵌入内容,以用于应用程序中的语义搜索、文本分类或文本集群。
  • Oracle Database 23ai

    Oracle Database 23ai 为希望构建新微服务、图形、文档和关系型数据库的开发人员提供了全面而简单的融合数据库。applications.Oracle 宣布计划使用 AI 向量向 Oracle Database 23ai 添加语义搜索功能。名为 AI Vector Search 的功能集合包括新的向量数据类型、向量索引和向量搜索 SQL 运算符,这些运算符使 Oracle Database 可以将文档、图像和其他非结构化数据的语义内容存储为向量,并使用它们运行快速相似性查询。

  • Oracle Visual Builder

    Oracle Visual Builder 是一个基于开发和托管平台的直观开发体验,可帮助您创建引人入胜的响应式应用。它侧重于易用性和可视化开发方法,让您能够轻松创建托管在 Oracle 安全且可扩展的云平台上的应用。

使用须知

我们建议您具备 Oracle Visual Builder 、调用 REST 服务和 Javascript 的背景知识。但是,只需按照本手册中的步骤操作,即可在租户中部署应用程序。

关于必需的服务和角色

此解决方案需要以下服务:

  • Oracle Cloud Infrastructure Speech
  • Oracle Cloud Infrastructure Language
  • Oracle Cloud Infrastructure Generative AI
  • Oracle Visual Builder

这些是每个服务所需的角色。

服务名:职责 需要 ...
Oracle Cloud Infrastructure Speech :manage ai-service-speech-family 创建并管理转录作业。
Oracle Cloud Infrastructure Language :manage ai-service-language-family 管理语言项目和情感。
Oracle Cloud Infrastructure Generative AI :manage generative-ai-family 管理 AI 模型,生成文本生成和汇总。
Oracle Visual Builder :ServiceDeveloper 使用可视化设计工具创建、管理、保护和发布可视化应用。设计页面、使用业务对象以及测试应用程序。

要获取所需的资源,请参阅 Oracle 产品、解决方案和服务