瞭解如何部署 AI 會議應用程式

在嘗試與同行有效合作的同時,常數會議可能會使會議保持高效,同時嘗試進行會議註記、記錄行動項目。

此解決方案以人工智慧為中心,整合生成式 AI 和 Oracle Cloud 服務,以自動化和增強流程。使用低程式碼平台 (Oracle Visual Builder),簡化應用程式開發和部署,輕鬆運用 AI 服務和 Oracle Cloud Infrastructure Object Storage

Oracle Database 23ai 和 OCI AI 服務可用來建立 AI 會議應用程式,以運用最先進的技術,透過無縫的即時音訊轉譯、高效率摘要和簡便的轉錄來加強團隊會議。AI 會議應用程式會擷取情感、減少管理任務,並提供資料導向的洞察力,將會議資料轉化為可行的智慧,並提高整體生產力。



架構

此架構提供使用 AI 部署應用程式以管理會議的大綱。

順利設定應用程式之後,會使用 Oracle Visual Builder 介面將音訊和視訊上傳至 OCI Object Storage 中的儲存桶。接著會叫用 Oracle Cloud Infrastructure Speech 進行音訊轉錄。此轉錄會被截斷,以偵測會議與會者人數,並依演講者區分文字。

轉譯完成後,檔案會從物件儲存體讀取,並傳送至 AI 服務以進行分析:

  • Oracle Cloud Infrastructure Generative AI 總結列出轉錄。
  • Oracle Cloud Infrastructure Language 可分析情感,並偵測產品、地點及人為提及數等實體。
  • 我們的自訂 RAG (檢索增強生成) 正在 Oracle Database 23ai 上執行。此服務是在具有公開 API 的虛擬機器上執行。系統會叫用 API,並提供記錄和問題,讓 RAG 回應已處理的資料。

下圖說明此解決方案:



智慧會議應用程式 -architecture.zip

此架構支援下列元件:

  • 地區

    Oracle Cloud Infrastructure 區域是一個本地化地理區域,其中包含一或多個稱為可用性網域的資料中心。區域獨立於其他區域,而廣大的距離可以將其分開 (跨國家或大陸)。

  • 物件儲存

    Oracle Cloud Infrastructure Object Storage 可讓您快速存取任何內容類型的大量結構化和非結構化資料,包括資料庫備份、分析資料,以及影像和影片等豐富內容。您可以安全地儲存資料,然後直接從網際網路或雲端平台內擷取資料。您可以擴展儲存體,而不會發生任何效能或服務可靠性的降低問題。針對您需要快速、立即和經常存取的「熱」儲存,使用標準儲存。針對長時間保留且極少或極少存取的「冷」儲存,使用封存儲存。

  • Oracle Cloud Infrastructure Language

    Oracle Cloud Infrastructure Language 提供符合生產需求的預先訓練模型的關鍵語言處理功能,以在非結構化文字中發現洞察力,並免除機器學習專長的需求,進而縮短此時間和人力。您可以使用 OCI Language 大規模自動進行文字分析,並瞭解文件中的非結構化文字、客戶意見回饋互動,或任何問題或評論的支援回報項目。這可讓您擷取洞察力,以改善客戶體驗並提升效率。

    OCI Language 可讓開發人員在應用程式中套用情感分析、索引鍵詞組擷取、文字分類、命名實體識別等功能。開發人員可以將預先訓練的 NLP 功能整合至應用程式中,而不需要資料科學家建立自訂模型。您可以透過 OCI 主控台、Python 中的 OCI SDK、Java、Go、Typecript、.Net、REST API 或 OCI CLI 存取 OCI Language。

    使用 OCI Language 的優點如下:

    • 改善客戶體驗:探索客戶如何使用產品、擷取特定興趣領域的情感,並識別關鍵挫折,及時解決這些問題。
    • 識別重要資料:從客戶意見回饋擷取具名實體,以識別提及的人員、產品及組織。
    • 確保安全性和隱私權:OCI Language 維護客戶隱私權,其語言模型不會儲存任何用於訓練、除錯或其他用途的資料。此外,OCI 語言可用來識別任何潛在的個人識別資訊 (PII),以保護客戶隱私。
  • Oracle Cloud Infrastructure Speech

    Oracle Cloud Infrastructure (OCI) Speech 是多個雲端原生 AI 服務之一。您可以使用 [Speech] (朗讀) 服務將音訊檔案轉換成以 JSON 格式儲存的可讀文字。

    Speech 使用口語的強大功能,讓您輕鬆將內含人類語音的音訊檔案轉換成高度精確的文字轉錄文字。此服務是 OCI 原生應用程式,您可以使用 Web 應用程式、REST API、SDK、CLI 或主控台進行存取。

    Speech 使用自動語音辨識 (ASR) 技術,以文法正確的方式提供視訊和音訊檔案的轉譯。語音處理低傳真錄音,並轉錄如會議或客服中心通話等具挑戰性的錄音。您可以使用 Speech 將儲存在 OCI Object Storage 或資料資產中的檔案轉換為精確、標準化、時戳和利潤篩選文字。下游服務提供此功能。例如,您可以使用語言和預測等其他服務來分析通話情感、鎖定廣告內容、編製媒體資料夾索引,以及使用 Oracle Cloud Infrastructure Lakehouse 建立媒體搜尋引擎。

  • Oracle Cloud Infrastructure Generative AI

    Oracle Cloud Infrastructure (OCI) Generative AI 是完全託管的服務,可透過 API 提供,將這些多功能語言模型無縫整合到各種使用案例中,包括撰寫協助、摘要和交談。OCI Generative AI 服務包括下列基礎模型:

    • 產生:提供產生文字或從您的文字擷取資訊的指示。
    • 摘要:使用您指示的格式、長度和語氣摘要列出文字。
    • 內嵌:將文字轉換為向量內嵌項目,以在應用程式中用於語意搜尋、文字分類或文字分群。
  • Oracle Database 23ai

    Oracle Database 23ai 為想要建構新微服務、圖形、文件和關聯式 applications.Oracle 的開發人員提供了最完整且簡單的融合式資料庫。該計畫宣布使用 AI 向量將語意搜尋功能新增至 Oracle Database 23ai。稱為 AI Vector Search 的功能集合包括一個新的向量資料類型、向量索引和向量搜尋 SQL 運算子,讓 Oracle Database 能夠將文件、影像和其他非結構化資料的語意內容儲存為向量,並使用這些運算子快速執行相似性查詢。

  • Oracle Visual Builder

    Oracle Visual Builder 是在開發和託管平台上的直觀式開發體驗,可讓您建立充滿吸引力的回應式應用程式。它著重於易用性和視覺化開發方法,可讓您輕鬆建立託管在 Oracle 安全可擴展雲端平台中的應用程式。

Before You Begin - 開始之前

建議您具備 Oracle Visual Builder 的背景知識、呼叫 REST 服務及 Javascript。不過,只要依照此手冊中的步驟,就能在您的租用戶中部署 App。

關於必要服務與角色

此解決方案需要下列服務:

  • Oracle Cloud Infrastructure Speech
  • Oracle Cloud Infrastructure Language
  • Oracle Cloud Infrastructure Generative AI
  • Oracle Visual Builder

這些是每項服務所需的角色。

服務名稱:角色 需要 ...
Oracle Cloud Infrastructure Speech :manage ai-service-speech-family 建立與管理轉譯工作。
Oracle Cloud Infrastructure Language :manage ai-service-language-family 管理語言專案與情感。
Oracle Cloud Infrastructure Generative AI :manage generative-ai-family 管理 AI 模型、產生文字和摘要。
Oracle Visual Builder :ServiceDeveloper 使用視覺設計工具建立、管理、保護及發布視覺應用程式。設計頁面、使用業務物件,以及測試應用程式。

請參閱 Oracle 產品、解決方案和服務,瞭解您需要的內容。