導入與 Oracle Cloud Infrastructure Generative AI 代理程式互動的 Web 式使用者介面
使用 Oracle Cloud Infrastructure Generative AI ( OCI Generative AI) 代理程式實作互動式 Web 介面，讓使用者能夠進行即時對話。
OCI Generative AI 不在 OCI 主控台之外提供使用者介面，而使用者想要使用 API 將其整合至其 Web 專案中。此參考架構展示了使用 OCI Generative AI Agent 的 Web 應用程式，該代理程式也與即時「語音轉文字」和「文字轉語音」整合，以便在不離開用戶端的租用戶資料的情況下提供完整體驗。此解決方案涉及透過 Web 通訊埠連接 Web 應用程式和 OCI Speech 服務的虛擬機器。
使用 OCI Speech 即時轉錄，使用者表示的所有內容都可立即轉換為文字並由 AI 代理程式處理。接著，AI 代理程式會產生回應，此回應不僅會顯示在畫面上，還會透過 OCI Speech 文字轉語音功能向使用者朗讀。這會建立完全沉浸式、自然且動態的互動，適用於客戶服務、虛擬助理及對話式 AI 解決方案。
架構
此參考架構是以 Oracle Visual Builder 為基礎，它是與 OCI Generative AI 代理程式和 OCI Speech 緊密整合的前端介面。
- Oracle Visual Builder 透過 Python SDK 的 VM 橋接器將使用者輸入傳送至 OCI Speech 。
- OCI Speech 的文字轉語音功能可讓您從應用程式中的文字進行合成，以人為本的語音。此功能可讓客戶對話、多語言語音翻譯及更佳的輔助功能。從各種語音中選擇以增強互動。
- Oracle Visual Builder 會處理使用者互動、透過 REST API 將使用者輸入傳送至 OCI Generative AI 代理程式，並即時顯示代理程式的回應。
OCI Generative AI 專員在幕後使用 OCI Generative AI ，以存取 Cohere 和 Meta 預先訓練的基礎模型。它支援具有專用 GPU 的專用 AI 叢集，以執行穩定、高效能的生產環境工作負載，包括代管及微調。
Chat API 和 Playground 透過 OCI 主控台或 API 與 Cohere 和 Meta 模型提供互動式交談體驗。LangChain 整合允許 OCI Generative AI 應用程式的彈性開發，而 LlamaIndex 整合則允許使用自訂資料來源建置 RAG 解決方案。針對作業， OCI Generative AI 包含內容協調管制控制，即將支援零停機時間的模型端點交換，以及啟用和停用功能。它也提供模型使用狀況的分析，包括呼叫統計資料、已處理的記號以及錯誤計數。
- 對於語音輸出， OCI Speech 文字轉語音 (TTS) 服務會將專員的回應轉換成口語音訊，以增強使用者體驗。
下圖說明此參考架構。
oci-genai-speech-arch-oracle.zip
架構具有下列元件：
- 計算
透過 Oracle Cloud Infrastructure Compute ，您可以在雲端佈建及管理運算主機。您可以使用資源配置啟動運算執行處理，以滿足 CPU、記憶體、網路頻寬及儲存的資源需求。建立運算執行處理之後，您可以安全地存取該執行處理、重新啟動執行處理、連附磁碟區及取消連附磁碟區，並在不再需要時將其終止。
- OCI 語音
OCI Speech 是多個雲端原生 AI 服務之一。您可以使用 OCI Speech 服務將音訊檔案轉換為以 JSON 格式儲存的可讀文字。
OCI Speech 能讓您輕鬆將內含人類語音的音訊檔案轉換成高度精確的文字轉錄，充分發揮口語語言的威力。此服務是 OCI 原生應用程式，您可以使用 Web 應用程式、REST API、SDK、CLI 或主控台進行存取。
OCI Speech 使用自動語音辨識 (ASR) 技術，以文法方式更正視訊和音訊檔案的轉錄。OCI Speech 處理低傳真度的錄音，並轉錄會議或客服中心電話等充滿挑戰的錄音。您可以使用 Speech 將儲存在 OCI Object Storage 或資料資產中的檔案轉換為準確、標準化、時戳和利潤篩選文字。此功能可供下游服務使用。例如，您可以使用語言和預測等其他服務來分析通話情感、廣告目標內容、編製媒體資料夾索引，以及使用 Oracle Cloud Infrastructure Lakehouse 建立媒體搜尋引擎。
- OCI 生成式 AI 代理程式
OCI Generative AI 專員是一項完全託管的服務，將大型語言模型 (LLM) 的強大功能與智慧型擷取系統結合，旨在透過搜尋您的知識庫來建立與情境相關的答案。
OCI Generative AI 專員支援數種方式來將您的資料上線，讓您和您的客戶能夠使用交談介面或 API 與資料互動。
- 支援數種資料上線方法和互動管道 (交談介面或 API)。
- 透過搜尋您的知識庫來建立與情境相關的答案。
- 提供每個答案的來源屬性。
- 提供混合式搜尋功能 (彈性和語意)。包含輸入與輸出的內容審核選項。
- 支援多輪流對話，使用者可以在其中詢問後續問題，並接收考量先前問題與答案內容的答案。
- 可解譯 PDF 中雙軸圖表和參考表格的資料，無需視覺元素的明確描述。
- PDF 文件中的所有超連結都會擷取並顯示為線上交談回應中的超連結。
- Oracle Visual Builder
Oracle Visual Builder 是在開發和託管平台上的直觀式開發體驗，可讓您建立充滿吸引力的回應式應用程式。它著重於易用性和視覺化開發方法，可讓您輕鬆建立託管在 Oracle 安全可擴展雲端平台中的應用程式。
視覺化開發體驗
Oracle Visual Builder 提供簡單但功能強大的視覺化開發工具，可建立回應式應用程式，完全不需要安裝任何其他軟體。這組豐富的視覺工具可藉由拖放 UI 元件和自訂屬性來定義行為，協助您快速設計應用程式。雖然這些工具本身借助低程式碼開發人員，但經驗豐富的開發人員可以輕鬆存取基礎原始程式碼，甚至使用標準 HTML5、JavaScript 和 CSS 技術來擴充程式碼，以滿足複雜的需求。
輕鬆存取資料
Oracle Visual Builder 可透過 REST 型服務輕鬆存取應用程式的資料。因此，您可以建立可重複使用的業務物件來實作應用程式的業務邏輯並儲存其資料，然後透過 Oracle Visual Builder 為您產生的 REST 端點管理這些資料，或者您可以在 REST 服務的整合目錄中選擇 Oracle SaaS 或 Oracle Integration 應用程式公開的資料物件。只需輕按幾下滑鼠，即可從任何外部 REST 服務存取資料。
開發和託管平台
Oracle Visual Builder 是一個完整的開發工具和託管平台，這意味著您可以直接從開發到測試和最終發布，管理應用程式的生命週期。版本管理和資料移轉內建於應用程式的生命週期中，可讓您輕鬆暫存和發布應用程式，並在每個階段管理其資料。