關於使用企業 AI 功能部署 TEN 框架
人工對 AI 語音對話採用範圍最大的兩個障礙是延遲 (或延遲) 和無線最後一英里的挑戰，例如快速變化的頻寬和高封包遺失。Agora 的軟體定義即時網路 (SD-RTN) 是網際網路的即時覆疊網路，採用智慧型路由和上一英里最佳化，確保最高的品質和最低的延遲。將 Agora 的即時網路基礎架構應用到語音驅動的對話式 AI，使人類能夠與人工智能互動的方式與人工智能相同。
TEN 架構提供即時網路基礎架構。TEN Agent 是使用 Apache 2.0 開放原始碼授權，而 TEN Framework 則使用混合式開放原始碼授權。Agora 是 TEN 的主要支持者，提供以框架建立的對話式 AI 服務。OCI 能夠提供運算能力，而 Oracle Autonomous Database Select AI 支援 RAG 功能，可讓您使用 LLM 取得洞察力，或使用自然語言提示根據您的私人資料產生創新內容。
架構
此架構顯示如何建立多模式語音代理程式模型，該模型使用 Oracle 和 Agora 的 AI 技術來進行 AI 基礎架構。
下圖為串聯式多模式 AI 語音代理程式模型的範例：
multimodal-voice-agents.png 圖解描述
該模型顯示大型語言模型 (LLM) 如何處理音訊和視訊，並包含下列元件：
- 部署在 OCI VM 上的 LLM
- 語音至文字 (STT)
- 文字轉語音 (TTS)
AI 基礎架構包括專為支援高要求的人工智慧任務運算需求而設計的底層硬體和軟體系統。您可以在單一 OCI 區域中部署 AI 基礎架構，或部署多雲端架構，將處理能力分散在多個地理分散的資料中心，以彈性部署應用程式和資料。
下圖為安裝在 VM 上的 TEN (Transformative Extensions Network) 代理程式的單一 OCI 區域。
oci-ten-agent-deploy.png 圖解描述
oci-ten-agent-deploy-oracle.zip
為了加快大型資料集的處理速度並提高擴展性，請部署多雲端基礎架構，以跨多個運算節點執行 AI 演算法。您可以在 OCI 區域或多雲端架構中使用分散式 AI 架構。分散式雲端運用多雲端的強大功能，將大型 AI 作業分割成較小的部分，並同時跨多個節點執行這些作業。它還允許在大量資料集上更快速地訓練複雜的 AI 模型。不過，這在管理不同節點的資料一致性和協調運算方面面臨著各種挑戰。
下列架構使用 Google Cloud 和 OCI 的多雲端解決方案，其中 Google Kubernetes Engine (GKE) 會協調整體訓練和推論流程，同時可視需要將運算密集部分卸載至 OCI AI 基礎架構。
oci-google-multiregion.png 圖解描述
oci-google-multiregion-oracle.zip
架構支援下列元件：
- 地區
Oracle Cloud Infrastructure 區域是一個本地化地理區域，其中包含一或多個稱為可用性網域的資料中心。區域獨立於其他區域，而廣大的距離可以將其分開 (跨國家或大陸)。
- 可用性網域
可用性網域是區域內的獨立獨立資料中心。每個可用性網域中的實體資源會與其他可用性網域中的資源隔離，以提供容錯能力。可用性網域不會共用基礎架構 (例如電源或冷卻系統) 或內部可用性網域網路。因此，一個可用性網域的故障不應影響該區域中的其他可用性網域。
- 虛擬雲端網路 (VCN) 和子網路
VCN 是您在 Oracle Cloud Infrastructure 區域中設定的可自訂軟體定義網路。與傳統的資料中心網路一樣，VCN 可讓您控制網路環境。VCN 可以有多個非重疊的 CIDR 區塊，您可以在建立 VCN 之後變更。您可以將 VCN 區隔成子網路，此子網路可以設定區域範圍或可用性網域。每個子網路都是由連續的位址範圍組成，這些位址不會與 VCN 中的其他子網路重疊。您可以在建立子網路後變更其大小。子網路可以是公用或專用。
- 容錯域
容錯網域是可用性網域內的一組硬體和基礎架構。每個可用性網域都有三個具有獨立電源和硬體的容錯域。當您將資源分散到多個容錯域時，您的應用程式可以容忍容錯域內的實體伺服器故障、系統維護和電源故障。
- 負載平衡器
Oracle Cloud Infrastructure Load Balancing 可從單一進入點自動分配流量至多部伺服器。
- 自治式資料庫
Oracle Autonomous Database 是一個完全受管理的預先設定資料庫環境，可用於交易處理和資料倉儲工作負載。您不需要設定或管理任何硬體，也不需要安裝任何軟體。Oracle Cloud Infrastructure 可處理資料庫的建立、備份、修補、升級和調校。
- 識別與存取管理
Oracle Cloud Infrastructure Identity and Access Management (IAM) 提供 Oracle Cloud Infrastructure (OCI) 和 Oracle Cloud Applications 的使用者存取控制。IAM API 和使用者介面可讓您管理識別網域及其中的資源。每個 OCI IAM 識別網域都代表獨立的識別與存取管理解決方案，或代表不同的使用者群體。
- 原則
Oracle Cloud Infrastructure Identity and Access Management 原則會指定誰可以存取哪些資源及存取方式。存取權是在群組和區間層級授予，這表示您可以撰寫原則，為群組提供特定區間或租用戶的特定存取類型。
- 稽核
Oracle Cloud Infrastructure Audit 服務會自動將對所有支援的 Oracle Cloud Infrastructure 公用應用程式設計介面 (API) 端點進行的呼叫記錄為日誌事件。所有 OCI 服務都支援由 Oracle Cloud Infrastructure Audit 記錄。
- 記錄日誌Oracle Cloud Infrastructure Logging 是一項可高度擴展且完全託管的服務，可從雲端資源存取下列類型的日誌：
- 稽核記錄：與 OCI Audit 所產生事件相關的記錄。
- 服務日誌：由個別服務 (例如 OCI API 閘道、 OCI 事件、 OCI 函數、 OCI 負載平衡、 OCI 物件儲存及 VCN 流量日誌) 發布的日誌。
- 自訂日誌：包含自訂應用程式、其他雲端提供者或內部部署環境診斷資訊的日誌。
- 物件儲存
Oracle Cloud Infrastructure Object Storage 可讓您快速存取任何內容類型的大量結構化和非結構化資料，包括資料庫備份、分析資料，以及影像和影片等豐富內容。您可以安全地儲存資料，然後直接從網際網路或雲端平台內擷取資料。您可以擴展儲存體，而不會發生任何效能或服務可靠性的降低問題。針對您需要快速、立即和經常存取的「熱」儲存，使用標準儲存。針對長時間保留且極少或極少存取的「冷」儲存，使用封存儲存。
- 網際網路閘道
網際網路網關允許 VCN 中公共子網路與公共網際網路之間的流量。
- 服務閘道
服務閘道可讓您從 VCN 存取其他服務，例如 Oracle Cloud Infrastructure Object Storage 。從 VCN 到 Oracle 服務的流量會透過 Oracle 網路結構傳送，不會周遊網際網路。
- Web 應用程式防火牆 (WAF)
Oracle Cloud Infrastructure Web Application Firewall (WAF) 是符合支付卡產業 (PCI) 規範、以區域為基礎和邊緣強制執行服務，可附加至強制點，例如負載平衡器或 Web 應用程式網域名稱。WAF 可保護應用程式免於惡意和非必要網際網路流量的危害。WAF 可以保護任何連結網際網路的端點，為客戶的所有應用系統強制實施一致的規則。
- FastConnect
Oracle Cloud Infrastructure FastConnect 會在您的資料中心與 Oracle Cloud Infrastructure 之間建立專屬的專用連線。與網際網路型連線相比，FastConnect 提供更高的頻寬選項和更可靠的網路體驗。
下列協力廠商元件：
- TEN 架構
TEN (Transformative Extensions Network) 是一個開放原始碼的架構，可讓開發人員快速建立即時的多模代理程式 (語音、視訊、資料串流、影像與文字)，讓開發人員輕鬆地實驗、整合大型語言模型，以及建立可重複使用的擴充功能。
- TEN 代理
TEN 代理程式安裝在虛擬機器上。您可以使用 TEN 建立支援使用案例的專員，例如語音聊天機器人、AI 產生的會議記錄、語言導師、同時翻譯人員、虛擬夥伴、諮詢等等。開發人員可以利用各種 AI 服務和擴充功能，擁有建立、測試和推出新一代 AI 代理程式的完整彈性，這些代理程式可以即時思考、聆聽、查看和互動。
- Llama 3.2
Llama 3.2 是 Meta AI Llama 大型語言模型 (LLM) 的輕量型版本。Llama 3.2 是一種多模式自動回歸語言模型，可用於需要影像辨識和語言處理的工作。
- 深度圖
語音轉文字 (STT) 元件。
- Fishaudio
文字轉語音 (TTS) 元件。
建議
- VCN
建立 VCN 時，請根據您計畫附加到 VCN 子網路的資源數量，決定所需的 CIDR 區塊數量和每個區塊的大小。請使用標準專用 IP 位址空間內的 CIDR 區塊。
選取未與您要設定專用連線的任何其他網路重疊的 CIDR 區塊 (在 Oracle Cloud Infrastructure 中、您的內部部署資料中心或其他雲端提供者)。
建立 VCN 之後，您可以變更、新增及移除其 CIDR 區塊。
當您設計子網路時，請考慮流量和安全需求。將特定層或角色中的所有資源附加至相同的子網路，作為安全界限。
- 安全清單
使用安全清單定義適用於整個子網路的傳入和傳出規則。
- 網路安全群組 (NSG)
您可以使用 NSG 定義一組適用於特定 VNIC 的傳入和傳出規則。建議您使用 NSG 而非安全列表，因為 NSG 可讓您將 VCN 的子網路架構和應用程式的安全需求分開。
- 雲端保全
複製及自訂 Oracle 提供的預設處方，以建立自訂偵測器和回應器處方。這些處方可讓您指定產生警告的安全性違規類型，以及允許對其執行哪些動作。例如，您可以偵測可見性設為公用物件儲存的儲存桶。
在租用戶層級套用 Cloud Guard，以涵蓋最廣泛的範圍，並降低維護多個組態的管理負擔。
您也可以使用「受管理清單」功能，將特定組態套用至偵測器。
- 安全區域
對於需要最高安全性資源，Oracle 建議您使用安全區域。安全區域是與以最佳做法為基礎之 Oracle 定義的安全原則處方關聯的區間。例如，安全區域中的資源不得從公用網際網路存取，且必須使用客戶管理的金鑰來加密。當您在安全區域中建立及更新資源時，Oracle Cloud Infrastructure 會根據安全區域處方中的原則驗證作業，並拒絕違反任何原則的作業。
- 負載平衡器頻寬
建立負載平衡器時，您可以選取提供固定頻寬的預先定義資源配置，或指定自訂 (彈性) 資源配置，以便在其中設定頻寬範圍，並讓服務根據流量模式自動調整頻寬。只要採用任一方式，您就可以在建立負載平衡器之後隨時變更資源配置。
注意事項
實作多模式 TEN 架構時，請考慮下列事項：
- 網路連線
需要強大的網路連線能力，才能有效管理分散式運算資源。
- GPU
AI 基礎架構包括具有特殊硬體 (例如 GPU) 的高效能運算叢集，以加速 AI 運算。它通常利用分散式儲存系統有效率地處理大型資料集，並且可能涉及專門用於訓練和部署 AI 模型的 AI 架構和程式庫。使用 OCI Supercluster 最多可擴展至 32,768 個 GPU。
- Oracle Database 23ai
運用 Oracle Database 23ai 技術，並透過 AI 輔助，提供下列優點：
- 降低幻覺的風險：運用 RAG 和 AI 向量搜尋，在將 LLM 與企業資料搭配使用時，提供更精確的自然語言問題回應。
- Oracle Autonomous Database NVIDIA GPU 支援：存取 NVIDIA GPU 以加速特定 AI 資料作業的效能，無須擔心佈建或管理 GPU 伺服器。您可以利用 Oracle Machine Learning Notebooks，使用支援 GPU 的 Python 套裝程式處理大量資源的工作負載，例如使用變壓器模型產生向量內嵌，以及建置深度學習模型。
- 經紀人對 LLM 的支援：透過從 Oracle Autonomous Database 到其他 LLM 的內建整合，協助組織從生成式 AI 獲得更多價值：Google Gemini、Anthropic Claude 及 Hugging Face。Autonomous Database 在七個提供者之間整合了 35 個不同的 LLM，因此您可以廣泛選擇建置 GenDev 應用程式。
- Data Studio AI 增強功能：使用自然語言準備及載入資料，以及使用視覺化的「拖放」工具建立內含文字和影像向量內嵌的 AI 管線。
- Graph Studio 增強功能：使用內建自助服務工具建置不含程式碼的 Operational Property Graph 模型，這是 Oracle Database 23ai 中的新功能。
- 適用於開發人員的 Autonomous Database：以平時費率存取 Oracle Autonomous Database 提供的一組豐富功能和工具。這可為開發使用案例提供較低且可預測的進入點，並具備簡單的生產部署升級路徑。
- 多重雲
OCI 在多雲端架構中工作的能力提供以下優點：
- 可讓您跨各種位置 (包括內部部署、邊緣裝置及公有雲) 部署應用程式和資料。
- 根據使用者所在位置，提供改進的效能、彈性和資料區域性。
- OCI 是一個超大規模雲端服務供應商，可在任何地方提供超過 150 項雲端服務。或者，從 AWS、Microsoft Azure 和 Google Cloud 合作夥伴區域取得 Oracle Database 服務。