導入適用於企業 AI 模型和服務的 API 管理平台
在私人和公共 AI 模型上建置應用程式時，您的組織很有可能實施了 AI，因此很可能是因為許多組織都努力實施企業級安全性，並將流程標準化。
使用 AI 模型可能會對來自所有產業的組織造成常見的挑戰，包括：
- 整合複雜性：管理應用程式與 AI 模型之間的點對點整合通常會在組織想要採用不同模型時產生複雜性。
- 安全標準化：在不同的 AI 模型實行一致的安全措施是一項重大挑戰。
- 存取控制：根據使用者角色與職責，對 AI 模型 API 強制實行以角色為基礎的存取控制可能難以有效管理。
- 貨幣化：如果外部用戶可使用模型，則建置缺少貨幣化的 AI 模型。
- Consumption and Resource Management ：為訂閱者設定配額以限制 AI 模型的使用。
- 節流：節流和速率限制 AI 模型 API。
- 監控：監控和追蹤功能，以視覺化方式呈現 AI 模型 API 的使用情況。
此架構概述了解決方案，協助客戶運用 Oracle Cloud Infrastructure API Gateway 和其他 OCI 服務的功能來解決 AI 解決方案中的這些挑戰。
架構
此架構使用 OCI API Gateway 作為中介軟體來管理 AI 模型與其他 OCI 服務之間的點對點整合。此架構適用於需要企業層級安全流程和流程標準化的 AI 使用案例。
標準化安全性
許多基礎 AI 模型和其他 AI 服務都使用不同的認證機制，例如 OAuth 2.0、Open ID、JWT 等等。OCI API Gateway 可協助將 AI 模型的 API 驗證標準化。
虛擬化或抽象層
由於大多數現代企業組織都利用來自不同供應商的最新 AI 模型，專門用於特定網域，因此直接從應用程式使用 AI 模型可以建立點對點整合複雜性。OCI API Gateway 作為服務虛擬化層，可以輕鬆從一個 AI 模型切換到另一個 AI 模型。
OCI API Gateway 和 OCI Vault 可以從消費者抽象 AI 模型 API 憑證，而 AI 模型憑證則儲存在 OCI Vault 中。用戶使用為該用戶建立的機密應用程式所產生的用戶端憑證來存取 OCI API Gateway 端點。OCI API Gateway 會根據從屬端證明資料認證使用者，而成功認證時， OCI API Gateway 會從 OCI Vault 擷取模型 API 證明資料來呼叫後端模型 API 端點。
存取控制與治理
OCI API 閘道可以對 AI 模型 API 強制執行精細的存取控制，以根據用戶的網域、角色或責任授予 API 存取權。OCI API 閘道部署可根據網域封裝 API，讓用戶能夠要求訂閱特定部署。OCI API Gateway 的速率限制和節流功能有助於控制 AI 模型的使用狀況和效能。
成本控制
您可以利用用量計畫和配額，有效地控制 AI 模型使用成本。使用方案可讓您建立不同的計畫層級，以根據優先順序與業務值來配置給消費者。對於提供第三方 AI 服務給團隊的公司，使用計畫可確保管理和監控員工使用狀況，以防止產生大量成本。
具備 Redis 的 OCI 快取可以與 OCI API Gateway 整合，透過快取頻繁的要求並卸載模型的推論要求，以降低成本並提升 AI 模型 API 的效能。
日誌記錄和監控
OCI API Gateway 的立即可用報告儀表板可協助企業深入瞭解 AI 模型使用狀況、效能，以及識別節省成本的機會。
您可以將日誌串流至 Oracle Cloud Infrastructure Logging Analytics 以進行疑難排解、監控 AI 模型使用行為、產生自訂報表以監控資源使用情況，以及針對組織未來投資組合做出明智的決策。如果組織想要將微調的 AI 模型貨幣化，可將日誌串流處理到計費系統。
OCI API 閘道可以向 OCI 監控發出度量，用量計畫度量可用來監控消費最高的客戶和其他維度，以疑難排解部署和 OCI API 閘道問題。
網路
您可以從公用網際網路和專用網路連線存取 OCI API 閘道。
網際網路的使用者和應用程式可以在網際網路閘道前面的公用子網路中存取 OCI API 閘道。
內部部署的使用者和應用程式可以透過 OCI FastConnect 或 VPN 在私有子網路中存取 OCI API Gateway 。Microsoft Azure 或 Google Cloud 上的應用程式可以透過對應的 Oracle Interconnect for Microsoft Azure 或 Oracle Interconnect for Google Cloud，存取專用子網路中的 OCI API Gateway 。
下圖說明架構。
下圖說明 OCI API Gateway 、AI 模型及其他 Oracle 服務之間的工作流程：
工作流程如下：
- 來自網際網路的 AI 用戶透過 API 閘道連線至 AI 服務 API。消費者包括使用 Oracle SaaS 內任何 UI 技術 (例如 Oracle Visual Builder 、Oracle Analytics Cloud 、Embedded Visual Builder Cloud Service 應用程式) 建立的 Web 和行動應用程式。內部部署消費者可以在 OCI 與內部部署資料中心之間建立高效能安全通道，讓內部部署消費者無需使用網際網路即可存取 AI 模型。
- OCI API Gateway 已與 OCI Identity and Access Management 整合，以通過 OAuth 2.0 和基本驗證實現標準化安全性強制執行。
- OCI Vault 會安全地儲存 AI 模型 API 憑證，並且可以從用戶中抽象化後端 API 憑證。
- 將 OCI API Gateway 記錄串流至 OCI Logging ，以保留記錄較長的時間，並透過記錄分析建立報告以產生洞察力。
- 與 OCI Cache with Redis 整合，透過快取經常性的要求，協助降低成本及提升 AI 模型 API 效能。
- OCI Functions 可作為不含 REST 端點之 AI 模型的包裝函式。OCI Functions 支援從不同語言 (例如 Python、Java、Node、Go、Ruby 和 C#) 實作。
- 如果 AI 服務公開 REST 端點，請直接將 OCI API Gateway 與 AI 服務整合。
- Oracle Integration Cloud Service 可以在將推論輸出傳回用戶之前，實行複雜的轉換或實行協調邏輯。
架構具有下列元件：
- 地區
Oracle Cloud Infrastructure 區域是一個本地化地理區域，其中包含一或多個稱為可用性網域的資料中心。區域獨立於其他區域，而廣大的距離可以將其分開 (跨國家或大陸)。
- 可用性網域
可用性網域是區域內的獨立獨立資料中心。每個可用性網域中的實體資源會與其他可用性網域中的資源隔離，以提供容錯能力。可用性網域不會共用基礎架構 (例如電源或冷卻系統) 或內部可用性網域網路。因此，一個可用性網域的故障不應影響該區域中的其他可用性網域。
- 容錯域
容錯網域是可用性網域內的一組硬體和基礎架構。每個可用性網域都有三個具有獨立電源和硬體的容錯域。當您將資源分散到多個容錯域時，您的應用程式可以容忍容錯域內的實體伺服器故障、系統維護和電源故障。
- 虛擬雲端網路 (VCN) 和子網路
VCN 是您在 Oracle Cloud Infrastructure 區域中設定的可自訂軟體定義網路。與傳統的資料中心網路一樣，VCN 可讓您控制網路環境。VCN 可以有多個非重疊的 CIDR 區塊，您可以在建立 VCN 之後變更。您可以將 VCN 區隔成子網路，此子網路可以設定區域範圍或可用性網域。每個子網路都是由連續的位址範圍組成，這些位址不會與 VCN 中的其他子網路重疊。您可以在建立子網路後變更其大小。子網路可以是公用或專用。
- API 閘道
Oracle API Gateway 可讓您發布內含可從您網路存取之專用端點的 API，並視需要向公用網際網路公開。端點支援 API 驗證、要求和回應轉換、CORS、驗證和授權以及要求限制。
- 功能
Oracle Cloud Infrastructure Functions 是一個完全託管的多租戶、高度可擴充、隨選、Functions-as-a-Service (FaaS) 平台。由 Fn Project 開放原始碼引擎提供技術支援。Functions 可讓您部署程式碼，並直接呼叫程式碼或觸發程式碼以回應事件。Oracle Functions 使用 Oracle Cloud Infrastructure Registry 中代管的 Docker 容器。
- 使用 Redis 的快取
Oracle Cloud Infrastructure Cache with Redis 是一個全面的託管記憶體快取解決方案，建立在開源 Redis 的基礎上。此完全受管理的服務可加速資料讀取和寫入，大幅提升應用程式回應時間和資料庫效能，以改善客戶體驗。
- 整合
Oracle Integration 是一項完全託管的服務，可讓您整合應用程式、自動化流程、深入瞭解業務流程，以及建立視覺化應用程式。
- Vault
Oracle Cloud Infrastructure Vault 可讓您集中管理保護資料的加密金鑰，以及用來保護雲端資源存取的秘密證明資料。您可以使用 Vault 服務來建立和管理 Vault、金鑰和加密密碼。
- 記錄日誌日誌記錄是一項可高度擴展且完全託管的服務，可讓您從雲端中的資源存取下列類型的日誌：
- 稽核記錄：與「稽核」服務所發出之事件相關的記錄。
- 服務日誌：由個別服務 (例如 API 閘道、事件、函數、負載平衡、物件儲存以及 VCN 流量日誌) 發出的日誌。
- 自訂日誌：包含自訂應用程式、其他雲端提供者或內部部署環境診斷資訊的日誌。
- 監督
Oracle Cloud Infrastructure Monitoring 服務使用指標主動和被動監控您的雲端資源，以監控資源和警報，並在這些指標符合警報指定的觸發條件時通知您。
- Identity and Access Management (IAM)
Oracle Cloud Infrastructure Identity and Access Management (IAM) 是 Oracle Cloud Infrastructure (OCI) 和 Oracle Cloud Applications 的存取控制層。IAM API 和使用者介面可讓您管理識別網域和識別網域內的資源。每個 OCI IAM 識別網域都代表獨立的識別與存取管理解決方案，或代表不同的使用者群體。
- 原則
Oracle Cloud Infrastructure Identity and Access Management 原則會指定誰可以存取哪些資源及存取方式。存取權是在群組和區間層級授予，這表示您可以撰寫原則，為群組提供特定區間或租用戶的特定存取類型。
- 使用 Redis 的快取
Oracle Cloud Infrastructure Cache with Redis 是一個全面的託管記憶體快取解決方案，建立在開源 Redis 的基礎上。此完全受管理的服務可加速資料讀取和寫入，大幅提升應用程式回應時間和資料庫效能，以改善客戶體驗。
- Vision
Oracle Cloud Infrastructure Vision 是一項 AI 服務，可大規模執行深度學習型映像檔分析。藉由立即可用的預建模型，開發人員可以輕鬆地在應用程式中建立影像辨識和文字辨識，而無需具備機器學習 (ML) 專長。
- 一般 AI
Oracle Cloud Infrastructure Generative AI 是一個完全託管的 OCI 服務，提供一組最先進的可自訂大型語言模型 (LLM)，其中涵蓋廣泛的文字產生、摘要、語意搜尋等使用案例。您可以使用測試區試用立即可用的預先訓練模型，或者根據自己在專用 AI 叢集上的資料建立及代管經過微調的自訂模型。
- 文件分析
Oracle Cloud Infrastructure 文件理解是一項 AI 服務，可大規模執行深度學習型文件分析。透過立即可用的預建模型，開發人員可以輕鬆地將智慧文件處理構建到應用程式中，而無需機器學習 (ML) 專長。
- 數位助理
Oracle Digital Assistant 是一個可供您為使用者建立及部署數位助理的平台。透過 Oracle Digital Assistant，您可以透過文字、聊天和語音介面，為業務應用程式建立 AI 驅動的介面 (或聊天機器人)。每個數位助理都會有一或多個專業技能集合，以協助使用者完成自然語言對話的各種任務。例如，個人數位助理可能具備著重於特定類型任務的技能，例如追蹤存貨、提交工時卡及建立費用報表。
- Oracle Database 23ai
Oracle Database 23ai 將 AI 的強大功能帶入企業資料和應用程式中。Oracle AI 向量搜尋可讓儲存在關鍵任務資料庫中的文件、影像和關聯式資料，輕鬆根據其概念內容進行搜尋。
- Oracle Autonomous Database Select AI
Oracle Autonomous Database Select AI 讓 Oracle Autonomous Database 使用具有大型語言模型 (LLM) 的生成式 AI，將使用者的輸入轉換為 Oracle SQL。Oracle Autonomous Database Select AI 會處理自然語言提示、以中繼資料補充提示，然後產生和執行 SQL 查詢。
- Oracle HeatWave 世代 AI
使用向量儲存區的 Oracle HeatWave Gen AI 可用於檢索增強生成 (RAG) 實作，以改善 AI 模型的準確性和效能。
注意事項
導入 AI 模型 API 管理的 OCI API 閘道時，請考慮下列事項：
- 安全
AI 模型使用大量的企業資料。治理團隊應透過強制執行遮罩、加密和存取控制來確保安全措施處理資料。
- AI 模型使用條款和授權
第三方 AI 模型隨附自己的授權和協議條款。AI 治理團隊應瞭解法律使用條款，以確保透過 OCI API Gateway 公開模型時符合規範。