使用 Oracle AI Data Platform 和 OCI Data Science 導入可擴展的機器學習工作流程
此解決方案結合了兩個平台的優勢：
- AI 資料平台：提供集中管理的資料管理、大規模 Spark 處理、工作流程協調以及冥想資料架構。
- Data Science ：為筆記型電腦和工作型機器學習開發、模型部署和模型服務提供彈性的程式實際執行環境和基礎架構，用於生產工作負載。
此架構旨在支援集中式企業資料平台、大規模資料處理、中大型機器學習工作負載，以及資料工程師與資料科學家之間的協同合作。
典型的使用案例包括：
- 零售預測：根據歷史和新擷取的資料產生每日需求預測。
- 最佳化保險續約：最佳化保險續約價格以最大化利潤，同時滿足業務限制。每週都會產生一批新的續約優惠。
- Telecom 日誌事件監控和差異偵測：分析大規模作業事件串流以偵測資料漂移、識別異常，以及產生每日報表和洞察。
架構
此圖說明此參照架構。
acidp-ml-workloads-architecture.png 圖解描述
aidp-ml-workload-arch Architecture-oracle.zip#GUID-73867B97-5BE4-434A-85C4-097DB840B323
此架構分為四個主要網域。
AI 資料平台 (AIDP)
AI Data Platform 負責資料擷取、轉換、治理和準備。
- 資料整合：使用 Apache Kafka 的各種工具 (例如 OCI Data Integration 和 OCI Streaming)，從各種企業來源擷取資料
- AI 湖倉一體：可擴展的動態儲存
- Spark 工作流程：使用中介架構搭配銅級、銀級和金級層進行可擴展的資料處理與轉換
- 專員流程：自然語言資料互動
這些資源主要由資料工程師建立和管理。
資料科學平台
資料科學管理機器學習生命週期，並在研發和生產階段使用不同的資源。
研發階段包括：
- 記事本階段作業：ML 實驗與模型訓練
- 模型目錄：模型版本控制與模型管理
- 模型部署：可 sclalable 模型服務部署
生產階段包括可重複批次推論管和生產自動化的排定工作自動化
OCI 監控
OCI Monitoring 可集中檢視兩個平台的營運可見性，以監控、視覺化和警示與資料漂移和模型漂移有關。OCI Monitoring 有助於確保操作可靠性和生產就緒。
平台互動
資料科學平台與 AI 資料平台之間的互動主要用於以下目的：
- 資料科學平台會擷取 AI 資料平台管理的資料，以進行模型訓練 (歷史資料) 和生產自動化 (需要評分的新案例)。
- 資料科學平台透過為新處理的案例新增預測分數來強化資料。
用於訓練和生產自動化的資料層會因資料工程師定義的綱要和架構而異。在許多情況下，資料源自經過策劃的「銀」層，但也可能來自「銅」或「金」層，或來自多個層的組合。
同樣地，包含預測分數的強化資料通常會寫入黃金層，但也可能儲存在其他資料層中，視應用程式的需求和資料架構而定。
根據特定使用案例和資料架構，用於資料漂移偵測的資料可能源自銅級、銀級或金級層。
架構元件
- Oracle AI Data Platform
Oracle AI Data Platform 是一個統一的平台，可簡化跨資料資產的資料編目、準備和分析。它將資料、AI、分析和治理整合在統一的使用者體驗中，使您能夠建置安全、可擴展的 AI 應用程式。Oracle AI Data Platform 整合了 Autonomous AI Lakehouse 、Oracle Analytics Cloud 、 OCI Object Storage 、 OCI Generative AI 和 Fusion Data Intelligence 。
在此平台中，Oracle AI Data Platform Workbench 提供專屬的開發環境，供您設計、協調及部署資料管線和模型、設定 RBAC 原則，以及使用 Spark 等開放原始碼技術來準備、分析及強化資料。
- OCI 資料整合
Oracle Cloud Infrastructure Data Integration 是完全受管理的無伺服器服務，可用於設計及執行資料管線。它可以無縫擷取、轉換資料，並將其載入 OCI 目標中，例如 Autonomous AI Lakehouse 和 OCI Object Storage 。使用者可以透過可自動擴展執行環境的無程式碼直觀式介面來建置整合流程。它同時支援 ETL 與 Spark 型處理，以及使用 SQL Pushdown 提供效能與效率的 ELT。此服務也提供資料準備工具，並透過以規則為基礎的處理防止綱要漂移。
- 資料科學
Oracle Cloud Infrastructure Data Science 是一個完全受管理的無伺服器平台，資料科學團隊可用來在 OCI 上建置、訓練和管理機器學習 (ML) 模型。它可以輕鬆與其他 OCI 服務 (例如 Oracle Autonomous AI Lakehouse 、Oracle Cloud Infrastructure Object Storage 等) 整合。您可以建立和評估高品質的機器學習模型，透過將企業信任的資料快速運作來提高業務彈性，並藉由更輕鬆地部署 ML 模型來支援資料導向的業務目標。
- OCI Identity and Access Management
Oracle Cloud Infrastructure Identity and Access Management (IAM) 為 OCI 和 Oracle Cloud Applications 提供使用者存取控制。IAM API 和使用者介面可讓您管理識別網域及其中的資源。每個 OCI IAM 識別網域都代表獨立識別與存取管理解決方案，或代表不同使用者群體。
- OCI 監控
Oracle Cloud Infrastructure Monitoring 主動並被動監控您的雲端資源，並使用警訊在指標符合指定的觸發器時通知您。
- OCI Object Storage
OCI Object Storage 可讓您存取任何內容類型的大量結構化和非結構化資料，包括資料庫備份、分析資料，以及豐富的內容 (例如影像和影片)。您可以直接從應用程式或雲端平台內安全地儲存資料。您可以擴展儲存，而不會發生效能或服務可靠性的任何降低情況。
針對需要快速、立即及頻繁存取的「熱」儲存使用標準儲存。將封存儲存用於保留一段很長的時間和很少或很少存取的「冷」儲存。
- OCI 地區
OCI 區域是本地化的地理區域，包含一或多個代管可用性網域的資料中心。區域獨立於其他地區，且遠距離能夠分離它們 (跨國家，甚至是大陸)。
- 服務閘道
服務閘道可讓您從 VCN 存取其他服務，例如 Oracle Cloud Infrastructure Object Storage 。從 VCN 到 Oracle 服務的流量會透過 Oracle 網路結構傳送，而不會周遊網際網路。
- OCI 串流處理
Oracle Cloud Infrastructure Streaming 提供完全受管理、可擴展且持久的儲存解決方案，讓您即時擷取連續的大量資料串流。您可以使用 OCI Streaming 來擷取大量資料，例如應用程式日誌、作業遙測、Web 點擊流資料；或用於在發布 / 訂閱訊息模型中持續並循序產生和處理資料的其他使用案例。
- OCI 虛擬雲端網路與子網路
虛擬雲端網路 (VCN) 是您在 OCI 區域中設定的可自訂軟體定義網路。與傳統資料中心網路一樣，VCN 可讓您控制網路環境。VCN 可以有多個非重疊的無類別網域間路由 (CIDR) 區塊，您可以在建立 VCN 之後變更這些區塊。您可以將 VCN 區隔成子網路，而子網路的作用領域可以調整到某個區域或可用性網域。每個子網路都是由連續的位址範圍所組成，這些位址不會與 VCN 中的其他子網路重疊。您可以在建立子網路後變更其大小。子網路可以是公用網路或專用網路。
推薦
您的需求可能不同。
- 使用資料科學工作和排程，自動執行可重複的推論管線。
- 使用資料科學部署和服務工具來支援擴展、營運監控和再現性。
- 監控生產機器學習工作負載，以實現營運狀況、資料漂移和模型漂移。
- 在資料工程和資料科學團隊之間建立明確的營運所有權。
考慮事項
- 在兩個平台上實施 OCI Identity and Access Management 和以角色為基礎的存取控制 (RBAC) 原則。
- 監控生產工作負載，以實現營運狀況、資料漂移和模型漂移。
- 使用可擴展的治理儲存裝置來進行長期資料保留和分析。