設計零售庫存分析的資料湖
雜貨客戶列出缺貨商品,作為不良購物經驗的重要原因。超過產品可用性,消費者亦預期其店內時間為簡短且有效率。現在,除了零售商之外,零售商還必須提供緊密的購物體驗與讓發生的關鍵元素是資料。
零售商想要擷取豐富的資料並轉至雲端大數據解決方案,以聚總及管理即時存貨可見性的資料。在 Oracle Cloud Infrastructure (OCI) 上設計的資料湖可從銷售點、庫存、客戶及作業系統產生的資料擷取、管理及取得洞察力,以瞭解即時庫存管理。
此參照架構介紹在 OCI 上實行成功的資料湖區的平台拓樸、元件總覽以及建議的最佳做法。
- 與商店線上 (Web 或行動裝置) 互動、取貨或交貨,或在商店實際互動的客戶 (無論是透過與商店員工互動或透過自助服務機器)。
- 商店經理若要檢視產品與產品分類的銷售方式,請取得預測洞察力,例如存貨消耗與驅動自動動作,例如自動採購。
- 上層管理:有興趣使用視覺化、報表及 AI 功能進階即時分析。
- 資料科學家使用大數據,成長資料數量與來源數目,需要快速處理和彈性來輕鬆部署模型。
- 低程式碼開發人員使用現有的和新的資料導向應用程式,並將焦點放在簡單且花費在管理安全和作業的可能時間最短。
架構
零售業務的其中一個主要複雜性是系統、資料模型和類型的多重性,以及各種資料網格。這類簡化與合併的安全提示呼叫,OCI 資料湖架構有助於完成。
下圖介紹概念零售商業湖門參考架構。

retail-lakehouse-arch.png 圖解描述
Autonomous Data Warehouse (ADW) 是 OCI 資料湖門架構的其中一個中央片段。它可將資料倉儲的啟動設定、設定、保護、調整、擴展以及備份自動化。其中包括自助服務資料載入、資料轉換、商業模型、自動洞察分析和內建的融合式資料庫功能,可簡化跨多種資料類型和機器學習分析的查詢。對 ADW 進行機器學習,使資料在右側具有演算法的優勢達到最佳效能。ADW 與 OCI Object Storage 密切整合,此處可作為資料湖,作為非結構化資料的無限制和低成本儲存體。
資料科學與機器學習提案可根據季節、行銷活動發生次數、客戶植入特性 (例如年齡群組) 及地點,以及 Oracle Spatial 與圖表提供必要地點支援的智慧型銷售預測等結果。ADW 的 OML 記事本 (以 Apache Zeppelin 為基礎) 可支援這類初步計畫,並可透過 OAC、使用資料科學 (JupyterLab/Python -centric) 存取,而 Oracle APEX 則會成為低程式碼自訂 App 的黃金標準。
客戶與特約商店互動 (如圖表中所見且上述) 經常依賴裁適評估應用程式的不同管道。Oracle Container Engine for Kubernetes 是一個強大的平台,可提供微服務和應用系統的擴展性和額外控制。
數位助理即是現代化的企業 AI 用法範例。在此使用案例中,會根據 lakehouse 資料,使用 AI-driven 數位助理來進行應用程式的交談式介面,以及具有可作用建議的 kiosks。
- 行銷:分析社交媒體、審查及新聞,瞭解您產品的相關客戶與產業專家說明。查看他們不希望執行的動作、他們想要的新功能,以及如何與競爭對手進行比較。
- 客戶支援:依產品與部門分類支援服務單,以便讓服務單更快進入適當的團隊。使用情感分析來識別緊急油漆點並排列擱置中活動的優先順序。
- 人力資源:使用實體辨識來識別重要技能與教育,以自動篩選履歷。使用情感分析和實體辨識來分類員工意見回饋,以識別員工之間最常見的畫面點以及要採取的最佳後續步驟。
透過資料湖,您可以隨時利用來自任何標準化資料、以 Exadata 規模執行內嵌 AI/ML、隨時自動擴大/縮小 (ADW),以及依賴進階安全控制項的資料來大幅降低風險。
- 藉由 Oracle GoldenGate 與 Oracle Data Integration 的協助,Oracle ERP、CRM、POS 及外部平台會將資料與事件傳送至 lakehouse、即時或透過批次處理。
- 在此範例中,Oracle Integration Cloud 扮演從資料湖區傳送資料至 Oracle Procurement 的其他角色,以通知供應商自動下單的採購單。
- ADW 使用查詢加速器快速且流暢地查詢物件儲存資料湖。
- 可擴展的 API 閘道可將資料擴展至 App
- Oracle Analytics Cloud 和 Oracle Data Science 與來自資料湖的服務緊密整合。
- Autonomous Data Warehouse
完全受管理的 Oracle 和自動調整規模資料庫 (包括 Oracle Machine Learning)。資料科學家可以使用資料庫內 Oracle Machine Learning 功能和相關記事本介面來建立、評估、評分及部署機器學習模型。
- 物件儲存
OCI 物件儲存是網際網路的高效能儲存平台,提供可靠且高效益的資料持久性。物件儲存可以儲存不限數量的任何內容類型的非結構化資料,包括分析資料。您可以直接從網際網路或從雲端平台內,安全地儲存或擷取資料。多個管理介面可讓您輕鬆地輕鬆地啟動小型和無縫擴展,而不會發生效能或服務可靠性的任何降低。
物件儲存也可以藉由儲存不常使用的資料,將其與 Oracle Autonomous Data Warehouse 中的混合表格緊密結合,作為資料倉儲的冷儲存層。
- 資料目錄
OCI 資料目錄是針對企業資料提供完全管理的自助服務資料尋找和治理解決方案。「資料目錄」提供單一協作環境來管理技術、商業以及作業中繼資料。
- Oracle Analytics Cloud
Oracle Analytics Cloud 是一項可擴展的安全公有雲服務,可讓業務分析人員以現代化、AI-powered、自助服務分析功能進行資料準備、視覺化、企業報告、增強的分析,以及自然語言處理和產生。透過 Oracle Analytics Cloud,您也可以取得彈性的服務管理功能,包括快速設定、輕鬆擴展與修正,以及自動化的生命週期管理。
Oracle Analytics Cloud 已與 Oracle Machine Learning 整合。此整合可讓分析人員列出資料庫內模型,並在 Oracle Analytics Cloud 分析和儀表板中使用這些模型。OAC Data Visualization 可讓使用者在視覺化資料時,套用預先建立的機器學習模型或自己的訓練模型。
- 數據科學
OCI 資料科學是一個完全受管理的無伺服器平台,可讓資料科學團隊使用 OCI 建置、訓練及管理機器學習 (ML) 模型。它可以輕鬆地與其他 OCI 服務 (例如 Autonomous Data Warehouse、物件儲存等) 整合。您可以建立和評估高品質的機器學習模型、藉由將企業級資料放置到快速工作以提升業務彈性,以及透過輕鬆部署 ML 模型來支援資料導向的業務目標。
資料科學與 OCI 堆疊的其餘部分整合,包括函數、資料流程、Autonomous Data Warehouse 以及物件儲存。Oracle Accelerated Data Science (ADS) 軟體開發人員套件 (SDK) 是一個 Python 程式庫,內含為 OCI 資料科學服務的一部分,其中有許多可自動化或簡化「資料科學」工作流程中步驟的功能和物件,包括連線至資料、瀏覽及視覺化資料、使用 AutoML 訓練模型、評估模型以及說明模型。ADS 也提供簡單的介面,可存取資料科學服務模型目錄和其他 OCI 服務,包括物件儲存體。
- Oracle Data Integration
使用 OCI 資料整合可獲得系統之間的最佳資料流程。它支援宣告和無編碼或低代碼 ETL 和資料管線開發。
- GoldenGate
Oracle Cloud Infrastructure GoldenGate 是一項受管理的服務,提供即時資料網狀組織平台,使用複製功能讓資料保持高可用性並啟用即時分析。客戶不需要配置或管理運算環境,即可設計、執行及監督其資料複製和串流資料處理解決方案。
- API 閘道
API 閘道服務可讓您發布具有專用端點的 API,這些專用端點可從您的網路內存取,若有需要,您可以在公用網際網路公開此 API。端點支援 API 驗證、要求與回應轉換、CORS、認證與授權以及要求限制。
- 虛擬雲端網路
OCI 的第一個步驟是為您的雲端資源設定虛擬雲端網路 (VCN)。VCN 是您在 OCI 區域中設定的軟體定義網路。VCN 可以區隔為子網路,這些子網路可以專屬於某個區域或可用性網域。區域特定子網域與可用性網域特定子網路可以共存於相同的 VCN 中。子網路可以是公用或專用。
- Container Engine for Kubernetes
OCI Container Engine for Kubernetes 是一項完全受管理、可擴展的高可用性服務,可用來將容器化應用系統部署到雲端。您可以指定應用程式所需的運算資源,以及 Container Engine for Kubernetes 在現有租用戶的 Oracle Cloud Infrastructure 上佈建這些資源。Container Engine for Kubernetes 使用 Kubernetes 將跨主機叢集的容器化應用程式部署、擴展及管理自動化。
- 登錄
OCI 登錄是一個 Oracle 管理的登錄檔,可讓您簡化開發至生產環境的工作流程。登錄可讓您輕鬆地儲存、共用和管理開發人工因素,例如 Docker 影像。Oracle Cloud Infrastructure 的高可用性與可擴充性架構可確保您可以可靠地部署和管理應用程式。
建議
- VCN
建立 VCN 時,請根據計畫連附至 VCN 中子網路的資源數目,判斷所需的 CIDR 區塊數目和各個區塊的大小。使用標準專用 IP 位址空間內的 CIDR 區塊。
選取未與想要設定專用連線之任何其他網路 (在 Oracle Cloud Infrastructure 中、您的內部部署資料中心或其他雲端提供者) 重疊的 CIDR 區塊。
建立 VCN 之後,您可以變更、新增及移除其 CIDR 區塊。
設計子網路時,請考量您的流量和安全需求。將特定層或角色內的所有資源連附至可作為安全界限的相同子網路。
- 安全
使用原則來限制誰可以存取您公司的 OCI 資源,以及他們如何存取它們。
使用 Oracle Cloud Guard 主動監督及維護 OCI 中資源的安全。「雲端保全」使用可定義的偵測器方法來檢查安全弱點的資源,以及監督操作員和使用者是否有風險活動。偵測到任何組態錯誤或不安全的活動時,雲端保全會建議更正動作,並根據您可以定義的回應器方法協助這些動作。對於需要最高安全性的資源,Oracle 建議您使用安全區域。安全區域是與以最佳做法為基礎之 Oracle 定義的安全原則方法關聯的區間。例如,安全區域中的資源不得從公用網際網路存取,且必須使用客戶管理的金鑰加密。當您在安全區域中建立和更新資源時,OCI 會根據 security-zone 處方中的原則驗證作業,並拒絕違反任何原則的作業。
- Autonomous Data Warehouse
物件儲存提供可靠且高效率的資料持久性,可讓您快速存取任何內容類型的大量結構化與非結構化資料,包括資料庫資料、分析資料、影像、視訊等等。建議您使用標準儲存從外部來源擷取資料,並使用它進行進一步的處理,因為它可以快速且經常地存取。您可以建立生命週期原則,將不再需要的資料從標準移至冷儲存體。
- 資料目錄
資料目錄:若要在平台上儲存並流動資料的完整且全方位的端對端檢視,請考慮不只收集支援資料保存層的資料存放區,也支援來源資料存放區。將此收集的技術描述資料對應至商業詞彙,並使用自訂特性強化此描述資料,可讓您對應商業概念及記錄和管理安全性和存取定義。
為了協助建立虛擬化儲存在 Oracle Cloud Infrastructure Object Storage 上之資料的 Oracle Autonomous Data Warehouse 外部表格,請利用 Oracle Cloud Infrastructure Data Catalog 先前收集的中繼資料。這可簡化外部表格的建立作業、強制跨資料存放區執行中繼資料的一致性,並且容易受到人為錯誤的影響。