關於使用 Oracle Cloud Infrastructure Object Storage 進行儲存現代化
此解決方案手冊將協助您瞭解如何設計和執行將長期儲存從本機或 NFS 檔案系統移轉至 Oracle Cloud Infrastructure Object Storage ( OCI Object Storage)。這類解決方案有助於降低成本,以及套用保留、生命週期規則和預先認證要求作為新增功能。
在本解決方案手冊中,我們使用客戶使用案例來強調導入成功現代化工作的起點。
我們經常在同一對話中討論雲端移轉和現代化,以及所有可用的方法、服務和產品。對話通常需要採取分階段的方式,將整個資料中心系統地搬移至雲端,並依原樣解除和轉移,然後所有其他資料都依循。
初始階段完成後,相較於安全性、監控、當前和持續的整合挑戰,應用程式現代化通常會失去其重要性。它也重點介紹了基礎架構團隊可以對應用程式團隊進行的工作轉變。預算、時間和其他優先事項具有優先權,因此應用程式將繼續在雲端中按原樣執行。為了實現雲端能提供的真正潛在節省成本,企業應該尋找物件儲存等技術以節省成本。
檔案封存是開始的絕佳位置,因為只需最少的開發工作和測試,即可將檔案封存從 NFS 轉換成 OCI Object Storage 。導入解決方案 (例如此解決方案) 可根據使用案例,依儲存空間的順序儲存 10-50x。企業已瞭解到,營運資料中心越來越負起責任,並可能會導致成本大幅增加,潛在攻擊、服務損失和競爭對手不斷創新。
這應該使用雲端原生服務 (例如 OCI Object Storage) 作為優先考量,以節省成本、保護業務、與超大規模工作者共用各種不同工作負載的負擔。
瞭解移轉後挑戰
此處的關鍵在於,移轉後的痛點,重新設計足夠大的應用軟體以提高影響力,但小到足以應付單一設計衝刺期的問題。如此一來,企業可以實現節省成本和安心,同時保持開發和測試成本低。
在本解決方案手冊中使用案例中,共用檔案儲存 (NFS) 的成本在雲端中成為一個問題,而應用程式的原始設計則成為不容易變更的原因。在內部部署移轉至雲端移轉專案期間,我們談論物件儲存是檔案儲存的便宜且更可靠的替代方案,並以節省 10x 的紙張說明。新增 10x 可能較高的備份和複製。跨區域複寫、保留鎖定及生命週期原則等高效率功能均可共同運作,讓物件儲存成為儲存重要文件之具成本效益、可靠且安全系統的基礎。不過,當應用程式的設計是針對文件儲存裝置使用 NFS 檔案系統,且預期 POSIX 語意時,會變得更加困難。
在此使用案例中現代化的應用程式是標準的 3 層應用程式,但具有數個外部元件,必須執行協調和 CPU 密集處理以產生客戶帳單、將它們張貼至有組織的目錄結構中,並將它們編入目錄以進行下載和長期儲存。這些 PDF 和其他檔案儲存在具有特定檔案命名模式的大型 NFS 檔案系統中,以便由產生的路徑存取。不過,另一個應用程式是建立在 Apache HTTP 伺服器上,使用這個 NFS 共用的長期儲存區作為其文件根目錄,如此一來,從應用程式產生的 URL 就可以用來從過去 2 年的任何時間點下載檔案。最後,比特定時效還舊的檔案可以從線上存檔移除,但仍可由尋求記錄的稽核者要求。
因此,所有長達 10 歲的檔案都必須保留在 NFS 檔案系統上,基本上成本計算每天產生新檔案的成本。此問題存在於數個不同的應用程式中,因此成本問題在一段時間內只會變得更嚴重。
運用 OCI 物件儲存
物件儲存非常適合未經常變更的檔案。這與 NFS 相反,NFS 的焦點在於混合使用的共用儲存體。
透過利用數種物件儲存設計元素和 OCI 物件儲存服務的一些特定功能,我們可以提高可用性,並降低適合工作負載的成本。
在此使用案例中,為中期存取和長期封存所建立的檔案非常適合。這些檔案可能寫入一次,因此需要儲存好幾個月或幾年,而不作變更。事實上,企業可能想要確保它們在一段時間內不可變。
整體而言,以下是物件儲存優點比傳統檔案儲存這類檔案類型的基本原因清單。
- 可用性:物件儲存是一種區域服務,表示它未與單一可用性網域關聯。
- 搜尋:使用物件描述資料可能比只倚賴檔案名稱和 POSIX 樣式尋找命令來得有用。
- 保留規則:寫入物件後,可確保整個儲存桶不會變更,以確保立即符合規範。
- 儲存層:物件儲存層 (自動或手動) 可大幅降低不常存取或需要商業規則保留物件的成本。
- 週期原則:在保留之後調整儲存層與自動刪除 (清除) 之間的移動,將可在儲存與管理上儲存。
- 複寫:輕鬆且自動將整個儲存桶複寫到另一個區域,可以提高資料的可用性和存取。
- 成本:建構和維護的物件儲存成本遠低於複製和雜亂的 NFS 檔案系統。
對於需要掛載、共用、POSIX 樣式之檔案系統的應用程式,NFS 仍然十分有用。客戶仍然需要 NFS 才能進行共用儲存體,但只使用「作業」檔案,而非「存檔」檔案。此處描述的解決方案涵蓋如何設定及存取物件儲存,以及如何將應用程式修改為使用 NFS 儲存和為長期儲存建立的新物件儲存封存。
架構
此架構顯示將長期儲存移至 OCI Object Storage 的設計和執行,有助於降低成本並套用保留、生命週期規則和預先認證要求作為新增功能。
下列影像說明 "before" 和 "after" 實作的架構。Oracle File System Service (FSS) 用於大型共用檔案系統。在此已從內部部署資料中心移轉的檔案系統上,應用程式元件會使用批次處理來持續產生封存檔案。因此,相同的 NFS 檔案系統會同時保存執行中介處理 (命令檔、暫存檔等) 所需的應用程式元素,以及實際的檔案存檔 (儲存在階層中,每個業務需求最多必須維持 10 年)。
設定好之後, OCI Object Storage 貯體會用於託管 NFS 執行作業的封存部分。讀取和寫入儲存桶的權限會稍微定義,並建立保留和生命週期規則,以便為大量資料湧入做好準備。封存檔案的大型階層會複製到 OCI Object Storage ,並重製批次處理,以便在新物件貯體上放置新的封存。為了從物件儲存存取檔案,存取機制也稍微重製,以防止其餘應用程式和一般客戶變更存取這些存檔的方式。
下圖說明實行前的架構:
oci-object-storage-modernization-arch-oracle1.zip
下圖說明實行後的架構:
oci-object-storage-modernization-arch-oracle.zip
- 租用戶管理員 - 完整存取權
- 應用程式管理員 - 無物件讀取的有限存取權
- 唯讀 - 無物件讀取的儲存桶檢查
- 每個動態群組新增的敘述句
- 對特定資源稍微定義
- 執行處理 OCID 清單
- 執行處理區間 OCID
- 3650 天 (10 年)
- 已鎖定
e:生命週期規則:
- 90 天之後 - 不常儲存
- 180 天之後 - 封存儲存
- 3651 天之後 - 刪除
此架構支援下列元件:
- 物件儲存
Oracle Cloud Infrastructure Object Storage 可讓您快速存取任何內容類型的大量結構化和非結構化資料,包括資料庫備份、分析資料,以及影像和影片等豐富內容。您可以安全地儲存資料,然後直接從網際網路或雲端平台內擷取資料。您可以擴展儲存體,而不會發生任何效能或服務可靠性的降低問題。針對您需要快速、立即和經常存取的「熱」儲存,使用標準儲存。針對長時間保留且極少或極少存取的「冷」儲存,使用封存儲存。
- 檔案儲存體
Oracle Cloud Infrastructure File Storage 服務提供持久、可擴展、安全的企業級網路檔案系統。您可以從 VCN 中的任何裸機、虛擬機器或容器執行處理連線至檔案儲存服務檔案系統。您也可以使用 Oracle Cloud Infrastructure FastConnect 和 IPSec VPN,從 VCN 外部存取檔案系統。
- Identity and Access Management (IAM)
Oracle Cloud Infrastructure Identity and Access Management (IAM) 是 Oracle Cloud Infrastructure (OCI) 和 Oracle Cloud Applications 的存取控制層。IAM API 和使用者介面可讓您管理識別網域和識別網域內的資源。每個 OCI IAM 識別網域都代表獨立的識別與存取管理解決方案,或代表不同的使用者群體。
身分識別管理考量
使用私有物件儲存貯體意味著設定適當的使用權限。依照預設,使用者群組和動態群組通常不會被授予對廣泛權限集 (例如 object-family) 的存取權,除非該權限集位於區間中。
在開始使用此解決方案之前,值得確保只有您能夠存取物件儲存的群組具有權限。此處非常有用的方法之一是遵循 CIS 登陸區限制存取的方法。導入此解決方案時,我們會討論動態群組的建立,因此值得瞭解您租用戶的區間結構,以及登陸區所討論的概念。值得閱讀 OCI 原則語法,包括如何縮小定義動態群組和原則敘述句的範圍。
雖然 RCLONE 和 OCIFS 都支援標準 OCI API 金鑰作為認證機制,但我們選擇執行處理主體和動態群組來進行認證。這樣可以改善整體安全性狀態 - 無需建立、散佈或旋轉金鑰。請改為使用個別的動態群組,以確保每個動態群組的權限最小化。例如,RCLONE 動態群組的原則允許建立儲存桶,而 Apache 動態群組只允許讀取物件。
封存儲存體的考量
為了節省成本並使用最低成本的 OCI Object Storage 層,此解決方案實行了生命週期規則,將物件移到「不常發生層」,然後在建立後一段時間內移到封存層。
將物件存檔之後,便無法直接重新分類至標準層。由於封存物件儲存的離線性質,因此需要開發可要求稽核 (業務流程) 的程序、從封存提取的某些檔案,然後檔案在時間限制期間即可存取。
再一次,使用物件儲存的固有功能,可以暫時恢復檔案、複製到暫存位置 (其他儲存桶),並使用預先認證的要求 (PAR) 對外公開。這些是允許存取儲存桶中特定檔案的模糊 URL (安全無虞),可以在一段時間後到期,以撤銷存取。
在恢復期間,檔案可以複製到新的標準層儲存桶,然後自動回復成封存模式,不需要進行維護。RCLONE 和 OCI CLI、Java、REST 或 Python 可以在獲得特定稽核儲存桶的存取權的情況下,與主要解決方案類似使用。