關於部署 Lustre 檔案系統

隨著 AI/ML 訓練、推論和高效能運算需求的不斷增長，您需要考慮一個可擴展的完全託管檔案系統解決方案。瞭解如何部署強大的雲端檔案系統，以支援未來的成長。

Oracle Cloud Infrastructure (OCI) File Storage with Lustre 可自動執行部署、擴展和維護作業，讓您專注於應用程式，而非 Lustre 基礎架構管理。OCI 中的服務導入開源 Lustre 即服務。Lustre 檔案系統可調整規模，以每秒提供數 TB 的速度，以進行快速的資料處理和高傳輸量。

您可以使用 OCI 主控台、API、SDK、命令行介面 (CLI) 以及度量來建立、管理及監控 Lustre 檔案系統。安裝在系統中的 Lustre 用戶端會與 Lustre 檔案系統進行通訊，尤其是使用您子網路的 Lustre 儲存體伺服器。您必須負責管理安全清單、路由表、安全群組和其他 VCN 相關組態。

此解決方案手冊詳細說明使用 Lustre 建立、掛載及監控 Lustre 檔案系統的 OCI File Storage 最佳做法。目標是要開始使用 Lustre 檔案系統，並從 Lustre 用戶端加以存取。

Before You Begin - 開始之前

開始之前，請先檢閱 Lustre 文件以深入瞭解 OCI File Storage with Lustre。

架構

此架構顯示虛擬雲端網路 (VCN) 中的 Lustre 通訊。所有 Lustre 元件都部署在跨多個容錯域的相同可用性網域中，以實現高可用性。Lustre 檔案系統可以從 OCI 運算執行處理 (虛擬機器和裸機執行處理) 和容器化環境 (例如 Oracle Cloud Infrastructure Kubernetes Engine (OKE) 掛載。

下圖說明由 Oracle Cloud 部署和管理的基礎 Lustre 元件的高階架構，以及客戶管理的元件。

lustre-file-system-oci-arch.png 圖解描述

lustre-file-system-oci-arch.zip

此架構具有下列 OCI 元件：

地區
Oracle Cloud Infrastructure 區域是一個本地化地理區域，其中包含一或多個代管可用性網域的資料中心。區域獨立於其他區域，而廣大的距離可以將其分開 (跨國家或大陸)。
可用性網域
可用性網域是區域內的獨立獨立資料中心。每個可用性網域中的實體資源會與其他可用性網域中的資源隔離，以提供容錯能力。可用性網域不會共用基礎架構，例如電源或冷卻系統，也不會共用內部可用性網域網路。因此，一個可用性網域的故障不應影響該區域中的其他可用性網域。

OCI File Storage with Lustre 部署在單一可用性網域中。
容錯域
容錯域結合了可用性網域內的硬體和基礎架構。每個可用性網域都有三個具有獨立電源和硬體的容錯域。當您將資源分散到多個容錯域時，您的應用程式可以容忍容錯域內的實體伺服器故障、系統維護和電源故障。

OCI File Storage with Lustre 元件部署在多個容錯域中，以提供備援和高可用性。
虛擬雲端網路 (VCN) 和子網路
VCN 是您在 Oracle Cloud Infrastructure 區域中設定的可自訂軟體定義網路。與傳統的資料中心網路一樣，VCN 可讓您控制網路環境。VCN 可以有多個非重疊的 CIDR 區塊，您可以在建立 VCN 之後變更。您可以將 VCN 區隔成子網路，此子網路可以設定區域範圍或可用性網域。每個子網路都是由連續的位址範圍組成，這些位址不會與 VCN 中的其他子網路重疊。您可以在建立子網路後變更其大小。子網路可以是公用或專用。

透過 VCN 存取具有 Lustre 的 OCI File Storage，並且部署在客戶管理的子網路中。

架構具有下列 Lustre 元件。除了 MGT 以外的所有元件都會在需要更多容量時增加：

Lustre 儲存磁碟區 (物件儲存目標或 OST)
這些是儲存檔案資料的磁碟區。
中繼資料量 (中繼資料目標或行動數據終端機)
檔案描述資料 (例如檔案名稱和屬性) 會儲存在這些磁碟區上。
Lustre 管理量 (管理目標或 MGT)
一個檔案系統只有一個。這是用於儲存 Lustre 檔案系統組態資訊的磁碟區。
代管一或多個儲存目標 (OSS) 的儲存體伺服器
這些是虛擬或裸機運算執行處理。
代管一或多個描述資料目標 (MDS) 的描述資料伺服器
這些是虛擬或裸機運算執行處理。
LNet (Lustre networking)
LNet 為虛擬網路層，可讓 Lustre 節點 (包括用戶端) 相互通訊。LNet 會隱藏基礎網路協定的複雜性，讓 Lustre 能夠跨各種網路類型 (例如乙太網路和 InfiniBand) 通透地運作。
VCN 和子網路
Lustre 檔案系統的核心資料通訊依賴 VCN 和子網路。這包括用戶端與伺服器之間的通訊，以及伺服器與伺服器之間的通訊。

關於必要的服務與政策

此解決方案需要以下服務和原則：

Oracle Cloud Infrastructure File Storage with Lustre
Oracle Cloud Infrastructure Identity and Access Management
Oracle Cloud Infrastructure 虛擬雲端網路

下面列出每個服務所需的原則。若要快速開始使用，您可以考慮在子網路中實行下列原則和安全規則。為了符合最低權限原則，所需的特定原則將視組織的安全需求而有所不同。如需在 OCI 中管理 Lustre 檔案系統所需的完整原則清單，請參閱 Lustre 文件。

服務名稱：OCI IAM 原則群組	需要 ...
Oracle Cloud Infrastructure File Storage with Lustre:`lustre-admin-group`	建立和管理 Lustre 檔案系統。使用及存取 VCN 資源。管理及存取 VNIC 和 OCI Vault 等元件。需要靜態加密時存取 OCI 保存庫金鑰。

使用 Lustre 的檔案儲存需要下列權限：

allow service lustrefs to use virtual-network-family in tenancy

安全清單傳入需要下列規則：

Stateful ingress from source workload subnet CIDR, source port 512-1023 and destination Lustre subnet CIDR, destination TCP port 988

安全清單輸出需要下列規則：

Egress to 0.0.0.0/0 to all protocols

請參閱 Oracle 產品、解決方案和服務，瞭解您需要的內容。

關於具備 Lustre 共用責任模型的 OCI 檔案儲存

OCI 提供 API、SDK、命令行介面、OCI 主控台及檔案系統度量，以管理 Lustre 檔案系統。

OCI File Storage with Lustre 可讓您建立、管理和監控檔案系統。該服務將自動佈建和管理所需的 Lustre 元件，例如 Lustre 儲存伺服器和 Lustre 儲存目標。OCI 負責佈建及管理後端元件，例如儲存伺服器和儲存磁碟區。如架構圖所示，儲存伺服器使用客戶的 Lustre 通訊子網路互連。安全清單、路由表、安全群組和其他 VCN 相關組態都由您和客戶管理。

子網路安全清單、IAM 原則以及 Lustre 用戶端的考量

使用 Lustre 實作檔案儲存時，請考慮下列事項：這些必須在建立 Lustre 檔案系統之前就已經到位。

儲存容量和服務限制
請確定您的租用戶有服務限額配額，以支援建立新的檔案系統。
IP 位址足夠
確定 Lustre 子網路有足夠的 IP 位址指定給檔案系統資源。請參閱〈配置 Lustre Connectivity 〉一節以瞭解更多資訊。
子網路安全和 IAM 原則
如果未正確設定下列項目，在啟動設定階段逾時後，檔案系統建立將會失敗。
- 安全規則和 (或) 安全群組必須設定為允許 Lustre 伺服器與用戶端之間的連接埠 988 通訊。
- 確定 lustrefs 具有在租用戶中使用 virtual-network-family 的權限。
請參閱「關於必要的服務和原則」一節以瞭解詳細資訊。
Lustre 從屬端套裝程式
搭配執行 5.14.x 核心的 Ubuntu 使用 Lustre 從屬端版本 2.15.5，而執行 Redhat Compatible Kernel (RHCK) 版本 4.18.x 或 5.15.x 的 Oracle Linux 8 或 9。Lustre DKLM 模組可讓 Lustre 用戶端套裝軟體在不同的核心版本中執行。如果您有關於 Lustre 從屬端的問題，請洽詢 OCI 支援。
Lustre 用戶端上的防火牆
Oracle Linux 和 Ubuntu 預設會在用戶端上執行防火牆。確定連接埠 988 開啟以進行雙向通訊。Lustre 從屬端也監聽連接埠 988，此連接埠必須開啟，以及從屬端與伺服器上連接埠 988 的交談能力。測試時，您可以停止防火牆，並清除防火牆規則，以避免用戶端上發生任何防火牆規則的干擾。一律遵循您的安全最佳實務。如果您有任何問題，請洽詢 OCI 支援。