关于部署 Lustre 文件系统

随着 AI/ML 培训、推理和高性能计算需求的不断增长，您需要考虑可扩展的全托管文件系统解决方案。了解如何部署强大的基于云的文件系统，以支持未来的发展。

Oracle Cloud Infrastructure (OCI) File Storage with Lustre 可自动执行部署、扩展和维护任务，让您能够专注于应用而非 Lustre 基础设施管理。OCI 中的服务实现了开源 Lustre 即服务。Lustre 文件系统可以扩展以提供每秒多 TB 的速度，从而实现快速数据处理和高吞吐量。

您可以使用 OCI 控制台、API、SDK、命令行界面 (command line interface，CLI) 和度量来创建、管理和监视 Lustre 文件系统。系统中安装的 Lustre 客户机与 Lustre 文件系统通信，特别是使用子网的 Lustre 存储服务器。您负责管理安全列表、路由表、安全组和其他与 VCN 相关的配置。

此解决方案手册详细介绍了 OCI File Storage with Lustre 的优秀实践，并提供了创建、挂载和监视 Lustre 文件系统的说明。目标是开始使用 Lustre 文件系统，然后从 Lustre 客户机访问它。

使用须知

开始之前，请查看 Lustre 文档以了解有关使用 Lustre 的 OCI 文件存储的更多信息。

体系结构

此架构显示虚拟云网络 (VCN) 中的 Lustre 通信。所有 Lustre 组件部署在多个容错域的同一可用性域中，以实现高可用性。可以从 OCI 计算实例（虚拟机和裸金属实例）和容器化环境（例如 Oracle Cloud Infrastructure Kubernetes Engine (OKE) 挂载 Lustre 文件系统。

下图说明了由 Oracle Cloud 部署和管理的底层 Lustre 组件以及客户管理的组件的高级别体系结构。

插图 lustre-file-system-oci-arch.png 的说明

lustre-file-system-oci-arch.zip

该架构包含以下 OCI 组件：

区域
Oracle Cloud Infrastructure 区域是一个本地化地理区域，其中包含一个或多个数据中心，托管可用性域。地区独立于其他地区，远距离可以把它们分开（跨越国家甚至大陆）。
可用性域
可用性域是区域中的独立数据中心。每个可用性域中的物理资源与其他可用性域中的资源隔离，从而提供容错能力。可用性域不共用电源、冷却设施或内部可用性域网络等基础设施。因此，一个可用性域出现故障不会影响区域中的其他可用性域。

OCI File Storage with Lustre 部署在单个可用性域中。
容错域
容错域是可用性域内的一组硬件和基础设施。每个可用性域具有三个容错域，它们具有独立的电源和硬件。在多个容错域之间分配资源时，应用可以承受容错域内的物理服务器故障、系统维护和电源故障。

包含 Lustre 组件的 OCI File Storage 部署在多个容错域中，可提供冗余和高可用性。
虚拟云网络 (VCN) 和子网
VCN 是一个可定制的软件定义网络，您可以在 Oracle Cloud Infrastructure 区域中设置。与传统的数据中心网络一样，VCN 允许您控制您的网络环境。VCN 可以具有多个不重叠的 CIDR 块，您可以在创建 VCN 后更改这些块。您可以将 VCN 划分为子网，子网可以限定为区域或可用性域。每个子网都包含一系列不与 VCN 中的其他子网重叠的连续地址。可以在创建后更改子网的大小。子网可以是公共子网，也可以是专用子网。

OCI File Storage with Lustre 可通过 VCN 访问，并部署在客户管理的子网中。

该体系结构具有以下 Lustre 组件。当需要更多容量时，将添加除 MGT 以外的所有组件：

Lustre 存储卷（对象存储目标或 OST）
这些是存储文件数据的卷。
元数据卷（元数据目标或 MDT）
文件元数据（如文件名和属性）将存储在这些卷上。
Lustre 管理卷（管理目标或 MGT）
一个文件系统仅存在一个。这是用于存储 Lustre 文件系统的配置信息的卷。
托管一个或多个存储目标 (storage target，OSS) 的存储服务器
这些是虚拟或裸金属计算实例。
托管一个或多个元数据目标 (meta data target，MDS) 的元数据服务器
这些是虚拟或裸金属计算实例。
LNet（光纤网络）
LNet 是允许 Lustre 节点（包括客户机）相互通信的虚拟网络层。LNet 隐藏了底层网络协议的复杂性，允许 Lustre 在各种网络类型（如以太网和 InfiniBand）中透明地运行。
VCN 和子网
Lustre 文件系统的核心数据通信依赖于 VCN 和子网。这包括客户端和服务器之间的通信以及服务器到服务器的通信。

关于必需的服务和政策

此解决方案需要以下服务和策略：

带有 Lustre 的 Oracle Cloud Infrastructure File Storage
Oracle Cloud Infrastructure 身份和访问管理
Oracle Cloud Infrastructure 虚拟云网络

下面列出了每项服务所需的策略。要快速入门，您可以考虑在子网中实施以下策略和安全规则。为了遵循最少权限原则，所需的特定策略将根据组织的安全需求而有所不同。有关在 OCI 中管理 Lustre 文件系统所需的策略的完整列表，请参阅 Lustre 文档。

服务名：OCI IAM 策略组	必需 ...
带有 Lustre 的 Oracle Cloud Infrastructure File Storage：`lustre-admin-group`	创建和管理 Lustre 文件系统。使用和访问 VCN 资源。管理和访问 VNIC 和 OCI Vault 等组件。需要静态加密时访问 OCI Vault 密钥。

使用 Lustre 的文件存储需要以下权限：

allow service lustrefs to use virtual-network-family in tenancy

安全列表入站需要以下规则：

Stateful ingress from source workload subnet CIDR, source port 512-1023 and destination Lustre subnet CIDR, destination TCP port 988

安全列表出站需要以下规则：

Egress to 0.0.0.0/0 to all protocols

要获取所需的资源，请参阅 Oracle 产品、解决方案和服务。

关于 OCI File Storage with Lustre Shared Responsibility Model

OCI 提供 API、SDK、命令行界面、OCI 控制台和文件系统指标来管理 Lustre 文件系统。

OCI File Storage with Lustre 支持您创建、管理和监视文件系统。该服务将自动预配和管理所需的 Lustre 组件，例如 Lustre 存储服务器和 Lustre 存储目标。OCI 负责预配和管理存储服务器和存储卷等后端组件。如体系结构图所示，存储服务器使用客户的子网进行 Lustre 通信进行互连。安全列表、路由表、安全组和其他与 VCN 相关的配置由您（客户）管理。

子网安全列表、IAM 策略和 Lustre 客户机的注意事项

使用 Lustre 实现文件存储时，请查看以下注意事项。这些必须在创建 Lustre 文件系统之前到位。

存储容量和服务限制
确保您的租户具有服务限制限额，以支持创建新文件系统。
足够的 IP 地址
确保 Lustre 子网具有足够的 IP 地址以分配给文件系统资源。请参阅“配置 Lustre 连接”部分以了解更多信息。
子网安全和 IAM 策略
如果未正确配置以下内容，则在预配阶段超时后，文件系统创建将失败。
- 必须将安全规则和/或安全组配置为允许 Lustre 服务器与客户机之间的端口 988 通信。
- 确保 lustrefs 具有在租户中使用 virtual-network-family 的权限。
请参阅“关于必需的服务和策略”部分以了解更多信息。
Lustre 客户端软件包
将 Lustre 客户机版本 2.15.5 与运行 5.14.x 内核的 Ubuntu 以及运行 Redhat Compatible Kernel (RHCK) 版本 4.18.x 或 5.15.x 的 Oracle Linux 8 或 9 一起使用。Lustre DKLM 模块使 Lustre 客户机软件包灵活地在不同的内核版本中运行。如果您对 Lustre 客户端有疑问，请与 OCI 技术支持联系。
Lustre 客户的防火墙
默认情况下，Oracle Linux 和 Ubuntu 都在客户机上运行防火墙。确保端口 988 为双向通信打开。Lustre 客户机还侦听端口 988，此端口应打开，并且客户机可以与服务器上的端口 988 通信。作为测试，您可以停止防火墙，并刷新防火墙规则以避免对客户端上的防火墙规则的任何干扰。始终遵循您的安全最佳实践。如果您有任何问题，请与 OCI 技术支持联系。