Lustreを使用したファイル・ストレージの概要
Oracle Cloud Infrastructure(OCI)File Storage with Lustreは、AI/MLのトレーニングと推論、および高パフォーマンス・コンピューティングのニーズを満たすように設計されたフルマネージド・ストレージ・サービスです。
File Storage with Lustreは、オープン・ソースLustreの導入、スケーリング、メンテナンスのタスクを自動化し、Lustreインフラストラクチャ管理ではなくアプリケーションに集中できるようにします。OCIは、メタデータ・サーバー、管理サーバー、ストレージ・サーバーなど、すべてのLustreサーバー・コンポーネントをデプロイおよび保守します。
オープン・ソースLustreの詳細は、Lustreの概要を参照してください。
機能
Lustreを使用したFile Storageの主な機能は次のとおりです。
- パラレル分散アーキテクチャ
- File Storage with Lustreは、並列分散アーキテクチャ上に構築されており、大量のデータ・ロードを効率的に処理できます。ファイル・システムは、高速な集計速度をスケーリングして提供できるため、迅速なデータ処理と高いスループットを実現できます。
- 完全マネージド・サービス
- 導入、スケーリング、メンテナンスの自動化により、ユーザーの管理が簡素化され、Lustreインフラストラクチャ・コンポーネントの設定と保守に従来伴っていた複雑さが解消されます。
- AIとML向けの本番環境に対応
- File Storage with Lustreは、大量のデータを処理できるため、ビッグ・データ分析と高度なAIモデルの活用を検討している組織にとって理想的な選択肢となります。
概念
- パフォーマンス
-
File Storage with Lustreには、次の4つのパフォーマンス層があります。
- プロビジョニングされたTiBごとに125 MBps (1Gbps)
- プロビジョニングされたTiB当たり250 MBps (2Gbps)
- プロビジョニングされたTiB当たり500 MBps (4Gbps)
- プロビジョニングされたTiB当たり1000 MBps (8Gbps)
管理者は、クライアント側のすべてのパフォーマンス最適化を担当します。Lustreの
lfsユーティリティを使用して、ファイル・ストライプ化やプログレッシブ・ファイル・レイアウト(PFL)などのパフォーマンス最適化機能を実行できます。 - Lustreクライアント
-
管理者は、ファイル・システムにアクセスする必要があるGPUホストまたはその他のコンピュート・ホストにLustreクライアントをデプロイします。
Lustreを使用したFile Storageは、Lustreバージョン2.15.5を使用し、次のOSに2.15.5クライアントを使用できます。
- Ubuntu 22.04と5.15.xカーネル
- Oracle Linux 8 with 4.18 Red Hat Compatible Kernel (RHCK)
詳細は、「Lustre File Systemのマウントおよびアクセス」を参照してください。Lustreクライアントに関するサポートが必要な場合は、サポートに連絡してください。
可用性
Oracleは、そのOCIサービスをリージョンおよび可用性ドメインでホストします。リージョンとは限定された地理的領域で、可用性ドメインとはそのリージョン内の1つ以上のデータ・センターです。OCI File Storage with Lustreは、次のリージョンでホストされます:
| 地域名 | リージョン識別子 | リージョン・キー |
|---|---|---|
| オーストラリア東部(シドニー) | ap-sydney-1 | SYD |
| オーストラリア南東部(メルボルン) | ap-melbourne-1 | MEL |
| ブラジル東部(サンパウロ) | sa-saopaulo-1 | GRU |
| カナダ南東部(モントリオール) | ca-montreal-1 | YUL |
| ドイツ中央部(フランクフルト) | eu-frankfurt-1 | FRA |
| インドネシア北部(バタム) | ap-batam-1 | HSG |
| 日本中央部(大阪) | ap-osaka-1 | KIX |
| 日本東部(東京) | ap-tokyo-1 | NRT |
| オランダ北西部(アムステルダム) | eu-amsterdam-1 | AMS |
| スペイン中央部(マドリード) | eu-madrid-1 | MAD |
| 英国西部(ニューポート) | uk-cardiff-1 | CWL |
| 英国南部(ロンドン) | uk-london-1 | LHR |
| 米国東部(アッシュバーン) | us-ashburn-1 | IAD |
| 米国中西部(シカゴ) | us-chicago-1 | ORD |
| 米国西部(フェニックス) | us-phoenix-1 | PHX |
| 米国西部(サンノゼ) | us-sanjose-1 | SJC |
一部のリージョンでは、Lustreを使用したファイル・ストレージが提供されません。
使用できるOCIリージョンの完全なリストと、関連する場所、のリージョン識別子、リージョン・キー、可用性ドメインのリストを参照してください。
認証と認可
Oracle Cloud Infrastructureの各サービスは、すべてのインタフェース(コンソール、SDKまたはCLI、およびREST API)で、OCIリソースを管理するための認証および認可のためにIAMと統合されます。
組織の管理者は、グループ、コンパートメントおよびポリシーを設定して、どのユーザーがどのサービスおよびリソースにアクセスできるかと、そのアクセス権のタイプを制御する必要があります。たとえば、ポリシーは、ユーザー、グループおよびコンパートメントを作成できるユーザー、または仮想デプロイメントを作成および管理できるユーザーを制御します。
- 初めて管理者になった場合は、ポリシーの開始を参照してください。
- このサービスのポリシーの記述の詳細は、Lustreポリシーを使用したファイル・ストレージを参照してください。
- 他のサービスのリソースのポリシー記述の詳細は、ポリシー・リファレンスを参照してください。
セキュリティ
For security information and recommendations, see Securing Oracle Cloud Infrastructure File Storage with Lustre.
Oracle Cloud Infrastructureへのアクセス方法
コンソール(ブラウザベースのインタフェース)、Oracle Cloud Infrastructure CLIまたはREST APIを使用すると、Lustreリソースを使用してファイル・ストレージにアクセスできます。コンソールにアクセスするには、サポートされているブラウザを使用する必要があります。
このガイドでは、3つすべての方法の手順について説明します。
- OCIコンソールは、使いやすいブラウザベースのインターフェイスです。コンソールにアクセスするには、サポートされているブラウザを使用する必要があります。
- REST APIでは、ほとんどの機能が提供されます。ただしプログラミングの専門知識が必要です。APIのリファレンスとエンドポイントに、エンドポイントの詳細、およびLustre APIを使用したファイル・ストレージなど、使用可能なAPIのリファレンス・ドキュメントへのリンクを示します。
- OCIは、File StorageとLustreを対話するSDKを提供します。
- コマンド・ライン・インタフェース(CLI)では、クイック・アクセスとフル機能の両方が提供されます。プログラミングは必要ありません。
- OCI CLIまたはREST APIを使用するには、環境を設定するか、Oracle Cloud Infrastructure Cloud Shellを使用できます。
- クラウド・シェルでCLIまたはREST APIを使用するには、コンソールにサインインします。クラウド・シェルの使用およびCLIコマンド・リファレンスを参照してください。
- 環境にOCI CLIをインストールするには、CLIのインストール・クイックスタートのステップに従います。
- REST APIを使用する場合は、REST APIドキュメントおよびAPIリファレンスとエンドポイントを参照してください。
Lustreリソースを使用したファイル・ストレージの制限
適用可能な限界のリストおよび制限拡大のリクエスト方法については、File Storage with Lustre Limitsおよびサービス制限を参照してください。
ファイル・システムにコンパートメント固有の制限を設定するには、管理者はコンパートメント割当て制限の概要を使用できます。