オブジェクト・ストレージを使用したデータのコピー
Lustreファイル・システムとObject Storageバケットの間でデータをコピーできます。AIトレーニングまたはデータ処理のための高速アクセスが必要な場合に、Object StorageからLustreにデータをプル(インポート・データ)します。完了したら、結果をオブジェクト・ストレージ(エクスポート・データ)にプッシュして、コスト効率が高く長期的なストレージを確保します。
この双方向コピーを設定するには、Lustreディレクトリをオブジェクト・ストレージ・バケットにリンクします。このリンクを使用して、オブジェクト・ストレージからLustreにオブジェクトをインポートし、必要に応じてLustreからオブジェクト・ストレージにファイルをエクスポートします。
インポートまたはエクスポートを開始すると、ジョブが作成されます。各ジョブには一意のIDがあり、これを使用して詳細を表示できます。
インポート・ジョブまたはエクスポート・ジョブを開始すると、変更されたすべてのファイルとそのメタデータがコピーされます。
前提条件
- Lustreファイル・システムと同じリージョンおよびテナンシに、少なくとも1つのオブジェクト・ストレージ・バケットがあります。クロスリージョンまたはクロステナンシのインポートとエクスポートはサポートされていません。
- Lustreファイル・システムには、Object Storageからのデータ・インポートを保持するのに十分な空き領域があります。
- 必要なIAM権限がすべて構成されます。
考慮事項
- ジョブ・コピーのみの新規ファイルおよび変更済ファイル: リンクの最初のエクスポートでは、Lustreファイル・システム内のすべてのファイルが新規であるため、オブジェクト・ストレージ・バケットにコピーされます。エクスポート前にバケットに存在していた品目は変更されません。後のエクスポートでは、新しいファイル、または最後のジョブ以降に更新されたファイルのみがコピーされます。削除はどちらの方向にもミラー化されません。
- ハード・リンクおよびメタデータのみの変更がコピーされない:インポート・ジョブまたはエクスポート・ジョブでは、最後のジョブ以降にメタデータ(UIDや変更時間など)のみが変更された場合、ファイルはコピーされません。また、ハード・リンクを介してコンテンツを共有するファイルがある場合、インポートおよびエクスポート時にそれぞれが別個のファイルとして扱われるため、それらの間のハード・リンクが失われることに注意してください。
- 単一リージョンおよびテナンシ: オブジェクト・ストレージ・バケットと、同じリージョンおよびテナンシにあるLustreファイル・システムの間でのみファイルをインポートおよびエクスポートできます。リージョンまたはテナンシ間でインポートまたはエクスポートすることはできません。
- 同時ジョブの制限:各ジョブで異なるオブジェクト・ストレージ・リンクが使用されている場合は、同じLustreファイル・システムでインポート・ジョブとエクスポート・ジョブを同時に実行できます。特定のオブジェクト・ストレージ・リンクに対して一度に実行できるインポートまたはエクスポート・ジョブは1つのみです。すでに実行中のジョブがあるリンクに対して別のジョブを開始するリクエストは拒否されます。
- 10リンク制限: Lustreファイル・システムごとに最大10個のオブジェクト・ストレージ・リンクを作成できます。さらにリンクが必要な場合は、サポートに連絡してください。
- リンクの編集: リンクを編集して、名前、オブジェクト・ストレージ・コンパートメント、タグ、競合するファイルを上書きするかスキップするかなどのプロパティを更新できます。その他の変更を行うには、リンクを削除し、新しいリンクを作成します。
- 拡張のクール・ダウン期間: オブジェクト・ストレージからのデータに対応するために、Lustreファイル・システムを拡張する必要がある場合があります。同じリソースの連続するLustreファイル・システム拡張ごとに6時間のクール・ダウンが適用されます。このクールダウン期間内に拡張リクエストを行うと、拒否されます。
- パフォーマンスへの影響: Object StorageとLustre間でファイルをコピーすると、帯域幅が消費され、コピー・プロセス中のLustreのパフォーマンスに若干影響する可能性があります。
ベスト・プラクティス
- パスを一意に保つ:オブジェクト・ストレージ・リンクを作成する場合は、同じファイル・システムに対して一意のLustreディレクトリ・パスおよびオブジェクト・ストレージ・バケットのパスまたは接頭辞を使用します。リクエストされたパスまたは接頭辞によって既存のリンクとの競合する重複または循環マッピングが作成される場合、リンク作成リクエストは拒否されます。
たとえば、
/mnt/lustre/projectAをmybucket/projectAにリンクし、/mnt/lustre/projectBをmybucket/projectBにリンクします。各リンクで一意のLustreパスと一意のObject Storageバケット接頭辞が使用されるため、これは正しいです。たとえば、
/mnt/lustre/projectをmybucket/projectsにリンクし、/mnt/lustre/project/reportsをmybucket/project/reportsにリンクすることはできません。これは、reportsフォルダが2回マップされ、重複するマッピングが競合するためです。 - コピー・ジョブ中にコピーしたフォルダを変更または使用しない: コピーするフォルダ内のファイルまたはフォルダを追加、削除、移動、名前変更または編集する前に、コピー・ジョブ(インポートまたはエクスポート)が終了するまで待機します。コピー・ジョブの進行中にファイルを変更すると、ファイルが無視されたり上書きされたりするなど、予期しない結果が生じる可能性があります。
データ暗号化
- 転送中のデータ: LustreとObject Storageの間で転送されるすべてのデータは転送中に暗号化されます。
- 保存データ: インポートされたデータはブロック・ボリュームの暗号化を使用して保存時に暗号化され、Object StorageにエクスポートされたデータはObject Storageの暗号化メカニズムを使用します。