Synchronisation des données avec le stockage d'objets
Vous pouvez synchroniser les données des deux façons entre un système de fichiers Lustre et un seau de stockage d'objets. Extrayez des données du stockage d'objets dans Lustre (données d'importation) lorsque vous avez besoin d'un accès à haut débit pour la formation en IA ou le traitement des données. Lorsque vous avez terminé, retrouvez les résultats dans le stockage d'objets (données d'exportation) pour un stockage à long terme rentable.
Pour configurer cette synchronisation bidirectionnelle, liez un répertoire Lustre à un seau de stockage d'objets. Utilisez ce lien pour importer des objets du stockage d'objets dans Lustre et exporter des fichiers de Lustre vers le stockage d'objets, au besoin.
Le début d'une importation ou d'une exportation crée une tâche. Chaque tâche a un ID unique, que vous pouvez utiliser pour voir les détails.
Lorsque vous démarrez une tâche d'importation ou d'exportation, tous les fichiers modifiés et leurs métadonnées sont copiés.
Conditions requises
- Vous avez au moins un compartiment Object Storage dans la même région et la même location que le système de fichiers Lustre. L'importation et l'exportation inter-région ou interlocation ne sont pas prises en charge.
- Le système de fichiers Lustre dispose de suffisamment d'espace libre pour contenir les importations de données à partir du stockage d'objets.
- Toutes les autorisations IAM requises sont configurées.
Points à considérer
- Copier uniquement les fichiers nouveaux et modifiés pour les tâches : Lors de la première exportation d'un lien, tous les fichiers du système de fichiers Lustre sont copiés vers le seau de stockage d'objets car tout est nouveau. Les articles qui existaient dans le seau avant l'exportation ne sont pas modifiés. Pour les exportations ultérieures, seuls les fichiers qui sont nouveaux ou qui ont été mis à jour depuis la dernière tâche sont copiés - les suppressions ne sont pas mises en miroir dans les deux sens.
- Liens matériels et modifications de métadonnées seulement non copiées : Les tâches d'importation ou d'exportation ne copient pas de fichiers si seules leurs métadonnées (par exemple, un UID ou une heure de modification) ont été modifiées depuis la dernière tâche. En outre, rappelez-vous que si vous avez des fichiers qui partagent du contenu via des liens physiques, chacun est traité comme un fichier distinct lors de l'importation et de l'exportation - de sorte que vous perdez le lien physique entre eux.
- Région unique et location : Vous ne pouvez importer et exporter que des fichiers entre des seaux de stockage d'objets et des systèmes de fichiers Lustre qui se trouvent dans la même région et la même location. Vous ne pouvez pas importer ou exporter des données entre des régions ou des locations.
- Limitation d'une tâche unique : Vous ne pouvez exécuter qu'une seule tâche d'importation ou d'exportation à la fois par système de fichiers. Si plusieurs liens appartiennent au même système de fichiers, leurs tâches ne peuvent pas être exécutées simultanément. Toutefois, des travaux sur différents systèmes de fichiers peuvent être exécutés en même temps.
- Limite de 10 liens : Vous pouvez créer un maximum de 10 liens de stockage d'objets pour chaque système de fichiers Lustre. Si vous avez besoin de liens supplémentaires, communiquez avec le soutien technique.
- Modification des liens : Vous pouvez modifier les liens pour mettre à jour ces propriétés : nom, compartiment de stockage d'objets, marqueurs, et indiquer s'il faut remplacer ou ignorer les fichiers en conflit. Pour apporter d'autres modifications, supprimez le lien et créez un nouveau lien.
- Période de refroidissement de l'extension : Vous devrez parfois étendre le système de fichiers Lustre pour prendre en charge les données du stockage d'objets. Une période de refroidissement de six heures s'applique entre chaque extension consécutive du système de fichiers Lustre pour la même ressource. Si vous effectuez une demande d'extension pendant cette période de refroidissement, elle est rejetée.
- Incidence sur la performance : La synchronisation de fichiers entre Object Storage et Lustre consomme de la bande passante et peut légèrement affecter les performances de Lustre lors du processus de synchronisation.
Meilleures pratiques
- Conserver les chemins uniques : Lorsque vous créez le stockage d'objets, n'utilisez pas de chemins qui se chevauchent, où des parties du répertoire Lustre ou du chemin du seau de stockage d'objets sont déjà utilisées par un autre lien pour le même système de fichiers. Le chevauchement de liens peut entraîner des copies en profondeur et une structure de répertoires indésirable.
Par exemple, liez
/mnt/lustre/projectAàmybucket/projectAet liez/mnt/lustre/projectBàmybucket/projectB. Ceci est correct car le lien utilise un chemin Lustre unique et un préfixe de seau de stockage d'objets unique.Ne pas lier
/mnt/lustre/projectàmybucket/projectset/mnt/lustre/project/reportsàmybucket/project/reports, car le dossierreportsest mappé deux fois, ce qui entraîne des synchronisations en double, une imbrication inattendue et des conflits. - Apporter des modifications de fichier uniquement lorsque les tâches d'importation ou d'exportation ne sont pas en cours d'exécution : Ne mettez à jour le contenu d'un fichier que si vous êtes certain qu'il n'est pas importé ou exporté. La modification des fichiers alors qu'une tâche de synchronisation est en cours peut entraîner des résultats inattendus, tels que des fichiers ignorés ou remplacés.
Chiffrement des données
- Données en transit : Toutes les données transférées entre Lustre et Object Storage sont chiffrées lors du transit.
- Données au repos : Les données importées sont chiffrées au repos à l'aide du chiffrement des volumes par blocs et les données exportées vers le service de stockage d'objets utilisent les mécanismes de chiffrement du service de stockage d'objets.