Synchroniser des données avec Object Storage
Vous pouvez synchroniser les données à la fois entre un système de fichiers Lustre et un bucket Object Storage. Extrayez des données d'Object Storage vers Lustre (import de données) lorsque vous avez besoin d'un accès haut débit pour l'entraînement ou le traitement des données par l'IA. Lorsque vous avez terminé, renvoyez les résultats vers Object Storage (export de données) pour un stockage à long terme rentable.
Pour configurer cette synchronisation bidirectionnelle, liez un répertoire Lustre à un bucket Object Storage. Utilisez ce lien pour importer des objets d'Object Storage dans Lustre et exporter des fichiers de Lustre vers Object Storage selon vos besoins.
Le lancement d'une importation ou d'une exportation crée un travail. Chaque travail a un ID unique, que vous pouvez utiliser pour voir les détails.
Lorsque vous démarrez un travail d'import ou d'export, tous les fichiers modifiés et leurs métadonnées sont copiés.
Prérequis
- Vous disposez d'au moins un bucket Object Storage dans la même région et location que le système de fichiers Lustre. L'importation et l'exportation inter-région ou inter-location ne sont pas prises en charge.
- Le système de fichiers Lustre dispose de suffisamment d'espace libre pour contenir les importations de données à partir d'Object Storage.
- Tous les droits d'accès IAM requis sont configurés.
Remarques
- Jobs Copy Only New and Changed Files : lors du premier export d'un lien, tous les fichiers du système de fichiers Lustre sont copiés vers le bucket Object Storage car tout est nouveau. Les éléments qui existaient dans le bucket avant l'export ne sont pas modifiés. Pour les exports ultérieurs, seuls les fichiers nouveaux ou mis à jour depuis la dernière tâche sont copiés. Les suppressions ne sont mises en miroir dans aucun sens.
- Liens masqués et modifications de métadonnées uniquement non copiées : les travaux d'import ou d'export ne copient pas les fichiers si seules leurs métadonnées (par exemple, un UID ou une heure de modification) ont changé depuis le dernier travail. En outre, n'oubliez pas que si vous avez des fichiers qui partagent du contenu via des liens physiques, chacun est traité comme un fichier distinct lors de l'importation et de l'exportation - de sorte que vous perdez le lien physique entre eux.
- Région et location uniques : vous pouvez uniquement importer et exporter des fichiers entre des buckets Object Storage et des systèmes de fichiers Lustre qui se trouvent dans la même région et location. Vous ne pouvez pas importer ou exporter entre des régions ou des locations.
- Limitation de travail unique : vous ne pouvez exécuter qu'un seul travail d'import ou d'export à la fois par système de fichiers. Si plusieurs liens appartiennent au même système de fichiers, leurs travaux ne peuvent pas être exécutés simultanément. Toutefois, les travaux sur différents systèmes de fichiers peuvent être exécutés simultanément.
- Limite de 10 liens : vous pouvez créer un maximum de 10 liens Object Storage pour chaque système de fichiers Lustre. Si vous avez besoin de liens supplémentaires, contactez le support technique.
- Modification de liens : vous pouvez modifier des liens pour mettre à jour les propriétés suivantes : nom, compartiment Object Storage, balises, et si vous voulez écraser ou ignorer les fichiers en conflit. Pour apporter d'autres modifications, supprimez le lien et créez un nouveau lien.
- Période de refroidissement de l'extension : vous pouvez parfois avoir besoin d'étendre le système de fichiers Lustre pour prendre en charge les données d'Object Storage. Un refroidissement de six heures s'applique entre chaque extension de système de fichiers Lustre consécutive pour la même ressource. Si vous faites une demande d'extension au cours de cette période de ralentissement, elle est rejetée.
- Impact sur les performances : la synchronisation de fichiers entre Object Storage et Lustre consomme de la bande passante et peut avoir un léger impact sur les performances de Lustre pendant le processus de synchronisation.
Meilleures pratiques
- Conserver les chemins uniques : lorsque vous créez Object Storage, n'utilisez pas de chemins qui se chevauchent, où des parties du répertoire Lustre ou du chemin de bucket Object Storage sont déjà utilisées par un autre lien pour le mêmesystème de fichiers. Le chevauchement des liens peut entraîner des copies approfondies et une structure de répertoires indésirable.
Par exemple, liez
/mnt/lustre/projectAàmybucket/projectAet/mnt/lustre/projectBàmybucket/projectB. Ceci est correct car le lien utilise un chemin Lustre unique et un préfixe de bucket Object Storage unique.Ne liez pas
/mnt/lustre/projectàmybucket/projectset/mnt/lustre/project/reportsàmybucket/project/reportscar le dossierreportsest mis en correspondance deux fois, provoquant des synchronisations en double, une imbrication inattendue et des conflits. - Ne pas modifier ou utiliser les dossiers synchronisés lors d'un travail de synchronisation : attendez que le travail de synchronisation (import ou export) soit terminé avant d'ajouter, de supprimer, de déplacer, de renommer ou de modifier les fichiers ou dossiers du dossier en cours de synchronisation. La modification de fichiers pendant qu'un travail de synchronisation est en cours peut entraîner des résultats inattendus, tels que des fichiers ignorés ou écrasés.
Cryptage des données
- Données en transit : toutes les données transférées entre Lustre et Object Storage sont cryptées pendant le transit.
- Données inactives : les données importées sont cryptées inactives à l'aide du cryptage de volume de blocs, et les données exportées vers Object Storage utilisent les mécanismes de cryptage Object Storage.