Migration

La solution utilisée ici consiste à séparer logiquement le partage NFS volumineux en deux zones :

• Zone appelée "partage NFS opérationnel" contenant uniquement des données en flux, qui doivent encore être traitées, ainsi que pour le post-traitement et le retraitement.
• Une zone intermédiaire temporaire qui peut être nettoyée régulièrement.

Pour la zone temporaire de l'emplacement de stockage NFS, un bucket OCI Object Storage est créé, dans le but de mettre en miroir la structure de répertoires volumineuse au sein de l'archive NFS à l'aide de la dénomination d'objet/chemin standard.

Aucune modification n'est apportée à la structure NFS, hormis le fait que le répertoire d'archive (20 To et plus) sera copié dans Object Storage. Les données de la zone opérationnelle sont traitées, vérifiées et conservées dans la zone intermédiaire temporaire comme précédemment. Une fois finalisées, les données sont déplacées vers l'archive basée sur les objets et la zone intermédiaire temporaire est nettoyée. Le mécanisme de copie des objets du partage NFS opérationnel local vers le bucket d'archive peut être RCLONE ou OCIFS.

Pour la partie archive du système de fichiers NFS, nous utiliserons le bucket d'objet créé précédemment. Notre intention est de mettre en miroir la grande archive de NFS vers Object Storage avec la même structure de chemin. Pour ce faire, des commandes RCLONE similaires aux suivantes sont utilisées :

cd archive
rclone copy . <the_rclone_config>:BucketName/

Notez que, selon la façon dont l'application est développée, les processus existants peuvent continuer à écrire dans les emplacements existants jusqu'à ce qu'un basculement ait lieu. A ce stade, l'intégralité de l'archive a été copiée, le code de l'application est en cours de lecture à partir du stockage d'objets et de nouveaux fichiers sont générés vers la nouvelle archive location.While. L'ordre exact des événements de basculement dépendra de chaque cas. A la fin de la migration, l'archive principale des fichiers NFS peut être supprimée. À ce stade, la facturation reflétera les économies réalisées. Le traitement par lots peut avoir lieu et, via des scripts shell standard, de grandes hiérarchies de fichiers peuvent être copiées vers Object Storage via RCLONE.

Bien que les détails exacts de l'ordre des opérations soient propres à l'implémentation, à la fin du processus, la zone d'archivage du partage NFS est nettoyée une fois que les fichiers d'archive sont stockés en toute sécurité dans Object Storage. Chaque exécution de batch entraîne la création de fichiers d'archive, qui sont copiés dans Object Storage via RCLONE avant la suppression.