Migrieren

Die hier verwendete Lösung besteht darin, das große NFS-Share logisch in zwei Bereiche zu trennen:

• Ein Bereich, der als "operative NFS"-Freigabe bezeichnet wird und nur Daten im Fluss enthält, die noch verarbeitet werden müssen, sowie für die Nachverarbeitung und erneute Verarbeitung.
• Eine temporäre Staging Area, die regelmäßig gereinigt werden kann.

Für den temporären Bereich des NFS-Speichers wird ein OCI Object Storage-Bucket mit der Absicht erstellt, die große Verzeichnisstruktur im NFS-Archiv mit der standardmäßigen Objekt-/Pfadbenennung zu spiegeln.

Beachten Sie, dass an der NFS-Struktur abgesehen von der Erwartung, dass das Archivverzeichnis (20 TB+) irgendwann in Object Storage kopiert wird, keine Änderungen vorgenommen werden. Daten im operativen Bereich werden wie bisher in der temporären Staging Area verarbeitet, geprüft und gespeichert. Nach der Fertigstellung werden die Daten in das objektbasierte Archiv verschoben, und die temporäre Staging Area wird bereinigt. Der Mechanismus zum Kopieren von Objekten aus der lokalen betriebsbereiten NFS-Freigabe in den Archiv-Bucket kann RCLONE oder OCIFS sein.

Für den Archivteil des NFS-Dateisystems verwenden wir den zuvor erstellten Objekt-Bucket. Unser Ziel ist es, das große Archiv von NFS in Object Storage mit derselben pfadähnlichen Struktur zu spiegeln. Dazu werden RCLONE-Befehle verwendet, die den folgenden ähnlich sind:

cd archive
rclone copy . <the_rclone_config>:BucketName/

Je nachdem, wie die Anwendung entwickelt wird, können die vorhandenen Prozesse weiterhin an die vorhandenen Speicherorte schreiben, bis ein Cutover stattfindet. Zu diesem Zeitpunkt wurde das gesamte Archiv kopiert, der Anwendungscode wird aus dem Objektspeicher gelesen, und neue Dateien werden in das neue Archiv generiert location.While die genaue Reihenfolge der Cutover-Ereignisse wird von jedem Fall abhängen, am Ende der Migration kann das Hauptarchiv von NFS-basierten Dateien gelöscht werden. Zu diesem Zeitpunkt wird die Abrechnung die Einsparungen widerspiegeln. Die Batchverarbeitung kann erfolgen, und über Standard-Shellskripte können große Hierarchien von Dateien über RCLONE in Object Storage kopiert werden.

Während die genauen Details der Reihenfolge der Vorgänge implementierungsspezifisch sind, wird am Ende des Prozesses der Archivbereich der NFS-Freigabe bereinigt, sobald sich die Archivdateien sicher in Object Storage befinden. Bei jeder Batchausführung werden neue Archivdateien erstellt, die vor dem Löschen über RCLONE in Object Storage kopiert werden.