Migración

La solución que se utiliza aquí es separar el recurso compartido NFS grande lógicamente en dos áreas:

  • Un área denominada recurso compartido NFS operativo que contiene solo datos en flujo, aún por procesar, y para procesamiento posterior y reprocesamiento.
  • Área temporal que se puede limpiar regularmente.

Para el área temporal del almacén NFS, se crea un cubo de OCI Object Storage con la intención de duplicar la estructura de directorios grande dentro del archivo NFS mediante la nomenclatura de ruta/objeto estándar.

Tenga en cuenta que no se realizan cambios en la estructura NFS, aparte de la expectativa de que el directorio de archivo (20 TB+) se copie en Object Storage con el tiempo. Los datos en el área operativa se procesan, comprueban y mantienen en el área temporal temporal como antes. Una vez finalizados, los datos se mueven al archivo basado en objetos y se limpia el área temporal temporal. El mecanismo para copiar objetos del recurso compartido NFS operativo local en el cubo de archivo puede ser RCLONE u OCIFS.

Para la parte de archivo del sistema de archivos NFS, utilizaremos el bloque de objetos creado anteriormente. Nuestra intención es duplicar el archivo de gran tamaño de NFS en Object Storage con la misma estructura de ruta. Para ello, se utilizan comandos de RCLONE similares a los siguientes:
cd archive
rclone copy . <the_rclone_config>:BucketName/

Tenga en cuenta que, dependiendo de cómo se desarrolle la aplicación, los procesos existentes pueden seguir escribiendo en las ubicaciones existentes hasta que se realice un corte. En ese momento, se ha copiado todo el archivo, se lee el código de la aplicación del almacenamiento de objetos y se generan nuevos archivos en el nuevo archivo location.While. El orden exacto de los eventos de migración total dependerá de cada caso. Al final de la migración, se puede suprimir el archivo principal de archivos basados en NFS. En ese momento, la facturación reflejará los ahorros. Se puede realizar el procesamiento por lotes y, mediante scripts de shell estándar, se pueden copiar grandes jerarquías de archivos en Object Storage mediante RCLONE.

Si bien los detalles exactos del orden de las operaciones son específicos de la implementación, al final del proceso, el área de archivo del recurso compartido NFS se limpia una vez que los archivos de almacenamiento están seguros en Object Storage. Cada ejecución por lotes provoca la creación de nuevos archivos de almacenamiento, que se copian en Object Storage a través de RCLONE antes de la supresión.