Documentación de Oracle Cloud Infrastructure

Sincronización de datos con Object Storage

Puede sincronizar datos de ambas formas entre un sistema de archivos Lustre y un cubo de Object Storage. Extraer datos de Object Storage a Lustre (importar datos) cuando necesite acceso de alta velocidad para el entrenamiento de IA o el procesamiento de datos. Cuando haya terminado, devuelva los resultados al almacenamiento de objetos (datos de exportación) para obtener un almacenamiento rentable a largo plazo.

Para configurar esta sincronización bidireccional, enlace un directorio Lustre a un cubo de Object Storage. Utilice este enlace para importar objetos de Object Storage a archivos Lustre y exportar de Lustre a Object Storage según sea necesario.

Al iniciar una importación o exportación, se crea un trabajo. Cada trabajo tiene un ID único, que puede utilizar para ver los detalles.

Al iniciar un trabajo de importación o exportación, se copian todos los archivos modificados y sus metadatos.

Requisitos

Antes de configurar la sincronización de objetos Lustre con Object Storage, asegúrese de lo siguiente:
  • Tiene al menos un cubo de Object Storage en la misma región y arrendamiento que el sistema de archivos Lustre. La importación y exportación entre regiones o entre arrendamientos no está soportada.
  • El sistema de archivos Lustre tiene suficiente espacio libre para contener las importaciones de datos de Object Storage.
  • Todos los permisos de IAM necesarios están configurados.

Consideraciones

Tenga en cuenta estos puntos cuando sincronice archivos entre Lustre y Object Storage:
  • Archivos nuevos y modificados de sólo copia de trabajos: en la primera exportación de un enlace, todos los archivos del sistema de archivos Lustre se copian en el cubo de Object Storage porque todo es nuevo. Los elementos que existían en el cubo antes de la exportación no se modifican. Para exportaciones posteriores, solo se copian los archivos que son nuevos o que se han actualizado desde el último trabajo; las supresiones no se reflejan en ninguna de las direcciones.
  • Enlaces físicos y cambios de solo metadatos no copiados: los trabajos de importación o exportación no copian archivos si solo sus metadatos (como un UID o una hora de modificación) han cambiado desde el último trabajo. Además, recuerde que si tiene archivos que comparten contenido a través de enlaces físicos, cada uno se trata como un archivo independiente durante la importación y exportación, por lo que pierde el enlace físico entre ellos.
  • Región única y arrendamiento: solo puede importar y exportar archivos entre cubos de Object Storage y sistemas de archivos Lustre que estén en la misma región y arrendamiento. No puede importar ni exportar entre regiones o arrendamientos.
  • Limitación de un solo trabajo: solo puede ejecutar un trabajo de importación o exportación a la vez por sistema de archivos. Si varios enlaces pertenecen al mismo sistema de archivos, sus trabajos no se pueden ejecutar simultáneamente. Sin embargo, los trabajos en diferentes sistemas de archivos se pueden ejecutar al mismo tiempo.
  • Límite de 10 enlaces: puede crear un máximo de 10 enlaces de Object Storage para cada sistema de archivos Lustre. Si necesita más enlaces, póngase en contacto con los Servicios de Soporte.
  • Edición de enlaces: puede editar enlaces para actualizar estas propiedades: nombre, compartimento de Object Storage, etiquetas y si desea sobrescribir u omitir archivos en conflicto. Para realizar cualquier otro cambio, suprima el enlace y cree uno nuevo.
  • Período de refrigeración de expansión: a veces, puede que necesite ampliar el sistema de archivos Lustre para alojar datos de Object Storage. Se aplica un enfriamiento de seis horas entre cada expansión consecutiva del sistema de archivos Lustre para el mismo recurso. Si realiza una solicitud de expansión dentro de este período de enfriamiento, se rechaza.
  • Impacto en el rendimiento: la sincronización de archivos entre Object Storage y Lustre consume ancho de banda y puede afectar ligeramente el rendimiento de Lustre durante el proceso de sincronización.

Mejores prácticas

Estas son algunas de las mejores prácticas que se deben seguir al sincronizar archivos entre Lustre y Object Storage:
  • Mantener rutas únicas: al crear Object Storage, no utilice rutas superpuestas, donde partes del directorio Lustre o la ruta del cubo de Object Storage ya están siendo utilizadas por otro enlace para el mismo sistema de archivos. Los enlaces superpuestos pueden generar copias profundas y una estructura de directorios no deseada.

    Por ejemplo, enlace /mnt/lustre/projectA a mybucket/projectA y enlace /mnt/lustre/projectB a mybucket/projectB. Esto es correcto porque el enlace utiliza una ruta de acceso única de Lustre y un prefijo de cubo de Object Storage único.

    No enlace /mnt/lustre/project a mybucket/projects y /mnt/lustre/project/reports a mybucket/project/reports porque la carpeta reports se asigna dos veces, lo que provoca sincronizaciones duplicadas, anidamiento inesperado y conflictos.

  • No Cambiar ni Utilizar Carpetas Sincronizadas durante un Trabajo de Sincronización: Espere hasta que el trabajo de sincronización (importación o exportación) haya finalizado antes de agregar, eliminar, mover, renombrar o editar cualquier archivo o carpeta dentro de la carpeta que se está sincronizando. El cambio de archivos mientras hay un trabajo de sincronización en curso puede generar resultados inesperados, como que los archivos se ignoren o se sobrescriban.

Cifrado de datos

A continuación, se muestra cómo se cifran los datos en la transferencia bidireccional entre Lustre y Object Storage:
  • Datos en tránsito: todos los datos transferidos entre Lustre y Object Storage se cifran durante el tránsito.
  • Datos estáticos: los datos importados se cifran de forma estática mediante el cifrado de volúmenes en bloque y los datos exportados al almacenamiento de objetos utilizan los mecanismos de cifrado del almacenamiento de objetos.