Note:

• Este tutorial requiere acceso a Oracle Cloud. Para registrarse en una cuenta gratuita, consulte Introducción a la cuenta gratuita de Oracle Cloud Infrastructure.
• Utiliza valores de ejemplo para credenciales, arrendamiento y compartimentos de Oracle Cloud Infrastructure. Al finalizar el laboratorio, sustituya estos valores por otros específicos del entorno en la nube.

Migración de datos a Oracle Cloud Infrastructure Object Storage mediante Rclone

Introducción

El servicio Oracle Cloud Infrastructure (OCI) Object Storage es una plataforma de almacenamiento de alto rendimiento a escala de Internet que ofrece durabilidad de datos fiable y rentable. El servicio Object Storage puede almacenar una cantidad ilimitada de datos no estructurados de cualquier tipo de contenido, incluidos los datos analíticos y el contenido enriquecido, como imágenes y vídeos.

Rclone es un programa de línea de comandos versátil que sincroniza archivos y directorios hacia y desde varios proveedores de almacenamiento en la nube o entre entornos locales y en la nube. Rclone es una herramienta eficaz para migrar datos a OCI Object Storage. Es conocida por su simplicidad, eficiencia y amplio soporte para numerosos servicios en la nube, incluido OCI Object Storage. Rclone soporta las siguientes funciones y casos de uso.

• Realice una copia de seguridad (y cifre) en el almacenamiento en la nube y restaure (y descifre) los archivos del almacenamiento en la nube.
• Se pueden utilizar descargas multithread en la función de disco local.
• Cree reflejos de datos en la nube a otros servicios en la nube o localmente.
• Migra datos a OCI, o entre proveedores de almacenamiento en la nube y OCI, o de entornos locales a OCI.
• Monte varios tipos de almacenamiento en la nube, cifrados, almacenados en caché o diversos como disco.
• Las operaciones de transferencia se pueden reiniciar en cualquier momento.
• Operación de copia de archivos nuevos o modificados en OCI Object Storage.
• Opción de sincronización (una forma) para que un directorio sea idéntico.
• Implica transferencias del lado del servidor para minimizar el uso del ancho de banda local.
• Compruebe si faltan archivos entre el origen y OCI Object Storage.
• Soporte para mover la operación de archivos a OCI Object Storage suprimiendo los archivos de origen/locales después de la validación/verificación.
• Conserva los registros de hora y verifica los totales de control.
• No es necesario un disco local ni una copia local de los datos.
• Monte cualquier sistema de archivos local, virtual o en la nube como disco en plataformas Windows, MacOS, Linux y FreeBSD.
• Admite protocolos SFTP, HTTP, WebDAV, FTO y DLNA.
• Transfiere por ancho de banda limitado, conexiones intermitentes.

Descripción general de la arquitectura de Rclone

La arquitectura de Rclone funciona en dos casos de uso diferentes.

• Rclone como solución de gateway o centralizada: puede desplegar Rclone en una ubicación o gateway centralizado de Oracle Linux 9, montar recursos compartidos de Network File System (NFS) o Server Message Block (SMB) desde diferentes sistemas operativos, orígenes o dispositivos de almacenamiento conectado a red (NAS) y, a continuación, utilizar Rclone para copiar los datos del origen local en OCI Object Storage.

  

• Clonación desplegada en los servidores NFS o SMB: puede desplegar Rclone directamente en los servidores NFS o SMB para copiar datos del origen local directamente en OCI Object Storage. Este modelo no necesita que Rclone se ejecute en un servidor en una ubicación centralizada.

  

Público Objetivo

Administradores del sistema, administradores de aplicaciones, propietarios de sistemas y aplicaciones, propietarios de bases de datos y desarrolladores que desean migrar datos a OCI Object Storage.

Objetivo

• Transfiera datos de forma efectiva a OCI Object Storage mediante Rclone.

Requisitos

• Servidor Oracle Linux 8 o 9 o un servidor de plataforma Windows.

  Nota: Rclone soporta varios sistemas operativos. Para obtener más información sobre los sistemas operativos admitidos actualmente, consulte la documentación de instalación de clonación.

• Acceso a una cuenta de Oracle Cloud Infrastructure y a la consola de OCI.

• Un archivo de configuración de OCI. Para obtener más información, consulte SDK and Configuration File.

• Permisos para gestionar recursos de OCI Object Storage. Para obtener más información, consulte Políticas comunes y la Referencia de políticas.

• Un cubo de OCI Object Storage: un cubo de OCI Object Storage en el que se transferirán los datos. Para obtener más información, consulte Creación de un cubo de OCI Object Storage.

• Datos locales: desde un servidor local, recursos compartidos NFS o SMB.

• Software Rclone.

• libsmbclient.x86_64: en Linux, se necesita la versión más reciente de la biblioteca de cliente SMB, compruebe la versión e instálela con los siguientes comandos.

  

Tarea 1: Instalación de Rclone en Windows

Nota: Si utiliza Linux, vaya a la tarea 2.

1. Descargue e instale la última versión de Rclone para Windows. Para obtener más información, consulte Rclone.

2. Extraiga el archivo y agregue el archivo extraído a la variable de entorno PATH del sistema Windows para facilitar el acceso a la línea de comandos.

Tarea 2: Instalación de Rclone en Linux

1. El primer método es ejecutar un script de instalación curl. Ejecute el siguiente comando curl para descargar e instalar Rclone.

   curl https://rclone.org/install.sh | sudo bash
   

   O bien:

   Instalación de Rclone mediante binarios precompilados. Descargue el binario precompilado.

   curl -O https://downloads.rclone.org/rclone-current-linux-amd64.zip 
   or
   wget https://downloads.rclone.org/rclone-current-linux-amd64.zip
   

   Nota: Si ha utilizado el comando curl para instalar Rclone, vaya a la tarea 3.

2. Descomprima el binario y cambie al directorio binario.

   unzip rclone-current-linux-amd64.zip
   cd rclone-*-linux-amd64
   

3. Copie el archivo binario en /usr/bin/ y defina los permisos.

   cp rclone /usr/bin
   chown root:root /usr/bin/rclone
   chmod 755 /usr/bin/rclone
   

4. Instale la página del comando man Rclone.

   mkdir -p /usr/local/share/man/man1
   cp rclone.1 /usr/local/share/man/man1/
   mandb
   

   

Tarea 3: Configuración de Rclone para OCI Object Storage

1. Abra la CLI de Oracle Linux y ejecute el comando rclone config. Este comando iniciará un proceso de configuración interactivo.

   

2. Cree un nombre remoto nuevo para OCI Object Storage, escriba n en el menú y, a continuación, introduzca un nombre nuevo para la configuración remota de OCI (por ejemplo: oci-object-01).

   

3. Seleccione el tipo de almacenamiento y seleccione el número correspondiente a Oracle Cloud Infrastructure Object Storage 34.

   

4. Seleccione el proveedor de autenticación que utilizará Rclone. Por ejemplo, utilizaremos la opción 2.

   

5. Introduzca el espacio de nombres de Object Storage, el ID de compartimento de Object Storage, la región de Object Storage y el punto final para la API de Object Storage.

   

   Nota: El punto final de la API de almacenamiento de objetos es opcional. Deje en blanco para utilizar el punto final por defecto para la región.

6. Introduzca la ruta de acceso completa para el archivo de configuración de OCI y la información config_profile.

   

7. Las opciones de configuración avanzada no son necesarias. Seleccione n para aceptar los parámetros por defecto.

   

8. Se mostrará un resumen de la configuración de Rclone. Si todo parece correcto, seleccione y para guardar la configuración.

   

9. Realice una prueba de conexión al cubo de OCI Object Storage antes de continuar con las actividades de migración y transferencia masiva de datos con un comando rclone ls.

   rclone ls OCIStorage:your-bucket-name
   

Ejemplo de migración desde un directorio local de Linux

Para este ejemplo, estamos utilizando el directorio /source como origen de almacenamiento local en nuestro servidor Oracle Linux y un cubo de OCI Object Storage denominado test-bucket como destino. Los usuarios de una plataforma Windows pueden seguirlo creando una carpeta denominada source y creando archivos en la carpeta que copiar en el cubo de OCI Object Storage.

1. Comenzamos con el cubo de OCI Object Storage vacío denominado test-bucket.

   

   Nota: Los cubos se pueden crear con la consola de OCI o la CLI de OCI.

2. Hay cinco archivos de texto en el directorio /source.

   

   Nota: Puede crear archivos de texto con el comando touch o el editor de su preferencia, como vim. Si utiliza la plataforma Windows, puede crear archivos mediante el Bloc de notas en una carpeta denominada source y continuar utilizando los comandos rclone.

3. Utilice el comando rclone copy para transferir datos de la carpeta /source del servidor de Oracle Linux al cubo de OCI Object Storage test-bucket.

   rclone copy /path/to/local/data OCIStorage:your-bucket-name
   

   Por ejemplo:

   rclone copy /source/ oci:test-bucket
   

4. Desde la consola de OCI, vaya a la página de detalles de OCI Object Storage del cubo denominado test-bucket. El cubo ahora contendrá los archivos de texto migrados desde el directorio /source en el servidor Oracle Linux.

   

5. Suprima todos los archivos de OCI Object Storage test-bucket con el comando rclone delete.

   rclone delete oci:test-bucket
   

6. El siguiente comando de ejemplo incluye opciones avanzadas como flujos de varios threads, progreso de la transferencia de datos, tamaño de buffer, etc. Explore las opciones avanzadas de clonación para determinar qué opciones se adaptan mejor a su caso de uso.

   rclone -vvv --progress --stats-one-line --max-stats-groups 10 --log-format date,time,UTC,longfile --fast-list --buffer-size 256Mi --oos-no-check-bucket --oos-upload-cutoff 10Mi --multi-thread-cutoff 16Mi --multi-thread-streams 3000 --transfers 3000 --checkers 64 --retries 2 --oos-chunk-size 10Mi --oos-upload-concurrency 10000 --oos-attempt-resume-upload --oos-leave-parts-on-error sync /root/source/ oci:test-bucket
   

   Nota: Actualice Rclone regularmente para utilizar las últimas funciones y mejoras.

Enlaces relacionados

• OCI Object Storage

• Documentación de OCI Object Storage

• Configuración de Rclone para OCI Object Storage

• Uso de Rclone para copiar datos dentro y fuera de OCI Object Storage

Agradecimientos

• Autor: Anderson Souza (director sénior de gestión de productos)

Más recursos de aprendizaje

Explore otros laboratorios en docs.oracle.com/learn o acceda a más contenido de aprendizaje gratuito en el canal YouTube de Oracle Learning. Además, visite education.oracle.com/learning-explorer para convertirse en Oracle Learning Explorer.

Para obtener documentación sobre el producto, visite Oracle Help Center.

---

Título e Información de Copyright

Migrate Data to Oracle Cloud Infrastructure Object Storage Using Rclone

F91151-01

January 2024

Copyright © 2024, Oracle and/or its affiliates.