Remarques :

Ce tutoriel nécessite un accès à Oracle Cloud. Pour vous inscrire à un compte gratuit, reportez-vous à Introduction au niveau gratuit d'Oracle Cloud Infrastructure.
Il utilise des exemples de valeur pour les informations d'identification, la location et les compartiments Oracle Cloud Infrastructure. A la fin de l'exercice, remplacez ces valeurs par des valeurs propres à votre environnement cloud.

Migration de données vers Oracle Cloud Infrastructure Object Storage à l'aide de Rclone

Introduction

Le service Oracle Cloud Infrastructure (OCI) Object Storage est une plate-forme de stockage haute performance à l'échelle d'Internet qui offre une durabilité fiable et rentable en matière de données. Le service Object Storage peut stocker une quantité illimité de données non structurées de tout type de contenu, y compris des données analytiques et du contenu enrichi, comme des images et des vidéos.

Rclone est un programme de ligne de commande polyvalent qui synchronise les fichiers et les répertoires vers et depuis divers fournisseurs de stockage cloud ou entre un système sur site et le cloud. Rclone est un outil efficace pour migrer des données vers OCI Object Storage. Il est connu pour sa simplicité, son efficacité et sa prise en charge étendue de nombreux services cloud, y compris OCI Object Storage. Rclone prend en charge les fonctions et cas d'utilisation suivants.

Sauvegarder (et crypter) sur le stockage cloud et restaurer (et décrypter) des fichiers à partir du stockage cloud.
Les téléchargements multithread sur disque local peuvent être utilisés.
Mettre en miroir les données cloud vers d'autres services cloud ou en local.
Migrez les données vers OCI, ou entre les fournisseurs de stockage cloud et OCI ou depuis un environnement sur site vers OCI.
Montez un stockage cloud multiple, crypté, mis en cache ou diversifié en tant que disque.
Les opérations de transfert peuvent être redémarrées à tout moment.
Opération de copie des fichiers nouveaux ou modifiés vers OCI Object Storage.
Option de synchronisation (unidirectionnelle) pour rendre un répertoire identique.
Implique des transferts côté serveur pour minimiser l'utilisation de la bande passante locale.
Recherchez les fichiers manquants entre la source et OCI Object Storage.
Prendre en charge l'opération de déplacement des fichiers vers OCI Object Storage en supprimant les fichiers source/locaux après validation/vérification.
Conserve les horodatages et vérifie les sommes de contrôle.
Pas besoin d'un disque local ou d'une copie locale des données.
Montez n'importe quel système de fichiers local, cloud ou virtuel en tant que disque sur les plates-formes Windows, MacOS, Linux et FreeBSD.
Prise en charge des protocoles SFTP, HTTP, WebDAV, FTO et DLNA.
Transferts sur une bande passante limitée, connexions intermittentes.

Présentation de l'architecture du clone

L'architecture Rclone fonctionne dans deux cas d'utilisation différents.

Cloner en tant que solution centralisée ou passerelle : vous pouvez déployer Rclone dans un emplacement ou une passerelle centralisé Oracle Linux 9, monter des partages NFS ou SMB (Server Message Block (SMB) à partir de différents systèmes d'exploitation, sources ou appliances NAS, puis utiliser Rclone pour copier les données de la source locale vers OCI Object Storage.
Clonage déployé sur les serveurs NFS ou SMB : vous pouvez déployer le clonage directement sur les serveurs NFS ou SMB pour copier les données de la source locale directement vers OCI Object Storage. Ce modèle ne nécessite pas l'exécution de Rclone sur un serveur dans un emplacement centralisé.

Public visé

Administrateurs système, administrateurs d'application, propriétaires de système et d'application, propriétaires de base de données et développeurs qui souhaitent migrer des données vers OCI Object Storage.

Objectif

Transférez efficacement les données vers OCI Object Storage à l'aide de Rclone.

Prérequis

Serveur Oracle Linux 8 ou 9 ou serveur de plate-forme Windows.

Remarque : Rclone prend en charge plusieurs systèmes d'exploitation. Pour plus d'informations sur les systèmes d'exploitation actuellement pris en charge, reportez-vous à la documentation d'installation de Clone.
Accès à un compte Oracle Cloud Infrastructure et à la console OCI.
Fichier de configuration OCI. Pour plus d'informations, reportez-vous à SDK et fichier de configuration.
Droits d'accès permettant de gérer les ressources OCI Object Storage. Pour plus d'informations, reportez-vous à Stratégies courantes et à Référence de stratégie.
Un bucket OCI Object Storage : bucket dans OCI Object Storage où les données seront transférées. Pour plus d'informations, reportez-vous à Création d'un bucket OCI Object Storage.
Données locales : à partir d'un serveur local, de partages NFS ou SMB.
Logiciel Rclone.
libsmbclient.x86_64 : sous Linux, la dernière version de la bibliothèque client SMB est requise, vérifiez la version et installez-la à l'aide des commandes suivantes.

Tâche 1 : installation de Rclone sous Windows

Remarque : si vous utilisez Linux, passez à la tâche 2.

Téléchargez et installez la dernière version de Rclone pour Windows. Pour plus d'informations, reportez-vous à Rclone.
Extrayez le fichier et ajoutez le fichier extrait à la variable d'environnement PATH du système Windows pour faciliter l'accès à la ligne de commande.

Tâche 2 : installation de Rclone sous Linux

La première méthode consiste à exécuter un script d'installation curl. Exécutez la commande curl suivante pour télécharger et installer Rclone.
```
curl https://rclone.org/install.sh | sudo bash
```
Ou

Rcloner l'installation via des fichiers binaires précompilés. Téléchargez le fichier binaire précompilé.
```
curl -O https://downloads.rclone.org/rclone-current-linux-amd64.zip 
or
wget https://downloads.rclone.org/rclone-current-linux-amd64.zip
```
Remarque : si vous avez utilisé la commande curl pour installer le clone, accédez à la tâche 3.
Décompressez le fichier binaire et accédez au répertoire binaire.
```
unzip rclone-current-linux-amd64.zip
cd rclone-*-linux-amd64
```

Copiez le fichier binaire dans /usr/bin/ et définissez les droits d'accès.

cp rclone /usr/bin
chown root:root /usr/bin/rclone
chmod 755 /usr/bin/rclone

Installez la page de manuel Rclone.

mkdir -p /usr/local/share/man/man1
cp rclone.1 /usr/local/share/man/man1/
mandb

Tâche 3 : configuration du clonage pour OCI Object Storage

Ouvrez l'interface de ligne de commande Oracle Linux et exécutez la commande rclone config. Cette commande démarre un processus de configuration interactif.
Créez un nom distant pour OCI Object Storage, entrez n dans le menu, puis entrez un nouveau nom pour votre configuration distante OCI (par exemple : oci-object-01).
Choisissez le type de stockage, sélectionnez le numéro correspondant à Oracle Cloud Infrastructure Object Storage 34.
Choisissez le fournisseur d'authentification à utiliser par Rclone. Par exemple, nous allons utiliser l'option 2.
Entrez l'espace de noms Object Storage, l'ID de compartiment Object Storage, la région Object Storage et l'adresse pour l'API Object Storage.

Remarque : l'adresse de l'API Object Storage est facultative. Laissez ce champ vide pour utiliser l'adresse par défaut de la région.
Entrez le chemin complet du fichier de configuration OCI et les informations config_profile.
Les options de configuration avancées ne sont pas requises. Sélectionnez n pour accepter les paramètres par défaut.
Un récapitulatif de la configuration Rclone s'affiche. Si tout semble correct, sélectionnez y pour enregistrer la configuration.
Effectuez un test de connexion au bucket OCI Object Storage avant de passer aux activités de migration et de transfert de données en masse à l'aide d'une commande rclone ls.
```
rclone ls OCIStorage:your-bucket-name
```

Exemple de migration à partir d'un répertoire Linux local

Pour cet exemple, nous utilisons le répertoire /source en tant que source de stockage locale dans notre serveur Oracle Linux et un bucket OCI Object Storage nommé test-bucket en tant que cible. Les utilisateurs d'une plate-forme Windows peuvent suivre en créant un dossier nommé source et en créant des fichiers dans le dossier à copier vers le bucket OCI Object Storage.

Nous commençons par le bucket OCI Object Storage vide nommé test-bucket.

Remarque : vous pouvez créer des buckets à l'aide de la console OCI ou de l'interface de ligne de commande OCI.
Le répertoire /source contient cinq fichiers texte.

Remarque : vous pouvez créer des fichiers texte à l'aide de la commande touch ou de l'éditeur de vos préférences, tel que vim. Si vous utilisez la plate-forme Windows, vous pouvez créer des fichiers à l'aide du Bloc-notes dans un dossier nommé source et continuer à utiliser les commandes rclone.
Utilisez la commande rclone copy pour transférer des données du dossier /source sur le serveur Oracle Linux vers le bucket OCI Object Storage test-bucket.
```
rclone copy /path/to/local/data OCIStorage:your-bucket-name
```
Exemple :
```
rclone copy /source/ oci:test-bucket
```
Dans la console OCI, accédez à la page de détails OCI Object Storage pour le bucket nommé test-bucket. Le bucket contient désormais les fichiers texte migrés à partir du répertoire /source sur le serveur Oracle Linux.
Supprimez tous les fichiers dans OCI Object Storage test-bucket à l'aide de la commande rclone delete.
```
rclone delete oci:test-bucket
```

L'exemple de commande ci-dessous inclut des options avancées telles que les flux multithread, la progression du transfert de données, la taille du tampon, etc. Explorez les options avancées de clonage pour déterminer les options qui correspondent le mieux à votre cas d'utilisation.

rclone -vvv --progress --stats-one-line --max-stats-groups 10 --log-format date,time,UTC,longfile --fast-list --buffer-size 256Mi --oos-no-check-bucket --oos-upload-cutoff 10Mi --multi-thread-cutoff 16Mi --multi-thread-streams 3000 --transfers 3000 --checkers 64 --retries 2 --oos-chunk-size 10Mi --oos-upload-concurrency 10000 --oos-attempt-resume-upload --oos-leave-parts-on-error sync /root/source/ oci:test-bucket

Remarque : mettez régulièrement à jour Rclone pour utiliser les dernières fonctionnalités et améliorations.

Remerciements

Auteur - Anderson Souza (directeur principal, gestion des produits)

Ressources de formation supplémentaires

Parcourez d'autres ateliers sur docs.oracle.com/learn ou accédez à davantage de contenus de formation gratuits sur le canal Oracle Learning YouTube. De plus, rendez-vous sur education.oracle.com/learning-explorer pour devenir un explorateur Oracle Learning.

Pour obtenir de la documentation sur le produit, visitez Oracle Help Center.

Informations relatives au titre et au copyright

Migrate Data to Oracle Cloud Infrastructure Object Storage Using Rclone

F91151-01

January 2024