Déplacer vos données vers Oracle Cloud Infrastructure

Une fois la configuration terminée, vous pouvez démarrer le transfert. En fonction de la quantité de données et de la vitesse de connexion, ce transfert peut prendre très longtemps (jours ou semaines).

Pour surveiller la progression, nous vous recommandons de démarrer le transfert en mode verbose à partir de tmux, afin que vous puissiez exécuter le processus en arrière-plan et surveiller sa progression si nécessaire.

Déplacer des données

Démarrez le transfert en mode verbose à partir de GNU Screen, de sorte que vous pouvez exécuter le processus en arrière-plan et regarder sa progression si nécessaire.

  1. Démarrez une session tmux et attribuez un nom à la session :
    $ tmux new -s<session name>
     
    Par exemple :
    $ tmux new -srclone
  2. Dans la fenêtre de terminal tmux, démarrez Rclone en mode verbose. Remplacez <destination_bucket> si nécessaire (un seau sera créé automatiquement s'il n'en existe pas déjà un).
    $ rclone --verbose --cache-workers 64 --transfers 64 --retries 32 copy $SOURCE oci:<destination_bucket>
  3. Pendant que le transfert est en cours, détachez-vous du tmux en appuyant sur Ctrl+b d
  4. Pour revenir à la session tmux pour surveiller le Rclone, entrez :
    $ tmux attach -d -t <session name>
     
    Par exemple :
    $ tmux attach -d -t rclone
  5. Si vous voulez détacher à nouveau le tmux, appuyez sur Ctrl+b d.

Note :

Le nombre optimal de gestionnaires et de transferts de mémoire cache dépend de votre cas d'utilisation particulier, de la bande passante disponible, des ressources disponibles sur la station de travail ou le serveur, et des limites de limitation appliquées par votre fournisseur de services en nuage. En général, plus le nombre de transferts et de cache-workers est élevé, plus le transfert sera rapide. Mais au-delà d'un certain nombre, vous pouvez commencer à obtenir des erreurs. Nous vous recommandons de commencer avec 64 transferts simultanés et des gestionnaires de mémoire cache et d'ajuster le nombre au besoin,

Une fois le transfert terminé, vérifiez qu'aucune erreur ne s'est produite. Si des erreurs s'affichent, essayez de réduire le nombre de gestionnaires de mémoire cache et de transferts, puis réessayez.

Vérifier le transfert

Indépendamment de la façon dont les données sont transférées vers le stockage d'objets (que ce soit à partir d'un système de fichiers local ou d'un autre fournisseur de nuage, ou par d'autres moyens), vous pouvez utiliser rclone pour vérifier si les données copiées vers le stockage d'objets sont identiques à leur source. Vous pouvez vérifier les données rapidement ou de manière plus approfondie.

Utilisez la méthode suivante pour effectuer une vérification relativement rapide :
$ rclone --verbose --cache-workers 64 --transfers 64 --retries 32 check $SOURCE oci:<destination_bucket> 

Cette méthode détecte les différences dans les seaux source et de destination en vérifiant la taille des fichiers et les codes de hachage MD5. Toutefois, les codes de hachage MD5 ne peuvent pas être utilisés pour les objets chargés à l'aide de chargements en plusieurs parties. Par conséquent, les objets volumineux ne sont vérifiés qu'en comparant leur taille de fichier, ce qui ne fournit qu'une vérification superficielle.

Pour effectuer une vérification plus approfondie, vous pouvez demander à rclone de télécharger des fichiers et de les comparer :
$ rclone --verbose --cache-workers 64 --transfers 64 --retries 32 check --download $SOURCE oci:<destination_bucket>
Bien que cette méthode effectue une comparaison plus approfondie, elle nécessite le téléchargement de copies à partir des deux magasins d'objets.

Note :

Lorsque vous effectuez une vérification au moyen de téléchargements, selon l'endroit où votre travail est exécuté, des frais de transfert de données supplémentaires peuvent s'appliquer à votre fournisseur de services en nuage existant, à Oracle ou aux deux.