Déplacement de vos données vers Oracle Cloud Infrastructure

Une fois la configuration terminée, vous pouvez démarrer le transfert. En fonction de la quantité de données et de la vitesse de connexion, ce transfert peut prendre très longtemps (jours ou semaines).

Pour surveiller la progression, nous vous recommandons de démarrer le transfert en mode détaillé à partir de tmux, afin que vous puissiez exécuter le processus en arrière-plan et suivre sa progression si nécessaire.

Déplacer les données

Démarrez le transfert en mode détaillé à partir de GNU Screen, afin que vous puissiez exécuter le processus en arrière-plan et suivre sa progression si nécessaire.

  1. Démarrez une session tmux et attribuez un nom à la session :
    $ tmux new -s<session name>
     
    Exemple :
    $ tmux new -srclone
  2. Dans la fenêtre de terminal tmux, démarrez Rclone en mode détaillé. Remplacez <destination_bucket> si nécessaire (un bucket sera créé automatiquement s'il n'en existe pas déjà un).
    $ rclone --verbose --cache-workers 64 --transfers 64 --retries 32 copy $SOURCE oci:<destination_bucket>
  3. Pendant le transfert, détachez-vous de tmux en appuyant sur Ctrl+b d
  4. Pour revenir à la session tmux pour surveiller le clone, saisissez :
    $ tmux attach -d -t <session name>
     
    Exemple :
    $ tmux attach -d -t rclone
  5. Si vous souhaitez détacher à nouveau le tmux, appuyez sur Ctrl+b d.

Remarques :

Le nombre optimal de serveurs de cache et de transferts dépend de votre cas d'emploi spécifique, de la bande passante disponible, des ressources disponibles sur le poste de travail ou le serveur et des limites de ralentissement appliquées par votre fournisseur cloud. En général, plus le nombre de transferts et de serveurs de cache est élevé, plus le transfert sera rapide. Mais au-delà d'un certain nombre, vous pourriez commencer à obtenir des erreurs. Nous vous recommandons de commencer par 64 transferts simultanés et de travailler en cache et d'ajuster le nombre si nécessaire.

Une fois le transfert terminé, vérifiez qu'aucune erreur ne s'est produite. Si des erreurs s'affichent, essayez de réduire le nombre de processus de cache et de transferts, puis réessayez.

Vérifier le transfert

Indépendamment de la façon dont les données sont transférées vers Object Storage (que ce soit à partir d'un système de fichiers local ou d'un autre fournisseur cloud, ou par tout autre moyen), vous pouvez utiliser rclone pour vérifier si les données copiées vers Object Storage sont identiques à leur source. Vous pouvez vérifier les données rapidement ou de manière plus approfondie.

Utilisez la méthode suivante pour effectuer une vérification relativement rapide :
$ rclone --verbose --cache-workers 64 --transfers 64 --retries 32 check $SOURCE oci:<destination_bucket> 

Cette méthode détecte les différences entre les buckets source et de destination en vérifiant la taille des fichiers et les hachages MD5. Toutefois, les hachages MD5 ne peuvent pas être utilisés pour les objets téléchargés à l'aide de téléchargements multipart. Par conséquent, les objets LOB ne sont vérifiés qu'en comparant leur taille de fichier, ce qui n'offre qu'une vérification superficielle.

Pour effectuer une vérification plus approfondie, vous pouvez demander à rclone de télécharger des fichiers et de les comparer :
$ rclone --verbose --cache-workers 64 --transfers 64 --retries 32 check --download $SOURCE oci:<destination_bucket>
Bien que cette méthode effectue une comparaison plus approfondie, elle nécessite le téléchargement de copies à partir des deux banques d'objets.

Remarques :

Lorsque vous effectuez une vérification avec des téléchargements, selon l'endroit où votre travail est exécuté, des frais de transfert de données supplémentaires peuvent vous être facturés par votre fournisseur cloud existant, Oracle ou les deux.