Lenteur de RSYNC lors de la copie des fichiers
L'exécution de l'opération rsync
est très lente sur un système de fichiers.
Cause : rsync
est une opération en série. Elle est donc lente lors de la copie d'un système de fichiers volumineux, en particulier si des clichés sont inclus dans le processus.
Solution : utilisez l'une des options suivantes :
- Outil GNU parallel pour exécuter
rsync
en parallèle. Par exemple :time find /mnt/MyFileSystem -mindepth 1 -maxdepth 1 | parallel -P100 rsync --archive --perms --owner --group --xattrs --acls --recursive --delete --compress --exclude=.snapshot --ignore-errors --progress --log-file=$HOME/rsync/logs/test.log1 --quiet -e ssh {} root@10.0.3.6:/mnt/rsync_target
Pour plus d'informations, reportez-vous à GNU parallel - Projet GNU.
- Outils de fichiers parallèles pour File Storage
Pour plus d'informations et d'exemples, reportez-vous à Utilisation des outils de fichiers parallèles pour File Storage.
- Commande
find
avec l'optionxargs
. Par exemple :find ${source_dir} -mindepth 1 -maxdepth 1 | xargs -P 24 -I {} rsync --archive --perms --owner --group --xattrs --acls --recursive --delete --compress --log-file=<logfile_path> -quiet -e ssh {} <destination_user>@<destination_instance>:<destination_dir>
Pour plus d'informations, reportez-vous aux pages de manuel Linux find(1) et xargs(1).
- Si vous utilisez
rsync
pour copier des fichiers d'une région vers une autre, reportez-vous à Lenteur de la copie de fichiers d'une région vers une autre à l'aide de RSYNC ou de FPSYNC.