Copier localement une grande arborescence de répertoires ? cp ou rsync ?

Pour copier sur le système de fichiers local, j'ai tendance à utiliser rsync avec les options suivantes :

# rsync -avhW --no-compress --progress /src/ /dst/

Voici mon raisonnement :

-a is for archive, which preserves ownership, permissions etc.
-v is for verbose, so I can see what's happening (optional)
-h is for human-readable, so the transfer rate and file sizes are easier to read (optional)
-W is for copying whole files only, without delta-xfer algorithm which should reduce CPU load
--no-compress as there's no lack of bandwidth between local devices
--progress so I can see the progress of large files (optional)

J'ai constaté des transferts 17% plus rapides en utilisant les paramètres rsync ci-dessus par rapport à la commande tar suivante, comme suggéré par une autre réponse :

# (cd /src; tar cf - .) | (cd /dst; tar xpf -)

Lorsque je dois copier une grande quantité de données, j'utilise généralement une combinaison de tar et rsync. Le premier passage est de le tarer, quelque chose comme ceci :

# (cd /src; tar cf - .) | (cd /dst; tar xpf -)

En général, avec une grande quantité de fichiers, il y en a certains que tar ne peut pas traiter pour une raison quelconque. Ou bien le processus peut être interrompu, ou encore, s'il s'agit d'une migration de système de fichiers, il est préférable de faire la copie initiale avant l'étape de migration proprement dite. En tout cas, après la copie initiale, je fais une étape rsync pour synchroniser le tout :

# cd /dst; rsync -avPHSx --delete /src/ .

Notez que la barre oblique de fin sur /src/ est important.

Ce fil de discussion a été très utile et comme il y avait beaucoup d'options pour obtenir le résultat, j'ai décidé d'en évaluer quelques-unes. Je pense que mes résultats peuvent être utiles à d'autres personnes pour avoir une idée de ce qui a fonctionné le plus rapidement.

Pour déplacer 532Gb de données réparties entre 1 753 200 fichiers nous avons eu ces moments :

• rsync a pris 232 minutes
• tar a pris 206 minutes
• cpio a pris 225 minutes
• rsync + parallel a pris 209 minutes

Dans mon cas, j'ai préféré utiliser rsync + parallel . J'espère que ces informations aideront davantage de personnes à se décider parmi ces alternatives.

Le référentiel complet est publié aquí

Rsync

Voici le rsync que j'utilise, je préfère cp pour les commandes simples, pas ça.

$ rsync -ahSD --ignore-errors --force --delete --stats $SRC/ $DIR/

cpio

Voici un moyen encore plus sûr, cpio. C'est à peu près aussi rapide que tar, peut-être un peu plus.

$ cd $SRC && find . -mount -depth -print0 2>/dev/null | cpio -0admp $DEST &>/dev/null

tar

C'est également une bonne chose, et cela continue sur les échecs de lecture.

$ tar --ignore-failed-read -C $SRC -cf - . | tar --ignore-failed-read -C $DEST -xf -

Notez qu'il ne s'agit que de copies locales.