Comment copier un grand nombre (> 1 million) de petits fichiers entre deux serveurs ?

Je serais tenté de répondre "arrêtez d'abuser du système de fichiers en le traitant comme une base de données" mais je suis sûr que cela ne vous aiderait pas beaucoup ;)

Tout d'abord, vous devez comprendre que si votre limitation se situe au niveau de la bande passante disponible en lecture, il n'y a rien que vous puissiez faire pour améliorer les performances en utilisant une simple commande de synchronisation. Dans ce cas, vous devrez diviser les données lors de leur écriture, soit en changeant la façon dont les fichiers sont créés (ce qui signifie, comme vous l'avez deviné, demander aux développeurs de changer le programme source), soit en utilisant un produit qui fait du géomirroring (comme par exemple double prise Il s'agit d'un exemple, et je suis sûr que vous trouverez d'autres solutions.)

Dans des cas similaires, la cause principale du problème n'est généralement pas les données du fichier mais plutôt l'accès aux méta-données. Votre première stratégie sera donc de diviser la charge en plusieurs processus qui agissent sur des répertoires (complètement) différents : cela devrait aider le système de fichiers à continuer à vous fournir les méta-données dont vous avez besoin.

Une autre stratégie consiste à utiliser votre système de sauvegarde pour cela : rejouez vos dernières sauvegardes incrémentielles sur la cible pour maintenir la base de données synchronisée.

Enfin, il existe des stratégies plus exotiques qui peuvent être appliquées dans des cas spécifiques. Par exemple, j'ai résolu un problème similaire sur un site Windows en écrivant un programme qui chargeait les fichiers dans le système de fichiers toutes les quelques minutes, gardant ainsi le FS propre.

Je ne pense pas que quelque chose ait changé. Si vous pouvez mettre sous silence les données sur le système source, je pense que certaines variante du goudron sera le plus rapide. Sinon, rsync reste la meilleure solution, en veillant à utiliser le commutateur de fichiers entiers et un algorithme de compression moins gourmand en ressources CPU (par exemple arcfour). Avez-vous la possibilité d'effectuer une copie au niveau du bloc ? Vous mentionnez le stockage iSCSI. Le nouveau système sera-t-il également doté d'un stockage iSCSI ?