Déplacement d'un grand nombre de fichiers (~ 100 000)

J'ai eu une expérience similaire auparavant, c'est normal lorsqu'on a affaire à un grand nombre de fichiers. J'avais une grande collection de fiches de données PDF (pièces électroniques).

Les outils GUI vérifient certains détails du fichier et méta-données (Icône/Thumbnail, Taille, ...), ce sera un gros problème dans ce cas. Même en Vue des icônes et sans vignettes, ils se figeront car la plupart d'entre eux ne sont pas conçus pour un cas aussi extrême. Les outils GUI essaient de charger des icônes de présentation pour tous les fichiers/dossiers du répertoire, même si ces éléments ne sont pas visibles pour l'utilisateur dans la partie courante de l'écran. Triage fait également partie du problème et il n'y a aucun moyen de l'éviter.

• J'ai fini par répartir les fichiers dans des dossiers séparés en fonction de la marque et du modèle (moins de 10000 chacun). Vous pouvez peut-être utiliser la date (comme la plupart des gens le font avec les photos/scans) ou la ou les premières lettres (comme dans Dépôt de paquets Ubuntu )
• Il est plus facile d'utiliser les outils CLI car ils ne montrent que ce que vous avez demandé. Vous pouvez utiliser locate pour une recherche rapide au lieu de find .

• Pour l'opération de déplacement, utilisez mv dans un terminal (les outils GUI sont lents car ils essaient de mettre à jour la vue périodiquement).

  S'il est dans la même partition, la commande ne changera que les pointeurs dans l'index du système de fichiers. Sinon, il s'agira d'une double opération (copie et suppression). Ce qui sera coûteux.

Il n'y a qu'un seul cas où je peux vous aider, si vous copiez ces fichiers plusieurs fois et qu'ils ne sont pas mis à jour. Comme je l'ai fait lorsque je partage ma collection avec des amis, chaque fois que j'essaie de copier, cela prend une décennie. (Ceci est plus utile pour les fichiers de petite taille uniquement).

• Créez un seul paquet ou quelques paquets, comme un zip avec une compression faible ou nulle. Lorsque vous le copierez, il sera plus rapide, donc laissez DMA faire son travail.

Si vous recherchez une solution qui vous donne les avantages des opérations en ligne de commande avec la sensation et la flexibilité de l'interface graphique combinées, je recommande mc ( commandant de minuit ).

C'est un gestionnaire de fichiers visuel basé sur les ncurses - vous avez une vue à deux volets sur vos fichiers et un menu disponible. L'utilisation de la souris est possible, même par ssh. Vous pouvez naviguer dans votre fs, inspecter les fichiers avec la visionneuse de fichiers, filtrer selon des critères à la volée et faire effectuer les opérations de copie ou de déplacement en ligne de commande.

C'est un clone du programme DOS. Commandant Norton qui était populaire au milieu des années 80. Il fonctionne bien lorsque l'interface graphique commence à devenir peu fiable pour moi, et il est idéal pour votre objectif.

J'ai rencontré des problèmes similaires - je testais ma configuration RAID et lors de transferts importants (par exemple 100 000+ fichiers et 1-2 TB de données en une seule fois), il semble que les transferts commencent assez rapidement - disons ~200MB/sec, puis ralentissent rapidement jusqu'à un plateau raisonnable ~90-120MB/sec (peut-être après avoir consommé un peu de mémoire cache flash sur les disques). Puis, après 20-30 minutes, l'opération commence à chuter progressivement jusqu'à un plateau beaucoup plus bas ~30-40MB/sec, ce qui est pire lorsqu'il s'agit de petits fichiers - faisant passer une opération de 4-5 heures à 15 heures.

J'ai passé un certain temps à essayer de diagnostiquer - par exemple, les défauts possibles de l'entraînement. Malgré l'essai de différents outils - ligne de commande, nautilus, je n'ai pas pu maintenir un débit décent pour les opérations de copie très importantes.

Ce qui fonctionnait le mieux pour moi était d'utiliser midnight commander, et quand la copie devenait lente, je mettais l'opération en pause jusqu'à ce que le voyant du disque dur s'éteigne après que toutes les opérations en attente aient été vidées - généralement une minute ou plus - puis je remettais MC en pause et cela reprenait un rythme décent pendant 20-30 minutes. Plutôt ennuyeux cependant.