1 votes

Quel est le moyen le plus rapide de combiner un grand nombre de fichiers en une seule archive ?

J'ai un répertoire contenant un grand nombre d'images jpeg (plus de 300 000 fichiers) qui font partie d'un projet. La sauvegarde et le déplacement de ce répertoire sont un véritable cauchemar, non pas en raison de sa taille (~3 Go au total), qui est assez importante mais reste gérable, mais en raison du nombre de fichiers. Les copier prend un temps fou et ralentit considérablement toute routine de sauvegarde/copie.

Comme je dois conserver ces fichiers, j'ai pensé les regrouper dans une sorte d'archive. J'essaie WinRar avec la compression "store", mais c'est assez lent. Sur ma machine de développement (2xSAS disques durs en Raid-0, dual i7) l'estimation est d'environ 100 minutes.

Ce n'est pas si grave et pour cette fois je suis prêt à attendre (c'est une opération unique), mais je suis curieux de savoir s'il existe des moyens plus rapides de le faire au cas où j'aurais le même besoin à l'avenir (avec une machine moins puissante et moins de temps).

3voto

Stefan Schweizer Points 151

Je ne pense pas. Le goulot d'étranglement ici serait la vitesse du bus du disque et les frais généraux d'accès aux fichiers. C'est pourquoi la copie de plusieurs fichiers prend tellement plus de temps qu'un seul fichier de même taille.

L'option "stocker" de Winrar accélérera certainement le processus, mais la création de l'archive sur le même disque que celui où les fichiers sont stockés le ralentira également. La création d'une archive sur un périphérique externe nuit également aux performances.

Idéalement, vous voudriez configurer votre scénario de sauvegarde avec un outil de synchronisation (tel que rsync ) qui ne sauvegardera que les fichiers nouveaux et modifiés, ce qui réduit considérablement le temps de finition.

Si vous envisagez de conserver les fichiers archivés sur votre machine locale, je pense que votre archive .rar est une bonne idée, mais je peux imaginer que le fait de devoir travailler avec ces fichiers sur votre projet, hors de l'archive, pourrait être un cauchemar.

Pour un tel volume de fichiers, il faut un disque de stockage dédié, de préférence rapide (10K+rpm), et de préférence dans un serveur de fichiers dédié.

Vous pourriez également être intéressé par le Portage Windows de tar . Tar est un archiveur rapide conçu pour regrouper tous les fichiers dans une seule archive .tar, sans aucune compression.

SistemesEz.com

SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

X