Pourquoi Zip est-il capable de compresser un seul fichier plus petit que plusieurs fichiers ayant le même contenu ?

Le format de compression zip stocke et compresse chaque fichier séparément. Il ne tire pas parti des répétitions entre les fichiers, mais uniquement à l'intérieur d'un fichier.

La concaténation du fichier permet à zip de tirer parti des répétitions dans tous les fichiers, ce qui permet une compression nettement plus importante.

Par exemple, disons que chaque fichier XML possède un certain en-tête. Cet en-tête n'apparaît qu'une seule fois dans chaque fichier mais est répété presque à l'identique dans de nombreux autres fichiers. Dans les méthodes 2 et 3, zip ne pourrait pas compresser pour cela, mais dans la méthode 4, il le pourrait.

Outre les métadonnées, Mike Scott a mentionné que l'algorithme de compression entraîne également des frais généraux.

Lors de la compression d'un ensemble de petits fichiers individuels, il faut être très chanceux pour pouvoir les compresser de manière à ce qu'ils remplissent un seul bloc de compression. Lors de la compression d'un seul bloc monolithique, le système peut simplement continuer à transmettre des données à son algorithme, en ignorant les "limites" (faute d'un meilleur terme) des fichiers individuels.

De plus, le format ASCII est connu pour avoir un facteur de compression élevé. De plus, le format xml est souvent très répétitif, ce qui fait que les métadonnées représentent une grande partie des données qui ne peuvent pas être aussi facilement compressées que le contenu xml.

Enfin, si ma mémoire est bonne, zip utilise quelque chose comme l'encodage par dictionnaire, qui est particulièrement efficace sur les fichiers ascii et encore plus sur le XML en raison de leur répétitivité.

La compression des données expliquée : http://mattmahoney.net/dc/dce.html

Considérez ce XML :

<root>
  <element id="1" />
  <element id="2" /> 
  <other id="3" />
  ...
</root>

Un XML a une structure très répétitive, Zip tire profit de ces répétitions pour construire un dictionnaire dont motif a plus d'occurrences et, lors de la compression, utilise moins de bits pour stocker plus de répétitions. motifs et plus de bits pour stocker moins de répétitions motif .

Quand vous concaténer ces fichiers, le fichier source (la source pour zip) est gros mais contient beaucoup plus des motifs répétés parce que la distribution des structures ennuyeuses d'un XML sont amorti dans le grand fichier entier, donnant la chance au ZIP de stocker ces motif en utilisant moins de bits.

Maintenant, si vous combinez différents XML dans un seul fichier, même si ces fichiers ont des noms de balises complètement différents, l'algorithme de compression trouvera la meilleure solution. motif répartition sur l'ensemble des fichiers et non fichier par fichier.

Au final, l'algorithme de compression a trouvé la meilleure distribution de motifs répétés.

En plus de la réponse de 7-Zip, il existe une autre approche qui n'est pas aussi bonne mais qui vaut la peine d'être testée si, pour une raison quelconque, vous ne voulez pas utiliser 7-Zip :

Compresser le fichier zip. Normalement, un fichier zip est incompressible, mais lorsqu'il contient un grand nombre de fichiers identiques, le compresseur peut trouver cette redondance et la compresser. Notez que j'ai également constaté un petit gain en traitant un grand nombre de fichiers sans redondance. Si vous vous souciez vraiment de la taille, cela vaut la peine d'essayer si vous avez un grand nombre de fichiers dans votre zip.