Existe-t-il un moyen de télécharger des parties du contenu d'un fichier zip ?

J'ai écrit un Python script list_remote_zip.py qui peut lister les fichiers dans un fichier zip accessible par HTTP :

import urllib2, struct, sys

def open_remote_zip(url, offset=0):
 return urllib2.urlopen(urllib2.Request(url, headers={'Range': 'bytes={}-'.format(offset)}))

offset = 0
zipfile = open_remote_zip(sys.argv[1])
header = zipfile.read(30)

while header[:4] == 'PK\x03\x04':
 compressed_len, uncompressed_len = struct.unpack('<II', header[18:26])
 filename_len, extra_len = struct.unpack('<HH', header[26:30])
 header_len = 30 + filename_len + extra_len
 total_len = header_len + compressed_len

 print('{}\n offset: {}\n length: {}\n  header: {}\n  payload: {}\n uncompressed length: {}'.format(zipfile.read(filename_len), offset, total_len, header_len, compressed_len, uncompressed_len))
 zipfile.close()

 offset += total_len
 zipfile = open_remote_zip(sys.argv[1], offset)
 header = zipfile.read(30)

zipfile.close()

Il n'utilise pas le répertoire central du fichier zip, qui se trouve vers la fin du fichier. Au lieu de cela, il part du début, analyse les en-têtes locaux individuels et passe au-dessus de la charge utile, en espérant atterrir sur un autre en-tête. Il envoie une nouvelle requête chaque fois qu'il a besoin de passer à un décalage. Bien entendu, cela ne fonctionne qu'avec les serveurs qui prennent en charge la fonction Range En-tête HTTP.

Il suffit de lui transmettre l'URL du fichier zip comme argument de ligne de commande. Un exemple d'utilisation et de sortie devrait ressembler à ceci :

$ python list_remote_zip.py http://dl.xonotic.org/xonotic-0.8.1.zip
Xonotic/Makefile
 offset: 0
 length: 1074
  header: 46
  payload: 1028
 uncompressed length: 5019
Xonotic/source/darkplaces/
 offset: 1074
 length: 56
  header: 56
  payload: 0
 uncompressed length: 0
Xonotic/source/darkplaces/bih.h
 offset: 1130
 length: 1166
  header: 61
  payload: 1105
 uncompressed length: 2508
Xonotic/source/darkplaces/portals.h
 offset: 2296
 length: 334
  header: 65
  payload: 269
 uncompressed length: 648
...

Pour télécharger un des fichiers, j'ai écrit un fichier encore plus moche get_file_from_remote_zip.sh bash script autour de lui qui utilise wget :

info=$(python list_remote_zip.py "$1" | grep -m 1 -A 5 "^$2\$" | tail -n +2)
tmpfile=$(mktemp)

wget --start-pos $(echo "$info" | grep offset | grep -o '[[:digit:]]*') -O - "$1" | head -c $(echo "$info" | grep -m 1 length | grep -o '[[:digit:]]*') >"$tmpfile"

printf '\x1f\x8b' # gzip magic
tail -c +9 <"$tmpfile" | head -c 1 # copy compression method
printf '\0\0\0\0\0\0\x03' # some flags and mtime
tail -c "+$(expr 1 + $(echo "$info" | grep header | grep -o '[[:digit:]]*'))" <"$tmpfile"
tail -c +15 <"$tmpfile" | head -c 4 # The CRCs seem to be compatible.
tail -c +23 <"$tmpfile" | head -c 4

rm "$tmpfile"

Il faut 2 arguments. Le premier est l'URL du fichier zip et le second le fichier à extraire. Le nom du fichier à extraire doit être complet et exactement tel qu'il apparaît dans le résultat de l'opération précédente. list_remote_zip.py Python script, qu'il utilise pour obtenir des informations sur le fichier. Il utilise ensuite wget pour le télécharger avec le bon décalage et la bonne longueur. Il enregistre cette "tranche" de zip dans un fichier temporaire, qui est ensuite utilisé pour produire un fichier de type gzip -qui peut ensuite être acheminé et décompressé avec la commande gzip . La "tranche" elle-même n'est pas un fichier zip valide car elle n'a pas de répertoire central à la fin. Cela pourrait être corrigé avec zip 's -FF mais j'ai décidé de changer un peu les en-têtes et de le convertir en fichier gzip. Le (PK)zip et le gzip utilisent tous les deux le même fichier déflater L'algorithme de compression et même les sommes de contrôle CRC-32 semblent être compatibles.

Voici un exemple de la façon de télécharger un fichier aléatoire à partir de l'archive de Xonotic disponible à l'adresse suivante http://dl.xonotic.org/xonotic-0.8.1.zip , le décompresser et l'enregistrer dans un fichier local :

bash get_file_from_remote_zip.sh http://dl.xonotic.org/xonotic-0.8.1.zip Xonotic/source/darkplaces/mprogdefs.h | gzip -d >mprogdefs.h