12 votes

Faire en sorte que wget ne télécharge pas les fichiers d'une taille supérieure à X

Ok, j'abandonne. Comment puis-je limiter la taille des fichiers à télécharger, par exemple en ne voulant pas de fichiers de plus de 2 Mo ?

6voto

Dalroth Points 2468

La seule option de limitation que je connaisse qui wget soutient est le -Q pour les quotas. Ce n'est pas ce que vous voulez cependant, car il s'arrêtera après un limite combinée de tous les fichiers que vous avez téléchargés, et non pas individuellement. En faisant passer chaque lien séparément avec la balise -Q ne fonctionnera pas non plus, comme expliqué dans la section page de manuel .

Je ne sais pas quel environnement vous utilisez, mais chenille prend en charge les limitations de taille de fichier avec max-length-bytes et fonctionne sur la plate-forme Java.

de leur manuel utilisateur :

  • Longueur maximale des octets

Nombre maximum d'octets à télécharger par document. Le fichier sera tronqué une fois que cette limite est atteinte.

Par défaut, cette valeur est fixée à un valeur extrêmement élevée (de l'ordre de l'exaoctet d'exaoctets) qui ne sera jamais atteinte en pratique.

0 votes

Hmmm. Bon. Ça répète une grande partie de ce que j'ai découvert, mais bonne réponse quand même. Je ne savais pas que Heritrix tronquait les fichiers au lieu de les sauter, cependant.

3voto

Tabakhase Points 131

S'il s'agit de " téléchargement 2MB max " plutôt que " télécharger des fichiers de 2MB maximum "vous pourriez simplement limiter la sortie enregistrée sur le disque.

wget -O - $url |head -c 1024 (avec une option > $SaveAsFile ) -> sauvegarde le premier KB et le reste est tronqué.

(assez pour voir un " OK:$Message ", ne pas tuer mon /tmp avec des tonnes de messages d'erreur provenant de la télécommande ;-))

1voto

Cela est possible grâce à des correctifs de tierces parties : http://yurichev.com/wget.html

0 votes

Consultez le site ce poste vous devez.

0 votes

@KronoS il y a un bouton "modifier" juste là si vous pensez que la réponse doit être développée. Personnellement, cela me semble correct tel quel, étant donné que la phrase 1 de la page liée explique la nouvelle option

SistemesEz.com

SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

X