Enregistrer une seule page web (avec des images d'arrière-plan) avec Wget

De la Page de manuel Wget :

En fait, pour télécharger une seule page et tous ses éléments (même si ils existent sur des sites web séparés), et s'assurer que le lot s'affiche s'affiche correctement localement, cet auteur aime utiliser quelques options en plus de à '-p' :

wget -E -H -k -K -p http://www.example.com/

Également dans le cas robots.txt vous empêche d'ajouter -e robots=off

El wget offre l'option --mirror qui fait la même chose que :

$ wget -r -N -l inf --no-remove-listing

Vous pouvez également ajouter -x pour créer une hiérarchie de répertoires complète pour le site, y compris le nom d'hôte.

Vous n'avez peut-être pas pu le trouver si vous n'utilisez pas la toute dernière version de wget cependant.

On dirait que wget et Firefox n'analysent pas les CSS des liens pour inclure ces fichiers dans le téléchargement. Vous pouvez contourner ces limitations en téléchargeant ce que vous pouvez, et en créant un script pour l'extraction des liens à partir de tout CSS ou Javascript dans les fichiers téléchargés afin de générer une liste des fichiers que vous avez manqués. Ensuite, une deuxième exécution de wget sur cette liste de liens pourrait saisir ce qui a été manqué (utiliser la fonction -i pour spécifier un fichier listant les URLs).

Si vous aimez Perl, il y a une CSS::Parser sur CPAN qui peut vous donner un moyen facile d'extraire des liens de cette manière.

Notez que wget n'analyse que certaines balises html ( href / src ) et les uris css ( url() ) pour déterminer quels sont les requis de la page à obtenir. Vous pouvez essayer d'utiliser les modules complémentaires de Firefox comme DOM Inspector ou Firebug pour déterminer si les images tierces que vous n'obtenez pas sont ajoutées par Javascript. Si c'est le cas, vous devrez recourir à un script ou à un plugin Firefox pour les obtenir également.

J'ai créé Webtography dans un but similaire : https://webjay.github.io/webtography/

Il utilise Wget et pousse le site vers un dépôt sur votre compte GitHub.

J'utilise ces arguments :

--user-agent=Webtography
--no-cookies
--timestamping
--recursive
--level=1
--convert-links
--no-parent
--page-requisites
--adjust-extension
--max-redirect=0
--exclude-directories=blog

https://github.com/webjay/webtography/blob/master/lib/wget.js#L15-L26