460 votes

Comment puis-je télécharger un site web entier ?

Comment puis-je télécharger toutes les pages d'un site web ?

N'importe quelle plateforme convient.

2 votes

0 votes

@tnorthcutt, je suis aussi surpris. Si je ne me trompe pas, ma réponse à Wget était la réponse acceptée, et cela semblait être une chose établie. Je ne me plains pas pour autant - tout d'un coup, le regain d'attention m'a donné plus que la valeur de la prime en termes de réputation :P

0 votes

Avez-vous essayé IDM ? superuser.com/questions/14403/ mon message est enterré. Qu'est-ce qui vous a manqué dans IDM ?

422voto

Funkatron Points 757

HTTRACK fonctionne à merveille pour copier le contenu d'un site entier. Cet outil peut même saisir les éléments nécessaires pour faire fonctionner hors ligne un site Web dont le contenu est en code actif. Je suis étonné de voir tout ce qu'il peut reproduire hors ligne.

Ce programme fera tout ce que vous lui demanderez.

Bonne chasse !

10 votes

J'utilise ce produit depuis des années - fortement recommandé.

0 votes

Vous pouvez également limiter la vitesse de téléchargement afin de ne pas utiliser trop de bande passante au détriment de tous les autres.

0 votes

Finalement celui-ci est un peu mieux que les autres ;)

343voto

Florian Points 911

Wget est un outil classique de ligne de commande pour ce type de tâche. Il est fourni avec la plupart des systèmes Unix/Linux, et vous pouvez l'obtenir à l'adresse suivante pour Windows aussi. Sur un Mac, Homebrew est le moyen le plus simple de l'installer ( brew install wget ).

Vous feriez quelque chose comme :

wget -r --no-parent http://site.com/songs/

Pour plus de détails, voir Manuel de Wget et son exemples ou, par exemple, ceux-ci :

19 votes

Il n'y a pas de meilleure réponse que celle-ci - wget peut tout faire :3

9 votes

+1 pour l'inclusion de --no-parent. utilisez définitivement --mirror au lieu de -r. et vous pourriez vouloir inclure -L/--relative pour ne pas suivre les liens vers d'autres serveurs.

1 votes

Je ne pense pas avoir utilisé --mirror moi-même, donc je ne l'ai pas mis dans la réponse. (Et c'est no vraiment complètement "auto-explicatif" comme le dit la réponse de Paul...) Si vous voulez expliquer pourquoi c'est mieux que -r, j'apprécierais !

220voto

Utilisez wget :

wget -m -p -E -k www.example.com

Les options expliquées :

-m, --mirror            Turns on recursion and time-stamping, sets infinite 
                          recursion depth, and keeps FTP directory listings.
-p, --page-requisites   Get all images, etc. needed to display HTML page.
-E, --adjust-extension  Save HTML/CSS files with .html/.css extensions.
-k, --convert-links     Make links in downloaded HTML point to local files.
-np, --no-parent        Don't ascend to the parent directory when retrieving 
                        recursively. This guarantees that only the files below 
                        a certain hierarchy will be downloaded. Requires a slash 
                        at the end of the directory, e.g. example.com/foo/.

13 votes

+1 pour avoir fourni les explications pour les options suggérées. (Bien que je ne pense pas que --mirror est très explicite. Voici un extrait de la page de manuel : " Cette option active la récursion et l'horodatage, définit une profondeur de récursion infinie et conserve les listes des répertoires FTP. Elle est actuellement équivalente à -r -N -l inf --no-remove-listing ")

3 votes

Si vous ne voulez pas tout télécharger dans un dossier portant le nom du domaine que vous voulez mettre en miroir, créez votre propre dossier et utilisez l'option -nH (qui ignore la partie hôte).

5 votes

Et si l'autorisation est obligatoire ?

7voto

rjray Points 341

Gestionnaire de téléchargement Internet dispose d'un utilitaire Site Grabber doté de nombreuses options - qui vous permet de télécharger complètement n'importe quel site Web, de la manière dont vous le souhaitez.

  1. Vous pouvez fixer une limite à la taille des pages/fichiers à télécharger.

  2. Vous pouvez définir le nombre de sites de succursales à visiter.

  3. Vous pouvez modifier le comportement des scripts/popups/duplicates.

  4. Vous pouvez spécifier un domaine, et ce n'est que sous ce domaine que toutes les pages/fichiers répondant aux paramètres requis seront téléchargés.

  5. Les liens peuvent être convertis en liens hors ligne pour la navigation.

  6. Vous disposez de modèles qui vous permettent de choisir les paramètres ci-dessus pour vous

enter image description here

Le logiciel n'est cependant pas gratuit - pour voir s'il répond à vos besoins, utilisez la version d'évaluation.

7voto

webjunkie Points 121

Vous devriez jeter un coup d'œil à ScrapBook une extension pour Firefox. Elle dispose d'un mode de capture approfondie .

enter image description here

7 votes

N'est plus compatible avec Firefox après la version 57 (Quantum).

0 votes

Il semble qu'il ne soit plus disponible.

SistemesEz.com

SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

X