Certaines parties de wikipedia apparaissent différemment lorsque vous êtes connecté. Je voudrais récupérer les pages des utilisateurs afin qu'elles apparaissent comme si j'étais connecté.
Y a-t-il un moyen d'obtenir des pages d'utilisateur comme celle-ci ?
http://en.wikipedia.org/wiki/User:Ac'est la page de connexion :
http://en.wikipedia.org/w/index.php?title=Special:UserLogin&returnto=Login&campaign=ACP3Méthode la plus simple : en général, vous devez fournir wget o bouclette avec les cookies (de connexion) d'un site web particulier pour qu'ils aillent chercher les pages comme si vous étiez connecté .
Si vous utilisez Firefox, c'est facile à faire via la fonction Cookies d'exportation complémentaire. Installez le module complémentaire, et :
cookies.txt (vous pouvez changer le nom du fichier/destination).Ouvrez un terminal, et utilisez wget avec le --load-cookies=FILENAME option, par exemple
wget --load-cookies=cookies.txt http://en.wikipedia.org/wiki/User:Acurl --cookie cookies.txt ...
(Je vais essayer de mettre à jour cette réponse pour les utilisateurs de Chrome/Chromium)
--cookie-jar o wget avec le --save-cookies --keep-session-cookies ainsi que la méthode HTTP/S PUT pour se connecter à un site, enregistrer les cookies de connexion, puis les utiliser pour simuler un navigateur.
Une autre solution facile qui a fonctionné pour moi sans installer quoi que ce soit d'autre :
Cela vous donnera une commande que vous pouvez coller directement dans votre Shell, qui a tous vos identifiants de cookie, par exemple.
curl 'https://mysite.test/my-secure-dir/picture1.jpg' \
-H 'User-Agent: Mozilla/5.0 ...' \
-H 'Cookie: SESSIONID=abcdef1234567890'Vous pouvez ensuite modifier l'URL dans la commande pour récupérer ce que vous voulez.
Avec cURL, il est très facile de gérer les cookies dans les deux sens.
curl www.target-url.com -c cookie.txt puis enregistrera un fichier nommé cookie.txt. Mais vous devez vous connecter, donc vous devez utiliser --data avec des arguments comme : curl -X --data "var1=1&var2=2" www.target-url.com/login.php -c cookie.txt . Une fois que vous avez obtenu le cookie logué, vous pouvez l'envoyer avec : curl www.target-url.com/?user-page.php -b cookie.txt
Utilisez simplement -c (--cookie) ou -b (--cookie-jar) pour sauvegarder et envoyer.
Note1 : L'utilisation de cURL CLI est beaucoup plus facile que PHP et peut-être plus rapide ;)
Pour sauvegarder le contenu final, vous pouvez facilement ajouter > filename.html à votre commande cURL puis enregistrez le code html complet.
Note2 à propos de "full" : Yo ne peut pas rendre le javascript avec cURL, juste obtenir le code source.
Pour ceux qui sont toujours intéressés par ces questions, il existe une extension Chrome très utile appelée CurlWGet qui vous permet de générer un wget / curl demande avec des mesures d'authentification, etc. en un seul clic. Pour installer cette extension, suivez les étapes ci-dessous :
Profitez-en !
Le billet de blog Wget avec les cookies de Firefox montre comment accéder au fichier de données sqlite dans lequel Firefox stocke ses cookies. De cette façon, il n'est pas nécessaire d'exporter manuellement les cookies pour les utiliser avec wget. Un commentaire suggère que cela ne fonctionne pas avec les cookies de session, mais cela a bien fonctionné pour les sites avec lesquels je l'ai essayé.
SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.
