1 votes

Est-ce qu'un bot de scraping peut avoir JavaScript activé ?

J'ai quelques milliers de requêtes qui semblent provenir d'un client avec JavaScript activé et je me demande si ce client pourrait être un bot.

2voto

Shane Madden Points 112034

Oui - un bot peut faire ce qu'il veut avec les ressources qu'il collecte, ce qui pourrait certainement inclure l'interprétation du javascript.

Prenons, par exemple, la nouvelle petite vignette de Google affichant des pages dans les résultats de recherche; de nombreux sites dépendent du javascript pour la fonctionnalité d'affichage de base, donc l'interprétation du js serait essentielle pour afficher des aperçus proches de la réalité.

La manière la plus simple de le savoir pourrait être de simplement vérifier la chaîne d'agent utilisateur; les bots bien élevés vous diront simplement qui ils sont.

SistemesEz.com

SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

X