Est-il utile de bloquer les crawlers malveillants via iptables ?

Nous utilisons des pare-feux matériels Cisco plutôt que des pare-feux logiciels. Ils surveillent les schémas d'activité et les bloquent pendant un certain temps (30 à 90 jours, je crois). Je suis sûr que d'autres pare-feu peuvent faire cela, mais je n'ai pas d'expérience en la matière. En gros, ce que je veux dire, c'est que si votre pare-feu peut utiliser des règles pour rechercher les abus, vous en verrez les avantages par rapport au simple blocage des coupables connus.

Si cela en vaut la peine, c'est discutable et je ne le sais pas vraiment.

Quant à votre plainte concernant le fait qu'ils proviennent de différentes IP et que vous ne pouvez réagir qu'en bloquant l'IP... Vous pouvez résoudre ce problème avec un reverse proxy comme Apache en mode reverse proxy (avec quelque chose comme mod_proxy / mod_security) ou HAProxy. En gros, si vous connaissez les schémas à l'avance, vous pouvez simplement supprimer ces requêtes avant même qu'elles n'atteignent le serveur web.

Par ailleurs, pour un peu de vocabulaire, ces pare-feu sont appelés pare-feu d'application Web (WAF). Ils opèrent sur la couche 7 en examinant les demandes et les réponses HTTP.

Vous pourriez toujours prendre certaines des chaînes/GET que vous trouvez et puisque vous avez déjà le module de chaîne pour iptables, enregistrer/supprimer ces paquets, et potentiellement automatiser leur ajout à un pare-feu avec un script.

en général, je dirais qu'il est bon de bloquer ces IP, car elles peuvent avoir été compromises d'une manière ou d'une autre, et si elles ont été compromises, et que vous attrapez une attaque, vous pouvez en manquer une autre.