Pourquoi nos requêtes DNS quotidiennes dépassent-elles largement le nombre de nos visiteurs ?

Le DNS n'est pas seulement utilisé pour le protocole HTTP, il est également utilisé pour le FTP / e-mail / etc . Il est probable qu'un autre service, qui nécessite la résolution de noms, soit à l'origine de la charge.

L'exécution d'une capture réseau sur mon ordinateur et le filtrage des DNS me donnent ces résultats :

La visite d'un site web, www.hp.com dans mon test, déclenche 2 recherches d'enregistrements A depuis mon ordinateur pour www.hp.com et plusieurs autres recherches pour des "ressources" FQDN supplémentaires, telles que welcome.hp-ww.com et met1.hp.com. Il semble donc parfaitement normal que les requêtes DNS soient plus nombreuses que les visiteurs réels du site.

L'augmentation de la valeur TTL ne sera probablement utile que pour les personnes qui visitent fréquemment votre site. Elle n'a aucune incidence sur les visiteurs dont les caches des résolveurs DNS n'ont pas vos enregistrements DNS déjà mis en cache. Chaque visite d'une personne qui n'a pas visité votre site pendant la période de TTL nécessitera une nouvelle recherche DNS. En outre, même avec une TTL de 3 jours, si une personne qui a visité votre site a redémarré son ordinateur ou vidé son cache DNS au cours de cette période de 3 jours, elle devra probablement effectuer une nouvelle recherche pour trouver vos enregistrements DNS (en fonction de sa propre infrastructure DNS).

Je vous suggère de lancer une capture réseau sur votre ordinateur (videz d'abord votre cache DNS) et de lancer une capture, en filtrant les DNS, puis de visiter votre site. Arrêtez la capture et jetez-y un coup d'œil pour voir quelles requêtes DNS sont émises depuis votre machine. Cela vous donnera une bonne idée des requêtes DNS émises et des réponses renvoyées, et pourra mettre en évidence une mauvaise configuration de votre DNS dont vous n'avez pas conscience.

Kristaps a raison, les DNS ne se limitent pas à la recherche de sites web. Tout ce qui pense même à envoyer le courriel de votre domaine va générer une requête DNS. Même les choses qui espèrent avoir de la chance en essayant d'envoyer un courriel à 'roger@yourdomain.com', et au diable les NDR ! Les personnes qui recherchent des ports SSH ouverts génèrent également du trafic DNS si vous en avez un sur vos adresses IP résolubles. Ces scans SSH sont souvent "externalisés" vers des botnets, de sorte que chaque tentative de connexion provient d'un hôte différent qui devra vous rechercher. Tous ces éléments génèrent des requêtes DNS indépendamment de votre trafic HTTP.

Comme l'ont mentionné d'autres personnes, votre hypothèse de base est erronée : il n'y a guère de relation entre les requêtes DNS et les visites HTTP. D'une part, vous pouvez avoir plus de visiteurs HTTP que de requêtes DNS (si les visiteurs viennent du même réseau et partagent le même cache DNS, sans même parler des grands caches comme Google DNS), d'autre part, vous pouvez avoir plus de requêtes DNS que de visites HTTP (des choses comme le spam, déjà mentionné, ou les requêtes AAAA pour les personnes qui ont IPv6).

Il ne faut donc pas continuer dans cette direction : mesurez le taux réel de requêtes DNS mais n'essayez pas de le déduire du nombre de visiteurs HTTP (qui n'est pas, en soi, une information très fiable).

Grâce aux Google Webmaster Tools, il est possible de voir combien de requêtes DNS sont effectuées par Googlebot. Sur nos sites web, ce nombre se situe entre 1000 et 5000 par jour. Le trafic ne semble pas être lié à la TTL, mais plutôt au nombre de pages que vous avez et à la fréquence à laquelle elles changent - c'est-à-dire à l'activité de Googlebot. Il semble que les instances de Googlebot, qui fonctionnent sur des IP différentes, n'utilisent pas un serveur DNS de mise en cache commun.

Utilisez ce simple script sur votre serveur DNS pour voir combien de demandes fait Googlebot :

tshark dst port 53 | grep 66.249

Sur notre NS, je peux voir deux demandes par seconde. C'est à peu près le même taux que sur un serveur de noms secondaire.