1 votes

Nombre élevé d'occurrences du crawler facebook sur le serveur

Il y a chaque jour environ 3 000 occurrences 404 ou plus provenant du robot d'exploration de Facebook. Le journal est le suivant

X.X.X.X Y.Y.Y.Y - - [24/May/2017:03:43:35 +0000] "GET /health-and-medicine/trumps-2018-budget-cuts-funding-for-cancer-mental-health-and-hiv-research/ HTTP/1.1" 404 292 "http://m.facebook.com" "Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_1 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Mobile/14E304 [FBAN/FBIOS;FBAV/87.0.0.44.70;FBBV/54482584;FBDV/iPhone8,4;FBMD/iPhone;FBSN/iOS;FBSV/10.3.1;FBSS/2;FBCR/Sprint;FBID/phone;FBLC/en_US;FBOP/5;FBRV/55128799]"
X.X.X.X Y.Y.Y.Y - - [23/May/2017:03:19:40 +0000] "GET /environment/mount-everests-famous-hillary-step-destroyed-by-2015-nepal-earthquake/ HTTP/1.1" 404 280 "http://m.facebook.com/" "Mozilla/5.0 (Linux; Android 5.1.1; LGL82VL Build/LMY47V; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/43.0.2357.121 Mobile Safari/537.36 [FB_IAB/FB4A;FBAV/111.0.0.18.69;]"

Vous voulez savoir comment bloquer ces coups ? Ces résultats ne proviennent pas d'une seule IP, d'une seule plage de sous-réseaux ou d'un seul chemin.

Il n'y a pas non plus d'intégration de Facebook dans l'application.

Éditer : J'ai ajouté un autre exemple de log parce que certains peuvent confondre qu'il provient d'ios.

1voto

Samat Jain Points 165

Désolé, mais vous vous trompez.

Il ne s'agit pas d'un robot d'exploration de Facebook. Ce journal a plutôt été produit par l'application Facebook Mobile (les journaux fournis indiquent iOS et Android), qui a récupéré un article sur votre serveur.

SistemesEz.com

SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

X