1 votes

Bloquer Googlebot sur une page spécifique en utilisant nginx

Nous sommes actuellement explorés à un rythme plus rapide que ce que nous pouvons gérer.

Je n'arrive pas à bloquer le googlebot avec nginx

server {
    location /ajax/sse.php {
        if ($http_user_agent ~* "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" ) {
            return 403;
        }
    }

}

Nous avons dû en arriver à le bloquer dans le script php -

if ($_SERVER['HTTP_USER_AGENT'] == 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)') {
  header('HTTP/1.0 403 Forbidden');
  exit();
}

Qu'est-ce qui ne va pas avec ma configuration nginx?

2voto

Craig A Points 136

Pourquoi ne pas simplement utiliser robots.txt ? -> https://support.google.com/webmasters/answer/6062596

Dans mes journaux nginx, l'agent utilisateur googlebot est simplement googlebot/2.1 ou "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"

Essayez ceci

if ($http_user_agent ~ (googlebot) ) {
       return 403;
   }

ou

if ($http_user_agent ~* (google) ) {
       return 403;
   }

SistemesEz.com

SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.

Powered by:

X