Si le robots.txt est manquant dans le répertoire racine d'un site web, comment les choses sont-elles traitées comme :
Il devrait logiquement être le deuxième selon moi. Je pose la question en référence à cette question .
(Je n'ai pas trouvé le moyen d'ajouter un commentaire mais) J'aimerais également ajouter que le fait de ne pas avoir de robots.txt est également un problème dans le sens où vous ne serez pas en mesure de fournir un Sitemap pour ce site. Rappelez-vous que les plans du site ne sont localisés que s'ils sont spécifiés dans le fichier Robots.txt ou s'ils sont soumis directement aux moteurs de recherche, mais bien sûr, dans ce dernier cas, vous devez le faire un par un, plutôt que de le faire trouver rapidement par tous les moteurs.
SystemesEZ est une communauté de sysadmins où vous pouvez résoudre vos problèmes et vos doutes. Vous pouvez consulter les questions des autres sysadmins, poser vos propres questions ou résoudre celles des autres.
