Apache se bloque avec une surcharge de mémoire/cpu lorsque google crawler visite le site

Mon travail consiste à bloquer activement Googlebot et d'autres robots d'exploration sur les serveurs lorsque la charge augmente ; je ne suis certainement pas d'accord avec cela et, à mon avis, c'est un signe de quelque chose de bien pire avec le serveur en général lorsque nous devons le bloquer, bien que nous hébergions des milliers de sites web différents ; vous, en revanche, semblez avoir votre propre serveur.

Ce qui me fait penser, comme Rilindo l'a deviné, qu'il y a quelque chose qui ne va pas dans votre configuration. L'exemple de configuration que vous avez donné comporte au moins un élément qui sort du lot :

MaxRequestsPerChild 100 

Savez-vous que cela conduit Apache à tuer rapidement les processus enfants et à en créer de nouveaux ? La valeur par défaut est de 10000, dans la plupart des cas. Je commencerais par la fixer à 10000 et je verrais ce que cela donne.

Je vois également que vous utilisez suphp ; à moins que vous n'ayez beaucoup d'utilisateurs différents sur votre système et que la sécurité soit un problème, je recommande d'utiliser mod_php à la place. mod_php est un module Apache qui permet à Apache de traiter PHP, plutôt que d'avoir un exécutable PHP séparé qui s'occupe du travail. Cela permet de partager la mémoire et le temps CPU avec Apache (en supposant que vous utilisiez un MPM threadé, comme worker ou event), ce qui permet de réduire la charge globale.

Si l'utilisation de mod_php n'est pas envisageable pour des raisons de sécurité, je recommande de passer à mod_fcgid ; c'est à peu près un remplacement direct de suphp, mais beaucoup plus rapide.