Comment empêcher le loadbalancer de se déconnecter ?

"Que se passe-t-il lorsque le serveur n° 1 est tellement sollicité qu'il ne peut pas traiter les demandes correctement ?

En général, les clients obtiennent le message d'erreur "connexion interrompue".

Ne vous inquiétez pas pour l'équilibreur de charge : avec du matériel moderne, il peut traiter des milliers de demandes, surtout si vous utilisez le cache pour le contenu statique.

La plupart du temps, les goulets d'étranglement sont :

• largeur de bande du réseau
• serveur #2 - serveur#n qui doit typiquement calculer du contenu dynamique.

comment éviter cela ?

Vous ne pouvez pas. Vous ne pouvez planifier que certains scénarios de charge supportés. Votre LB nginx peut gérer plus de tentatives de connexion que vos serveurs API qui effectuent les tâches les plus lourdes. Et il y a toujours la possibilité que des personnes mal intentionnées vous testent ou vous envoient un DDoS.

Votre serveur LB a également besoin de maintenance et de redémarrage, vous pourriez donc éventuellement mettre en place quelque chose qui concurrence des produits qui ont déjà résolu le problème de la sécurité et de l'évolutivité comme le Passerelle API d'Amazon o Équilibreurs de charge DigitalOceans .