Un autre jour, nous avons remarqué une terrible odeur de brûlé sortant de la salle serveur. En résumé, il s'est avéré qu'un des modules de batterie brûlait dans l'unité UPS, mais il nous a fallu plusieurs heures avant de parvenir à le découvrir. La principale raison pour laquelle nous avons pu le découvrir est que l'affichage de l'UPS a finalement montré que le module devait être remplacé.
Le problème était le suivant : toute la salle était imprégnée de cette odeur. Faire un test olfactif était très difficile car l'odeur s'était infiltrée partout (sans compter qu'elle nous rendait un peu étourdis). Nous avons presque par erreur arrêté notre serveur de base de données de production car c'est là que l'odeur était la plus forte. Les données vitaux semblaient être correctes (les températures du processeur montraient 60 degrés Celsius et les vitesses des ventilateurs étaient correctes), mais nous n'étions pas sûrs. Le module de batterie qui avait brûlé était presque à la même hauteur que le serveur sur le rack et à seulement 3 pieds de distance. Si cela avait été une véritable urgence, nous aurions lamentablement échoué.
De manière réaliste, il est assez rare que du matériel serveur réel brûle, la plupart du temps nous devrons regarder du côté de l'UPS comme coupable. Mais avec plusieurs racks contenant plusieurs équipements, cela peut rapidement devenir un jeu de devinette. Comment déterminer rapidement et avec précision quel équipement est en train de brûler? Je réalise que cette question dépend fortement des variables environnementales telles que la taille de la salle, la ventilation, l'emplacement, etc., mais toute contribution serait appréciée.
. Personnellement, je ne les ai jamais utilisés ni même vu les utiliser dans un datacenter. Mais au moins théoriquement, cela devrait être un outil intéressant. Si vous avez de l'argent à dépenser pour ce gadget-là.
34 votes
@DeerHunter Eh bien, merci que ce soit la fin de la journée et qu'il y ait très peu de personnes dans le bâtiment. Merci pour vos critiques constructives, et je vais certainement informer mon superviseur des vies qu'elle a risquées en décidant de maintenir le système en marche.
12 votes
@hydroparadise - quelqu'un doit avoir le courage de dire "STOP Nous ne faisons pas les choses correctement". Si votre superviseur ne comprend pas les règles de sécurité, il n'y a pas vraiment grand-chose à faire, à part se montrer courageux et ne pas succomber à la tentation de prendre des raccourcis.
114 votes
@DeerHunter: Quelle serait la réponse appropriée lorsque vous sentez une odeur de brûlé? Il n'y a pas de fumée visible, juste une odeur de brûlé. Est-ce que vous éteignez l'ensemble du datacenter, le ventilez pendant quelques heures, puis rallumez les serveurs un par un jusqu'à ce que l'odeur revienne? Un petit datacenter de 25 racks pourrait compter jusqu'à 1 000 serveurs à vérifier, c'est beaucoup de temps d'arrêt pour une "odeur" - l'utilisateur initial n'a pas signalé de fumée ou de feu visible.
24 votes
@Johnny - Citant l'OP : "toute la pièce était remplie de l'odeur. Faire un test d'odorat était très difficile car l'odeur s'était infiltrée partout (sans oublier qu'elle nous donnait des vertiges)" Répondant à ta question - oui, tu dois aérer la pièce et résoudre les problèmes systématiquement. Tout autre chose est irresponsable.
0 votes
Je suppose que vous avez au moins une salle serveur supplémentaire et redondante. Alors appuyez sur l'interrupteur d'arrêt, mettez en marche le climatiseur dans la salle, vérifiez les journaux des capteurs, retirez et remplacez l'équipement défectueux, et redémarrez.
1 votes
Est-ce que c'était vraiment si grave, ou est-ce que tu exagères un peu? Je demande juste parce que j'ai vu des gens réagir de manière excessive à des problèmes simples comme un condensateur grillé.
15 votes
Alors, est-ce que ceux qui critiquent la manière dont l'OP gère l'odeur suggèrent qu'il n'y a aucune différence d'urgence entre une odeur et un feu/fumée? Si vous sentez quelque chose brûler dans votre maison mais que vous ne voyez pas de fumée et n'entendez pas d'alarme, est-ce que vous vous précipitez vous et votre famille hors de la maison et appelez le 911?
8 votes
Les serveurs n'explosent pas. Je me range du côté des personnes qui enquêtent d'abord, puis réagissent de manière excessive.
1 votes
Pour tous ceux qui recommandent d'appeler les pompiers : gardez à l'esprit que deux heures après l'activation de l'interrupteur EPO, cette affiche aurait probablement encore été à la recherche de l'odeur. Il peut en effet prendre un certain temps pour localiser subtilement ce qui a fondu.
8 votes
@trpt4him
Si vous sentez une odeur de brûlé dans votre maison mais que vous ne voyez pas de fumée et n'entendez pas d'alarme, est-ce que vous vous précipitez avec votre famille hors de la maison et appelez le 911?Oui. Et depuis, on ne m'a pas demandé de cuisiner. Pour ce qui me concerne, cette politique fonctionne à merveille. Même si cela signifie que je ne suis plus autorisé à approcher le grille-pain.