Le consensus général semble être que la réponse à votre question se décompose en deux parties :
Comment trouver la source de l'odeur de brûlé amusante ?
Vous avez assez bien perçu le "Comment" :
- Le "Test de l'Odeur"
- Recherchez de la fumée/brume visible
- Parcourez la pièce avec une caméra thermique pour trouver les points chauds
- Vérifiez les alertes des panneaux de surveillance et des dispositifs
Vous pouvez améliorer vos chances de trouver le problème rapidement de plusieurs manières - une surveillance améliorée est souvent la plus simple. Quelques questions à se poser :
- Recevez-vous des alertes de température et de santé de votre équipement ?
- Vos systèmes d'alimentation sans interruption rapportent-ils des défauts à votre système de surveillance ?
- Recevez-vous des alertes de consommation actuelle de votre équipement de distribution d'énergie ?
- Les détecteurs de fumée de la salle sont-ils signalés au système de surveillance ? (et le peuvent-ils ?)
Quand devrions-nous dépanner par rapport à appuyer sur le Gros Bouton Rouge ?
C'est une question plus intéressante.
Appuyer sur le gros bouton rouge peut coûter très cher à votre entreprise en peu de temps : les libérations d'agent d'extinction peuvent atteindre des dizaines de milliers de dollars, et les coûts d'arrêt / de récupération après une coupure d'urgence (EPO, "couper la salle") peuvent être dévastateurs.
Vous ne voulez pas arrêter un centre de données parce qu'un condensateur dans une alimentation a explosé et a provoqué une odeur dans la pièce.
À l'inverse, un incendie dans une salle serveur peut coûter à votre entreprise ses données/équipements, et plus important encore, la vie de votre personnel.
Le dépannage de "cette odeur de brûlé amusante" ne doit jamais prendre le pas sur la sécurité, il est donc important d'avoir quelques règles claires en matière de dépannage des conditions "pré-incendie".
Les lignes directrices qui suivent sont mes propres limitations que j'applique en l'absence de (ou en plus) de toute autre procédure/règles clairement définie - elles m'ont bien servi et peuvent vous être utiles, mais elles pourraient tout aussi bien me tuer ou me faire licencier demain, alors appliquez-les à vos propres risques.
-
Si vous voyez de la fumée ou du feu, coupez la salle
Cela devrait être évident mais disons-le quand même : s'il y a un incendie actif (ou de la fumée indiquant qu'il y en aura bientôt), évacuez la salle, coupez l'alimentation et déclenchez le système d'extinction d'incendie.
Des exceptions peuvent exister (faites preuve de bon sens), mais c'est presque toujours la bonne action.
-
Si vous vous lancez dans le dépannage, ayez toujours au moins une autre personne impliquée
Cela pour deux raisons. Premièrement, vous ne voulez pas vous promener dans un centre de données et soudainement avoir une baie s'enflammer dans la rangée que vous parcourez sans que personne ne sache que vous êtes là. Deuxièmement, l'autre personne est votre garantie pour le dépannage par rapport à couper la salle, et si vous décidez d'appuyer sur le Gros Bouton Rouge, vous bénéficiez de l'accord d'une deuxième personne (ce qui évite les aspects limitant la carrière d'une telle décision si quelqu'un la remet en question plus tard).
-
Adoptez des mesures de sécurité prudentes lors du dépannage
Assurez-vous d'avoir toujours un chemin de sortie (une extrémité ouverte d'une rangée et un chemin clair vers une sortie).
Maintenez quelqu'un posté au niveau de l'EPO / déclenchement de l'extinction d'incendie.
Emportez un extincteur avec vous (Halon ou autre agent propre, s'il vous plaît).
Rappelez-vous de la règle n°1 ci-dessus.
En cas de doute, quittez la pièce. Faites attention à votre respiration : utilisez un respirateur ou un masque à oxygène. Cela pourrait sauver votre santé en cas d'incendie chimique.
-
Fixez une limite et tenez-vous y
Plus précisément, fixez deux limites :
- Condition ("Jusqu'où vais-je laisser les choses empirer ?"), et
- Temps ("Combien de temps vais-je essayer de trouver le problème avant que cela soit trop risqué ?").
Les limites que vous fixez peuvent également être utilisées pour permettre à votre équipe de commencer un arrêt ordonné de la zone affectée, de sorte que lorsque vous COUPEZ l'alimentation vous ne faites pas planter une série de machines actives, et votre temps de récupération sera beaucoup plus court, mais rappelez-vous que si l'arrêt ordonné prend trop de temps, vous devrez peut-être laisser quelques systèmes planter au nom de la sécurité.
-
Faites confiance à votre instinct
Si vous vous préoccupez de la sécurité à n'importe quel moment, annulez le dépannage et évacuez la salle.
Vous pouvez ou non couper la salle en fonction d'un pressentiment, mais reprendre des forces à l'extérieur de la salle en (relative) sécurité est prudent.
S'il n'y a pas de danger imminent, vous pouvez décider de faire venir le service d'incendie local avant de prendre des mesures drastiques comme un EPO ou une libération d'agent propre. (Ils peuvent vous dire de le faire de toute façon : Leur mission est de protéger les personnes, puis les biens, mais ce sont évidemment les experts en matière de lutte contre les incendies donc vous devriez suivre leurs directives !)
Nous avons abordé cela dans les commentaires, mais cela pourrait aussi bien être résumé dans une réponse - @DeerHunter, @Chris, @Sirex, et de nombreux autres ont contribué à la discussion
34 votes
@DeerHunter Eh bien, merci que ce soit la fin de la journée et qu'il y ait très peu de personnes dans le bâtiment. Merci pour vos critiques constructives, et je vais certainement informer mon superviseur des vies qu'elle a risquées en décidant de maintenir le système en marche.
12 votes
@hydroparadise - quelqu'un doit avoir le courage de dire "STOP Nous ne faisons pas les choses correctement". Si votre superviseur ne comprend pas les règles de sécurité, il n'y a pas vraiment grand-chose à faire, à part se montrer courageux et ne pas succomber à la tentation de prendre des raccourcis.
114 votes
@DeerHunter: Quelle serait la réponse appropriée lorsque vous sentez une odeur de brûlé? Il n'y a pas de fumée visible, juste une odeur de brûlé. Est-ce que vous éteignez l'ensemble du datacenter, le ventilez pendant quelques heures, puis rallumez les serveurs un par un jusqu'à ce que l'odeur revienne? Un petit datacenter de 25 racks pourrait compter jusqu'à 1 000 serveurs à vérifier, c'est beaucoup de temps d'arrêt pour une "odeur" - l'utilisateur initial n'a pas signalé de fumée ou de feu visible.
24 votes
@Johnny - Citant l'OP : "toute la pièce était remplie de l'odeur. Faire un test d'odorat était très difficile car l'odeur s'était infiltrée partout (sans oublier qu'elle nous donnait des vertiges)" Répondant à ta question - oui, tu dois aérer la pièce et résoudre les problèmes systématiquement. Tout autre chose est irresponsable.
0 votes
Je suppose que vous avez au moins une salle serveur supplémentaire et redondante. Alors appuyez sur l'interrupteur d'arrêt, mettez en marche le climatiseur dans la salle, vérifiez les journaux des capteurs, retirez et remplacez l'équipement défectueux, et redémarrez.
1 votes
Est-ce que c'était vraiment si grave, ou est-ce que tu exagères un peu? Je demande juste parce que j'ai vu des gens réagir de manière excessive à des problèmes simples comme un condensateur grillé.
15 votes
Alors, est-ce que ceux qui critiquent la manière dont l'OP gère l'odeur suggèrent qu'il n'y a aucune différence d'urgence entre une odeur et un feu/fumée? Si vous sentez quelque chose brûler dans votre maison mais que vous ne voyez pas de fumée et n'entendez pas d'alarme, est-ce que vous vous précipitez vous et votre famille hors de la maison et appelez le 911?
8 votes
Les serveurs n'explosent pas. Je me range du côté des personnes qui enquêtent d'abord, puis réagissent de manière excessive.
1 votes
Pour tous ceux qui recommandent d'appeler les pompiers : gardez à l'esprit que deux heures après l'activation de l'interrupteur EPO, cette affiche aurait probablement encore été à la recherche de l'odeur. Il peut en effet prendre un certain temps pour localiser subtilement ce qui a fondu.
8 votes
@trpt4him
Si vous sentez une odeur de brûlé dans votre maison mais que vous ne voyez pas de fumée et n'entendez pas d'alarme, est-ce que vous vous précipitez avec votre famille hors de la maison et appelez le 911?
Oui. Et depuis, on ne m'a pas demandé de cuisiner. Pour ce qui me concerne, cette politique fonctionne à merveille. Même si cela signifie que je ne suis plus autorisé à approcher le grille-pain.