Meilleur accident d'administrateur système

Je me suis amusé à découvrir la différence entre la commande linux "killall" (tue tous les processus correspondant au nom spécifié, utile pour arrêter les zombies) et la commande solaris "killall" (tue tous les processus et arrête le système, utile pour arrêter le serveur de production au milieu des heures de pointe et faire rire tous vos collègues de travail pendant une semaine).

J'étais en charge de notre proxy web d'entreprise qui à l'époque était le produit de Netscape. En jouant dans les formulaires d'administration (c'était une interface basée sur le web) il y avait un gros bouton (et je jure qu'il était rouge) qui disait Supprimer la base de données des utilisateurs . Pas de problème, me suis-je dit. Voyons quelles sont les options qui s'offrent à moi lorsque je clique sur ce bouton. S'il n'y a pas d'options, il y aura sûrement une demande de confirmation.

Oui, pas de confirmation. Pas d'options. Plus d'utilisateurs.

Je suis donc allé voir M. Solaris Sysadmin et lui ai dit que j'avais désespérément besoin d'une restauration à partir d'une bande, ce à quoi il a répondu : "Je ne sauvegarde pas cette boîte".

"Euh, viens encore", ai-je rétorqué.

"Je ne sauvegarde pas cette boîte. C'est sur ma liste de choses à ajouter à la rotation des sauvegardes mais je n'ai pas encore eu le temps de le faire."

"Ce serveur est en production depuis près de 8 mois !" J'ai crié.

haussement d'épaules il a répondu. "Désolé."

Il y a de nombreuses années, la société pour laquelle je travaillais avait un client qui effectuait une sauvegarde nocturne de son serveur NT 4.0 sur un disque dur. Jaz drive (comme un disque zip à haute capacité).

Nous avons mis en place un fichier batch, qui a été exécuté comme une tâche planifiée pendant la nuit. Tous les matins, ils récupéraient le disque de la nuit précédente et, avant de partir le soir, ils inséraient le disque suivant dans la séquence.

Bref, le fichier batch ressemblait à quelque chose comme ceci (le lecteur Jaz était le lecteur F :)...

@echo off
F:
deltree /y *.*
xcopy <important files> F:

Bref, une nuit, ils ont oublié de mettre le disque. Le changement vers le lecteur F : a échoué (pas de disque dans le lecteur), et le fichier batch a continué à s'exécuter. Le répertoire de travail par défaut du fichier batch ? C :. C'est la première fois que je vois une routine de sauvegarde détruire le serveur qu'il sauvegardait.

J'ai appris un peu de choses sur la gestion des systèmes (et la gestion des exceptions) ce jour-là.

Jim.

PS : La solution ? "deltree /y F:\*.*".

Root@dbhost# find / -name core -exec rm -f {} \ ;

Moi : "Vous ne pouvez pas entrer ? OK. Quel est le nom de la BD ?"

Cu : "Core".

Moi : "Oh."

J'aime la façon dont chacun qualifie son histoire en disant "quand j'étais jeune/vert", comme s'il ne le ferait plus jamais. Les accidents peuvent arriver même aux pros les plus expérimentés.

Mon propre pire moment est si mauvais que j'ai encore des palpitations en y pensant...

Nous avions un SAN avec des données de production. Critique pour l'entreprise. Mon "mentor" a décidé d'étendre une partition pour libérer de l'espace disque. Vous voyez où cela nous mène ? Il a dit que le logiciel SAN pouvait faire cela en direct, pendant les heures de production, et que personne ne le remarquerait. La sonnette d'alarme aurait dû être tirée, mais elle est restée manifestement silencieuse. Il a dit qu'il l'avait fait "des tas de fois auparavant" sans aucun problème. Mais le problème, c'est qu'il m'a fait cliquer sur le bouton "Êtes-vous sûr ?" ! Comme j'étais nouveau dans l'entreprise, j'ai supposé que ce type savait de quoi il parlait. Grosse erreur. La bonne nouvelle est que le LUN a été étendu. La mauvaise nouvelle était... et bien je savais qu'il y avait une mauvaise nouvelle quand j'ai commencé à voir des erreurs d'écriture de disque sur la boîte Windows.

Je suis content d'avoir porté un pantalon marron.

Nous avons dû expliquer pourquoi 1TB de données avait disparu à l'heure du déjeuner. C'était une très, très mauvaise journée.

C'est un bon principe en fait : avant de faire quelque chose dont vous avez des doutes, imaginez devoir vous expliquer à la direction si quelque chose tourne mal. Si vous ne pouvez pas trouver une bonne réponse pour expliquer vos actions, ne le faites pas.