Un gros incendie a détruit une partie du centre de données strasbourgeois d’OVH 🆕
Un incendie violent s’est déclaré vers quatre heures ce matin au centre de données strasbourgeois d’OVH, le numéro un de l’hébergement en Europe. Malgré la mobilisation sur place d’une centaine de pompiers, d’une quarantaine d’engins et malgré l’aide des secours allemands venus en renfort, l’incendie a entièrement détruit l’un des bâtiments qui hébergeaient des serveurs. Un autre bâtiment a été partiellement détruit, et deux autres ont été épargnés, mais restent encore isolés.
#Strasbourg Un bâtiment de stockage de serveurs informatiques @OVHcloud_FR ravagé par un incendie #DNAinfos https://t.co/EuELb9Nux3 pic.twitter.com/MKlXDInhWP
— Antoine Bonin (@abonin_DNA) March 10, 2021
Le feu a été maîtrisé vers 5h30, mais les pompiers sont toujours sur place pour l’éteindre entièrement. Il n’y a eu fort heureusement aucune victime humaine, les quelques employés d’OVH présents sur place ont pu quitter les lieux à temps. Le bilan matériel est en revanche lourd pour l’hébergeur : le bâtiment SBG2 a été complètement détruit et son voisin SBG1 l’a été partiellement.
SBG3 et SBG4 ont été épargnés par les flammes, mais l’arrivée électrique sur tout le site ayant été coupée, l’entreprise conseille de ne pas compter sur ces installations. Le créateur d’OVH Octave Klaba a indiqué sur Twitter que l’accès au site était impossible et qu’il ne fallait pas compter sur un redémarrage aujourd’hui. Les serveurs stockés dans SBG1 et SBG2 sont soit détruits, soit inaccessibles jusqu’à nouvel ordre, sachant qu’il faudra reconstruire l’un des bâtiments.
Pour information, MacGeneration est hébergé par OVH, mais dans un centre de données différent. L’incendie à Strasbourg n’a pas d’impact négatif sur nos services, mais plusieurs sites sont indisponibles ce matin, dont des sites officiels. Cet incident tombe en tout cas bien mal pour l’hébergeur, qui se préparait justement à entrer prochainement en bourse.
MàJ le 10/03/2021 10:38 : à dix heures, Octave Klaba, qui s’est rendu sur place, indique qu’ils envisagent d’entrer dans SBG3 pour évaluer les dégâts. Un plan va être mis en place pour redémarrer le site, au moins pour SBG3 et SBG4, peut-être SBG1 si les dégâts ne sont pas trop important.
MàJ le 10/03/2021 11:15 : les serveurs dans SBG3 sont tous en bon état, même s’ils restent éteints pour le moment. OVH va mettre en place un plan pour leur remise en ligne, sans donner d’estimation de temps pour le moment.
MàJ le 10/03/2021 11:43 : la moitié de SBG1 est détruit, d’après Octave Klaba. On comprend mieux pourquoi en regardant cette vue aérienne du site, fournie par Google Maps (via lafibre.info) : le bâtiment SBG2 qui a été totalement détruit est celui sous l’épingle rouge, au centre du site. SBG1 est situé à sa gauche et sa structure en deux parties explique pourquoi la moitié a été détruite. SBG3 est placé à sa droite et les pompiers ont réussi à maîtriser l’incendie à temps, si bien que ses serveurs n’ont pas été endommagés.
Reste que pour relancer l’activité, il faut attendre que l’incendie soit entièrement éteint, s’assurer de la sécurité de l’ensemble et vérifier en particulier que le circuit électrique fonctionne encore correctement. Il va falloir faire preuve de patience…
MàJ le 10/03/2021 13:12 : première esquisse de plan de relance pour SBG1, SBG3 et SBG4, sur une à deux semaines. OVH devra reconstruire les alimentations électriques des sites et vérifier les matériels réseau ainsi que les liaisons en fibre optique. Le plus important à retenir de cette première annonce d’Octave Klaba, c’est qu’il faudra plusieurs jours dans le meilleur des cas pour un retour à la normale.
MàJ le 10/03/2021 16:14 : le plan de retour à la normale commence à se dessiner, avec deux dates données par Octave Klaba. SBG1 et SBG4 doivent être relancés dès ce lundi 15 mars, date à laquelle le site sera à nouveau connecté au réseau internet d’OVH. Le retour de SBG3 est prévu pour le vendredi suivant, soit le 19 mars.
SBG2 ayant été détruit entièrement, il n’y a pas de date pour un éventuel retour. À la place, OVH a prévu de transférer tous ses clients sur ses centres de données de Roubaix et Gravelines. Dix mille serveurs seront ajoutés dans le mois à venir pour répondre à la demande et remplacer ce qui a disparu dans les flammes.
MàJ le 10/03/2021 20:24 : vous pouvez suivre le journal de l'intervention à cette adresse.
Je vois ici et là des gens qui disent qu'un incendie, une fois qu'il est gros c'est cuit :
Mais Strasbourg c'est du container...
Il y a déjà eus de nombreux incidents, et un super-blackout power sur ce datacenter (pas de redondance)... Il y a un problème de conception à l'origine.
Tu vois en heure par heure, salle 71 tomber, puis salle 72 tomber et enfin tu as l'info c'est le feu... Je ne pense pas que cela soit un hasard si le ticket FS#49471 commence à 23h42 UTC sans doute par une une sonde, et qu'après cela fasse boule de neige.
Dans un monde logique, si tu as un gros problème de monté en chaleur d'une pièce de serveur, isolation, puis Kill-switch électrique avant même le début des investigations. C'est pas aux pompiers de couper le jus sur un système qui est supposé être managé.
-----
FS#49471 — datacenter SBG1
Bonjour,
Point de situation à : 23h42 UTC
Une perturbation est détectée, nos équipes sont mobilisées pour rétablir le service dans les meilleurs délais. Nous vous prions de nous excuser pour la gêne occasionnée.
Comment by OVH - Wednesday, 10 March 2021, 01:22AM
Plusieurs services sont actuellement impactés majoritairement dans les salles 71 et 72 du datacentre de SBG(Strasbourg).
Comment by OVH - Wednesday, 10 March 2021, 03:53AM
Nous faisons actuellement face à un incident majeur au sein de notre datacentre de Strasbourg, avec un feu déclaré dans le bâtiment SBG2.
Les pompiers sont intervenus immédiatement sur place mais ne sont pas parvenus à contrôler l’incendie de SBG2.
Par mesure de précaution, l’électricité a été coupée sur l’ensemble du site, ce qui impacte tous nos services à SBG1, SBG2, SBG3 et SBG4.
Si votre production est à Strasbourg, nous vous recommandons d’activer votre Plan de Reprise d’Activité.
Toutes nos équipes sont mobilisées aux côtés des pompiers.
Nous vous tiendrons informés à ce sujet dès que nous aurons davantage d’éléments.
@jojo999922
« Dans un monde logique, »
Postulat erroné. Syntax error !
Comme toujours en pareil cas il va y avoir des pertes de données gigantesques, souvent par négligence de la base de la base, et des pertes d’exploitation en pré plus grandes et graves.
Je parie que les recherches actuelles sur Google sont : comment sauvegarder ? qu’est-ce qu’un PRA ? Etc
Et il va y avoir (enfin) des budgets débloqués pour cela... lorsque ce ne sera pas trop tard.
@DG33
"Je parie que les recherches actuelles sur Google sont : comment sauvegarder ? qu’est-ce qu’un PRA ? Etc"
Nullement ils viennent dénoncer le scandale ici sans même faire l’effort de chercher à comprendre de quoi il s’agit 😂
@YetOneOtherGit
Combien d’admin vont se faire convoquer chez le DG (pas moi...) pour expliquer par le menu pourquoi ils n’avaient pas expliqué de manière plus claire que le coût comprenait ci mais pas ça ?
Et combien vont pouvoir négocier des budgets à la hausse (quant à leur augmentation de salaire...) pour se prémunir de ce risque ?
@DG33
Il faut avouer que la capacité de bien des tech à se faire comprendre des décideurs et à savoir négocier avec eux est terriblement affligeante 😉
Un tech qui sait parler aux moldu c’est le roi du pétrole aujourd’hui 😄
Pour redémarrer SBG3 et 4, faudrait encore que les adductions fibres / ODF de SBG1&2 soient opérationnelles. Tout passait par la niveau réseau.
Le Cloud ressort maintenant par la lance des pompiers.
Ce qui parait étonnant c'est que je pensais, innocemment sans doute, que ces bâtiments étaient dotés d’alarmes incendie qui déclenchaient la diffusion de gaz non combustible (argon, azote ou autre) bloquant l'incendie à la source et empêchant sas diffusion.
Mais si il y a eu explosion (attentat) les vitres volent en éclat annihilant l'effet des gaz.
@kinon
« Mais si il y a eu explosion (attentat) les vitres volent en éclat annihilant l'effet des gaz. »
C’est clairement un coup d’Hydra !
L’entreprise où je travaille en est impactée, plus de site internet ! Impossible de passer par les serveurs redondants vu que les pompiers ont coupé l’électricité
@Yanouss
d’où la nécessité d’un PRA.
Sont-ce le signe d’un coup d’arrêt de la containérisation si à la mode depuis des années?
Docker doit-il s’inquiéter?
🙃😂
Comprenne qui pourra 😉
@YetOneOtherGit
Ah tu parles des containers aménagés devant les immeubles
Je suis pas personnellement contre le cloud mais ce genre d'incidents remet cependant en question. Le gros problème c'est que les solutions "on site" deviennent de plus en plus restreintes et que leurs coûts d'exploitation ne cessent de progresser (entretien, mise à jour, licence, sécurité (y'a qu'à voire les news sur Exchange)). On revient à coeur du débat de la centralisation des données... (En gros le minitel version 2021). Perso je fais de l'hybride. Le cloud pour l'instanéité/sécurité et le local pour la stabilité/rapidité et le backup (NAS)...
Bon bah, c’est le temps de faire une sauvegarde de ses sites😅...
Aucun système d'arrosage automatique ? Aucun système de suppression de l'oxygène ? Aucune porte coupe feu automatisée ?
@Orus
Pourquoi faire, il y’a des assurances pour ça 😬
Euh, ils avaient pas système anti incendie ? Etrange qu'un hébergeur de cette taille n'ait pas prévu de sécurité, évidemment pas avec de l'eau, mais il existe bien des systèmes de mousses, gaz ou ce genre la pour les installations électriques sensibles et couteuse.
Pour qu'un bâtiment entier soit détruit, on peut penser qu'aucun système n'existe, étrange.
Comment savoir si son VPS est sur le SBG2 ??
C'est écrit dans le compte client OVH. ;)
non ou alors dis moi où stp
Incendie juste avant l’introduction en bourse d’OVH.
Quelle coïncidence 🥸
@ LaJague
investissements au rabais à force de vouloir courir comme un lièvre
Les Flammenserveuren, cette fameuse spécialité alsacienne.
Incompréhensible, nous on a des bouteilles d’argon pour virer l’air des salles ! Ca empêche le feu de se propager et ça l’éteint !
@LaJague
Faut-il encore que l’étanchéité soit approuvé. Ce qui est souvent le cas lors de l’installation mais au fil des années, des modifications et autre c’est souvent/parfois un détail indispensable oublié. Sans étanchéité, le gaz va être moins voir pas du tout utile même avec la plus belle installation d’extinction possible.
Heureusement, dans mon cas, mon site et le site de l’association professionnelle que je gère sont tous les deux à Graveline, sur les serveurs mutualisés d’OVH.
Le back end de l’interface de gestion devait être à SBG, car bien que l’interface fonctionne et qu’on peut s’identifier dessus, aucun service (facturation, gestion du serveur mutualisé...) ne fonctionnait ce matin à 9h quand j’ai jeté un œil.
Je ne suis pas un pro mais un codeur amateur, ceci m’a fait prendre conscience que, si pour mon site perso je m’en fou (je peux toujours le republier), en revanche pour le site de l’asso, il me faut créer un PRA (terme que j’ai appris aujourd’hui) un peu plus sérieux que juste avoir une copie des données en local.
En tout cas, j’ai une pensé pour les équipes d’OVH qui vont sans doute vivre des moments pas marrants, et pour lesquelles il me semble qu’un peu de compassion est la moindre des choses...
Toute l’infra de mon école y était hébergé, tout est down et pas de backups...
@ Tomdazy
faut virer celui qui gère l'informatique, le back-up c'est la BASE!
@onclebobby
Perso je suis d’accord mais apparemment les backups étaient dans le meme data center 😂
La grande erreur de stocker ses backups en ligne uniquement.
Comment savoir où est notre hébergement?
J’ai une boîte mail chez eux, sur un start1m (adresse de contact).
J’imagine que c’est pour ça que je ne reçois rien depuis ce matin.
Concrètement je n’ai pas un besoin de sauvegarde, par contre j’ai besoin d’avoir accès au mail quoi...
Sauf que si tu consultes tes mail en IMAP, tu viens juste de perdre tous tes mails. Concrètement, tout le monde a besoin d'une sauvegarde.
Sauf que personne ne sait ce que signifie le protocole IMAP, personne ne sait que le mail ne se charge pas et que seul son titre s’affiche sur ton poste et qu’on a aucune sauvegarde en local. Pour le coup, le POP avait au moins cela pour lui.
@TheUMan
Ça, c'est tout à fait vrai. Maintenant, avoir ses mails enPOP sur son phone... Euh...
SI j'étais méchant je dirais: Bien fait pour eux ! Ce n'est pas forcément une entreprise complétement digne/respectable/respectueuse à mon sens et selon mon avis personnel: Ils m'ont débité une fois des services que je n'avais pas renouvelés et sans mon accord. Du coup j'ai fermé tous mes comptes chez eux !
C'est dommage qu'OVH n'ait pas fait construire avec les mêmes matériaux que les bâtiments de la CAF qui ne brûlent jamais.
🤫
Il faut se faire une raison, on ne saura rien du pourquoi du comment, l’éminent journal Le Nouveau détective était hébergé sur les serveurs ovh de Strasbourg...
😵
@Dwigt
"Les Flammenserveuren, cette fameuse spécialité alsacienne."
Tu as oublié les Flammentuches !
Ce sont les Tuche les coupables, pour la nième déclinaison cinématographique de leurs palpitantes aventures !
Pas la peine de chercher plus loin...
Franchement ça commence à faire beaucoup là, entre l’incendie, le piratage et la panne de courant...
Le backup c’est la base OK ! tout le monde est d’accord, après il faut que cela soit parfaitement clair sur qui fait quoi, comment, et dans quel délais on peut y accéder et remettre en route. Le problème là c’est qu’il faudra qu’on m’explique comment un « data center » peut flamber comme cela. La conception à l’origine est mal conçue plusieurs étages non étanches, les bâtiments collés les uns aux autres, des planchés en bois ! (vous êtes sérieux là ?) Qu’une machine crame pourquoi pas, à la limite qu’une pièce entière de serveur crame, mais qu’un bâtiment entier crame, y a quand même une marge, sans aucune alerte, sans possibilité de contenir le feu, sans personnel qui puisse intervenir ? On en parle de l’incident qui avait déjà eu lieu où une panne de courant avait bloqué le site car le système de protection électrique ne s’était pas déclenché ? On serait dans un hôpital il y aurait des morts sur les tables d’opération ! on serait déjà en justice pour négligence aggravée !!! Et sur ce type de bâtiment qui deviennent sensibles (stratégiques) aucune protection ou obligation de la part de l’état ? Bref, cela mérite de vraies explications car là c’est un peu simple comme excuses.
@ TheUMan
Trop d'investissements pour rester leader, mais en prenant des raccourcis, donc ils en payent le prix. Tu as vu le film La Tour Infernale? C'est pareil.
@TheUMan
" Et sur ce type de bâtiment qui deviennent sensibles (stratégiques) aucune protection ou obligation de la part de l’état ? "
Ben voyons.... le rapport avec la choucroute ?
Un peu de réglementation, d'obligation (de sécurité), ne fait parfois pas de mal...
Surtout quand cela touche autant d'entreprises (qui plus est françaises).
Une chose que je n’ai lu dans aucun des commentaires est l’existence de « Tiers » pour les data center...
https://ledabelle.com/datacenter-tier-1-2-3-et-4-quelles-differences/
Donc oui, le Tiers d’un datacenter est aussi à prendre en considération, car il influe beaucoup sur la disponibilité, la sécurité, la redondance, etc.
Mais comme le reste cela a un prix.
A titre d’exemple, pour mon entreprise nous avons 3 DC, tous de types Tiers 4, l’équipement est répliqué sur les 3, comme la donnée, tout ce qui est réseau est doublé. 2 sont situés au Luxembourg dans deux villes différentes et un en Belgique. Sans compter que la plupart des services ont une redondance avec Azure..
Donc oui, c’est souvent à charge de l’entreprise ou du particulier de gérer ces aspects sauf dans le cas d’une offre « mutualisé » et tout dépends de la criticité, mais le coût engendré est enorme et n’a rien à voir avec un petit serveur dédié loué 20€/mois.
Pages