Un gros incendie a détruit une partie du centre de données strasbourgeois d’OVH 🆕

Nicolas Furno |

Un incendie violent s’est déclaré vers quatre heures ce matin au centre de données strasbourgeois d’OVH, le numéro un de l’hébergement en Europe. Malgré la mobilisation sur place d’une centaine de pompiers, d’une quarantaine d’engins et malgré l’aide des secours allemands venus en renfort, l’incendie a entièrement détruit l’un des bâtiments qui hébergeaient des serveurs. Un autre bâtiment a été partiellement détruit, et deux autres ont été épargnés, mais restent encore isolés.

Le feu a été maîtrisé vers 5h30, mais les pompiers sont toujours sur place pour l’éteindre entièrement. Il n’y a eu fort heureusement aucune victime humaine, les quelques employés d’OVH présents sur place ont pu quitter les lieux à temps. Le bilan matériel est en revanche lourd pour l’hébergeur : le bâtiment SBG2 a été complètement détruit et son voisin SBG1 l’a été partiellement.

SBG3 et SBG4 ont été épargnés par les flammes, mais l’arrivée électrique sur tout le site ayant été coupée, l’entreprise conseille de ne pas compter sur ces installations. Le créateur d’OVH Octave Klaba a indiqué sur Twitter que l’accès au site était impossible et qu’il ne fallait pas compter sur un redémarrage aujourd’hui. Les serveurs stockés dans SBG1 et SBG2 sont soit détruits, soit inaccessibles jusqu’à nouvel ordre, sachant qu’il faudra reconstruire l’un des bâtiments.

Pendant l’incendie (photo @ITA6768).

Pour information, MacGeneration est hébergé par OVH, mais dans un centre de données différent. L’incendie à Strasbourg n’a pas d’impact négatif sur nos services, mais plusieurs sites sont indisponibles ce matin, dont des sites officiels. Cet incident tombe en tout cas bien mal pour l’hébergeur, qui se préparait justement à entrer prochainement en bourse.

MàJ le 10/03/2021 10:38 : à dix heures, Octave Klaba, qui s’est rendu sur place, indique qu’ils envisagent d’entrer dans SBG3 pour évaluer les dégâts. Un plan va être mis en place pour redémarrer le site, au moins pour SBG3 et SBG4, peut-être SBG1 si les dégâts ne sont pas trop important.

MàJ le 10/03/2021 11:15 : les serveurs dans SBG3 sont tous en bon état, même s’ils restent éteints pour le moment. OVH va mettre en place un plan pour leur remise en ligne, sans donner d’estimation de temps pour le moment.

MàJ le 10/03/2021 11:43 : la moitié de SBG1 est détruit, d’après Octave Klaba. On comprend mieux pourquoi en regardant cette vue aérienne du site, fournie par Google Maps (via lafibre.info) : le bâtiment SBG2 qui a été totalement détruit est celui sous l’épingle rouge, au centre du site. SBG1 est situé à sa gauche et sa structure en deux parties explique pourquoi la moitié a été détruite. SBG3 est placé à sa droite et les pompiers ont réussi à maîtriser l’incendie à temps, si bien que ses serveurs n’ont pas été endommagés.

Vue du dessus…
Et depuis le côté ce matin. Sur cette photo, on voit bien que la première rangée de SBG1, créé avec des conteneurs, a été touchée par l’incendie, mais pas la seconde.

Reste que pour relancer l’activité, il faut attendre que l’incendie soit entièrement éteint, s’assurer de la sécurité de l’ensemble et vérifier en particulier que le circuit électrique fonctionne encore correctement. Il va falloir faire preuve de patience…

MàJ le 10/03/2021 13:12 : première esquisse de plan de relance pour SBG1, SBG3 et SBG4, sur une à deux semaines. OVH devra reconstruire les alimentations électriques des sites et vérifier les matériels réseau ainsi que les liaisons en fibre optique. Le plus important à retenir de cette première annonce d’Octave Klaba, c’est qu’il faudra plusieurs jours dans le meilleur des cas pour un retour à la normale.

MàJ le 10/03/2021 16:14 : le plan de retour à la normale commence à se dessiner, avec deux dates données par Octave Klaba. SBG1 et SBG4 doivent être relancés dès ce lundi 15 mars, date à laquelle le site sera à nouveau connecté au réseau internet d’OVH. Le retour de SBG3 est prévu pour le vendredi suivant, soit le 19 mars.

SBG2 ayant été détruit entièrement, il n’y a pas de date pour un éventuel retour. À la place, OVH a prévu de transférer tous ses clients sur ses centres de données de Roubaix et Gravelines. Dix mille serveurs seront ajoutés dans le mois à venir pour répondre à la demande et remplacer ce qui a disparu dans les flammes.

MàJ le 10/03/2021 20:24 : vous pouvez suivre le journal de l'intervention à cette adresse.


avatar YetOneOtherGit | 

@Marcos Ickx

"Mais faut savoir que 80% du code, c’était pour tester les 20% restants."

Les bonnes pratiques ont encore bien du chemin à parcourir des deux côtés de la barrière.

Entre certains dev ne les maîtrisant pas et les donneurs d’ordres se foutant des enjeux de qualité... 🤯

avatar DrStax | 

@IceWizard

Pour travailler en plein dans le secteur, je peux témoigner qu’il y a beaucoup de négligence des installateurs mais aussi des clients. Jusqu’au jour où ....

Heureusement je connais aussi le contraire avec des gens qui font leur boulot dans les règles ✌️

avatar zoubi2 | 

@YetOneOtherGit

Merci pour le lien. Je commande... aiguillonné par le hack récent des caméras Verkada... 👎😡😩

avatar YetOneOtherGit | 

@zoubi2

Gérard Berry est un très grand monsieur de l’informatique en France

https://fr.wikipedia.org/wiki/G%C3%A9rard_Berry[/embed]

Ses leçons au collège de France sont hautement recommandables et accessibles en ligne 😉

Après l’ouvrage mis en avant est de la vulgarisation visant à sensibiliser le grand public cultivé pas un ouvrage de haut niveau 😎

avatar zoubi2 | 

@YetOneOtherGit

Je ne suis pas de haut niveau, donc ça roule :-)

avatar JaniuS | 

@nicolasf

justement, un système anti incendie est sensé se mettre en marche dès le départ, le feu n'aurait jamais dû prendre une telle ampleur.

avatar victoireviclaux | 

@pocketalex

Tu as aussi des risques à domicile, un petit feu, une petite étincelle ça suffit à se répandre très rapidement

avatar marc_os | 

> Pour les sauvegardes, OVH n'en propose pas systématiquement, c'est souvent aux clients de gérer

La belle blague.
Moralité : Préférer un hébergeur sérieux qui fait des sauvegardes systématiques et rend service à ses clients.

avatar Nicolas Furno | 

@marc_os

Tout est question de prix et de besoins. Et en règle générale, sachez que plus vos besoins sont gros, moins les sauvegardes sont gérées par votre hébergeur.

avatar pocketalex | 

@marc_oc

pas de souci, va voir ailleurs, demande une grosse infrastructure de serveurs pour ta boite, et demande l'option "réplication sur un autre site", et ensuite... regarde le tarif

avatar marc_os | 

@ pocketalex et Nicolas
"Ma" boîte "est allée" aux USA question servers pour toutes les données essentielles.

Sinon, je ne suis pas sûr que financer un service interne avec salariés rien que pour gérer les backups en tout genre ça soit vraiment moins cher.

Ou alors il y a des questions de confidentialité importantes comme dans les banques, et elles mettent les moyens en interne (et souvent via de très grosses SSII françaises).

avatar benspx | 

"Moralité : Préférer un hébergeur sérieux qui fait des sauvegardes systématiques et rend service à ses clients."

Je pense que ce propos est lié à une méconnaissance du fonctionnement des offres et des implications de la location d'un serveur dédié...

Chez TOUS les hébergeurs, il n'y a PAS de sauvegarde desdits serveurs (ou en option, et encore), c'est au CLIENT de gérer les sauvegardes et un éventuel PRA.

Un serveur dédié consiste en la location du serveur, point. TOUT le reste est à la charge du client. Beaucoup de commentaires me laissent penser que ça n'est pas clair dans l'esprit de beaucoup de gens ...

avatar Pobla Picossa | 

@benspx

Je suis chez PlanetHoster et ils font des sauvegardes quotidiennes systématiques sur une infrastructure externe.

avatar benspx | 

@Pobla Picossa

Je pense qu'il y a confusion entre les offres grand public d'hébergement de site internet et les infrastructure d'entreprise :) (sans doute liée au fait qu'OVH propose les deux).

Planet Hoster propose essentiellement de l'hébergement de site internet, sur des hébergements mutualisés. Ces offres sont dites "fully managed", c'est à dire que le prestataire s'occupe du tout pour le client, backup inclus.

C'est également le cas pour OVH sur ses offres d'hébergement de sites internet : les hébergements sont sauvegardés automatiquement toutes les 24h :)

Par contre dans le cadre de la construction d'une infrastructure cloud (80% du chiffre d'affaires d'OVH pour rappel ;) ) le client choisi des briques techniques virtuelles qu'il assemble et construit à sa guise, comme un jeu de Légo.

Charge au client de construire et configurer son infrastructure de telle sorte que des sauvegardes soient effectuées régulièrement, que d'autres serveur (chez un autre prestataire au besoin) soient provisionnés pour prendre le relai en cas de besoin (comme ici) etc :)

Ce sont deux mondes entièrement différents, qui n'ont pas grand chose (même rien en fait) à voir entre eux. La confusion vient du fait qu'OVH propose les deux types d'offres sous son nom propre.

avatar YetOneOtherGit | 

@benspx

"80% du chiffre d'affaires d'OVH pour rappel "

D’ailleurs l’entreprise s’appelle maintenant OVHCloud 😉

Personne n’a rebondi sur le fait qu’ils venaient enfin d’évoquer une future introduction en bourse.

avatar jcp25 | 

@benspx

Tu as tout à fait raison.
Chez OVH comme ailleurs, il faut lire les contrats !
Il y a des contrats "pas chers" ou les sauvegardes sont sous la responsabilité de l'utilisateur et des contrats pro qui doivent être validés par un avocat pour être sûr de ce qui est dedans.
Généralement en professionnel, on rajoute des sauvegardes cryptées sur un autre fournisseur avec une passphrase en SSSS (Shamir Secret Sharing Scheme).
Mais... c'est plus cher !
Les données chez OVH ne sont pas perdues mais il faudra plusieurs jours pour les retrouver et pas forcément les dernières pour les utilisateurs lambda.
Même chose chez AWS etc

avatar cybercooll | 

@Pobla Picossa

Donc tu peux perdre 24h de données. Et tu testes leurs sauvegardes? Probablement pas. Un de mes hébergeurs fait des backup, je ne sais pas où par contre. Je paye 50% plus cher qu’ovh pour beaucoup moins bien en terme de matos mais j’ai beaucoup de services qui vont avec donc c’est 100% justifié. Je fais aussi mes propres backups dans 2 autres data center dont un chez ovh et je les vérifie.
Un jour j’ai un hébergeur qui a fait faillite sans le dire à personne. Il faisait des backups. Tout a disparu quand EDF a coupé l’électricité. J’ai perdu tout ce que j’avais chez lui. T’es bien content d’avoir rapatrié tes backups dans ce cas.

avatar marc_os | 

@ benspx
> Chez TOUS les hébergeurs, il n'y a PAS de sauvegarde

Mais oui.
Sauf par exemple chez pair.com si je ne m'abuse (cf. Disaster Recovery Backups):
https://www.pair.com/support/managed-service-levels/[/embed]

avatar benspx | 

@marc_os

Merci, car cet exemple illustre parfaitement mon propos :)

"will help you restore your website with the backups we have available."

Le bakcup automatique n'est en effet proposé que sur les offres managées; c’est-à-dire les offres pour lesquelles le prestataire prend tout en charge (au même titre que chez OVH, Scaleway etc). Donc pour les offres (très) grand public type hébergement mutualisé etc. OVH, Scaleway etc font également la même chose.

Par ailleurs, pour les autres offres, ils disent bien que :

"We also support tools so you can configure your own backups. We will assist you with our Cron interface, navigating the backups interface, and browsing backup files. We can also help you restore your own backups if they were created using our tools"

C'est à dire qu'ils mettent à dispo un espace de stockage pour y faire des backups, charge au client d'effectuer et gérer ces derniers :)

Comme OVH pour les serveurs dédiés : un espace de stockage déporté de 500Go est mis à disposition du client; charge à lui d'y sauvegarder des données s'il le souhaite.

avatar marc_os | 

@ benspx
Il faut tout lire !
"Behind-the-scenes we manage disaster recovery backups and will help you restore your website with the backups we have available. Our disaster recovery backups are stored offsite for added security."
Et ce, quelque soit le type de compte.

avatar benspx | 

@marc_os

Je pense que nous ne nous comprenons pas :) Il faut tout lire également ! ;)

Cf ma réponse à @Pobla Picossa dans laquelle j'ai de nouveau expliqué le contexte.

Je reformule : avec pair.com, on se parle d'hébergement mutualisé, c'est à dire d'offres "fully managed" : des offres (très) grand public, clefs en main, servant à héberger blogs et autre petits sites; offres pour lesquels l'hébergeur gère tout pour le client, backup inclus.

OVH propose aussi ce type d'offres (les fameux hébergements mutualisés pour quelques € par mois), et dans ce cas de figure, un backup est fait automatiquement par l'hébergeur toutes les 24h; et je peux même te dire que ce backup est envoyé sur un cluster Ceph, donc triple réplication, avec un minimum de deux sites physiques différents :)

Par contre, 80% du business d'OVH n'est PAS de l'offre mutualisé grand public, mais de l'infrastructure Cloud professionnelle. Et là on se parle d'un tout autre monde, n'ayant RIEN à voir avec des offres "fully managed" comme de l'hébergement mutualisé :)

En simplifiant, dans ce type d'offre, le client / sysadmin construit son infrastructure en assemblant des briques techniques virtuelles ou physique qu'il "pioche" et loue dans le catalogue du fournisseur.

Charge à lui de construire et paramétrer son infrastructure pour que cette dernière intègre de la réplication, voire de la continuité d'activité en cas d'imprévu, pourquoi pas en provisionnant machines et ressources sur un autre site physique, ou chez un autre presta. Ce qui implique d'avoir des backup des bases de prod etc etc; bref, ça n'est pas un métier pour rien ;)

De nouveau, je pense que la plupart des lecteurs ne connaissent OVH que pour son activité grand public d'offres d'hébergement mutualisé. Je vous invite donc à regarder le site d'OVH dans le détail pour comprendre que ces petites offres administrées ne sont qu'une infime partie de leur offre et de leur business :)

De fait, si des sysadmins perdent des données suite à l'incendie de SBG, c'est qu'ils n'avaient pas correctement construit leurs infras (ou n'ont pas eu les moyens de le faire), OVH n'a rien à voir dans cette histoire :)

Quant aux clients de pair.com, ils hébergent leur site personnel / blog / petit site e-commerce sur une offre entièrement managées et donc - tout comme les clients OVH pour les offres équivalentes - n'ont pas à se poser ces questions ;)

avatar jcp25 | 

@benspx

80% du business d'OVH n'est PAS de l'offre mutualisé grand public, mais de l'infrastructure Cloud professionnelle
--
Oui, tout à fait

avatar byte_order | 

@marc_os
> Moralité : Préférer un hébergeur sérieux qui fait des sauvegardes systématiques
> et rend service à ses clients.

Merci de ne pas confondre "hébergement" (de sites web ou de services internet sur étagère), et le service de location d'infrastructure serveur.

Le premier est systématiquement proposé avec des sauvegardes automatiques et multiples intégralement pris en charge par l'hébergeur. Chez OVH comme chez les autres. Cela fait partie de la prestation "d'hébergeur" : vous fournissez le contenu, eux ils fournissent tout le reste : l'infrastructure serveur, réseau, le service pour l'exposer sur internet (ou extranet, selon les cas), la maintenance de cette infrastructure, OS compris, logiciels nécessaires sur la machine compris. Et donc, sauvegardes automatisées de vos données.

Le second n'implique pas de sauvegarde automatique de vos données car c'est impossible de savoir ce que constitue alors "vos" données et de les distinguer des données de l'OS, de tels logiciels installés dessus etc.
L'option de sauvegarde automatique est proposée, mais, là, la sauvegarde consiste, par défaut, à sauvegarder la totalité du ou des disques attachés au serveur loué (qu'il soit physique ou virtuel). En effet, seul le client dans ce type d'usage sait réellement quelques sont les données qui lui sont indispensables de sauvegarder et lequel sont nettement moins importantes.

Par exemple, je loue un serveur dédié. Avoir un backup complet du disque de 1To (taille minimale par défaut) ne m'importe pas, car d'une part l'option de backup est payante mais, surtout, parce que 99% de ces 1To peuvent être totalement reconstruit très facile en réinstallant la même version de l'OS et des outils complémentaires dessus, quelque chose dont j'ai, moi, une sauvegarde de la procédure, procédure complètement automatique et qui ne prend pas plus que 2h max. En imaginant qu'il ai été dans ceux brûlés, c'est une rupture de service parfaitement tolérable dans mon cas.

Par contre, le 1% restant, une base mongodb et des fichiers de configuration, quelques certificats ssl principalement, OVH ne peut pas identifier tout seul ce qui doit être sauvegardé carcela dépend totalement de ce que mes apps déployées dessus produisent et comment elles le produisent, j'ai mis en place la procédure de backup moi même. J'utilise l'espace de sauvegarde proposé gratuitement par OVH avec ma location de serveur dédié, mais j'ai également une sauvegarde automatisé vers mon NAS perso.

Pour les clients qui acceptent de payer l'option "backup complet des disques", on se retrouve alors dans la même situation que pour l'hébergement. Mais comme cela représente une grosse quantité de données en raison de l'impossibilité de savoir distinguer celles qui sont importantes ou pas aux yeux du client, c'est pas gratuit.

avatar bibi81 | 

Moralité : Préférer un hébergeur sérieux qui fait des sauvegardes systématiques et rend service à ses clients.

Moralité : bien lire le contrat et s'assurer qu'il répond à ses besoins. Et ça ne s'applique pas qu'à une offre d'hébergement internet.

avatar xDave | 

Les mutualités sont backupés par OVH si je me souviens bien.
Pour les Pros c'est à toi de configurer et de faire un plan de sauvegarde et remise en service.

Pages

CONNEXION UTILISATEUR