Grote brand vernietigt Europa's grootste hostingprovider OVH

[de vrije fries]

hoi,

 

Datacenter SBG2 en delen van SBG1 zijn afgebrand, medewerkers zijn in veiligheid, talloze klanten zijn getroffen

Woensdagavond werd OVH Cloud getroffen door een grote brand die ernstige schade veroorzaakte. Het incident werd via Twitter gedocumenteerd door de oprichter en CEO van het bedrijf, Octave Klaba. OVH is de grootste hostingprovider in Europa en een van de belangrijkste providers wereldwijd achter de industriereuzen Amazon AWS, Microsoft Azure en Google Cloud.

De vier datacentra in Straatsburg, Frankrijk, werden getroffen. Om nog onduidelijke redenen trof de brand eerst het datacenter van SBG2. Volgens Klaba was de brandweer direct ter plaatse om de brand te bestrijden. Uiteindelijk wisten de vlammen van SBG2 echter delen van de aangrenzende SBG1 volledig te vernielen. Alle medewerkers kwamen echter in veiligheid. Woensdag om 07.20 uur meldde Klaba dat de brand was geblust.

Gebruikers en operators van servers in de datacenters van OVH waren en worden nog steeds getroffen, zelfs als hun gegevens niet in SBG1 of SBG2 staan. Omdat deze moesten worden geïsoleerd van het netwerk. SBG3 en SBG4 bleven het vuur gespaard, maar moesten worden uitgeschakeld.

Er worden momenteel plannen gemaakt om SBG3, SBG4 en mogelijk delen van SBG1 weer online te brengen. De eerste servers gaan op zijn vroegst donderdag weer in bedrijf. Binnenkort start ook de inspectie van de schade in SBG1. (gpi, 10 maart 2021)

 

 

[de vrije fries]

hoi,

 

De brand heeft het datacenter SBG 2 volledig verwoest, SBG 3 gedeeltelijk.
SBG 2 huisvestte echter ook de centrale stroomvoorziening en aansluiting op het backbone-netwerk voor SBG 1, 3 en 4.
De brand vernietigde ook de back-upverbindingen naar het stroom- en glasvezelnetwerk,
daarom blijven veel servers dagenlang onbereikbaar, ook al worden ze fysiek niet getroffen door de brand.
En klanten die hun backups op servers hebben staan die niet door de brand zijn vernield, maar door de gevolgen

nog steeds niet bereikbaar zijn, hebben nu een reëel probleem.
Zonder naar de back-ups te gaan, kunt u geen noodsysteem aan de gang krijgen.
Alleen het vijfde datacenter in Straatsburg is geheel onbeschadigd en blijft draaien omdat het op een andere locatie is gevestigd.

 

hierbij nog wat foto`s van het gebeuren

[Mimisiku]

Nu werk ik toch al jaren in datacenters. Daar staat brandwering/brandveiligheid op de allerhoogste standaard. Rook/temperatuursensoren, vapourtubes, blussen/smoren met Argonite.. Hoe kan het daar in vredesnaam zó zijn misgegaan?

12 maart 2021 aangepast door Mimisiku

[de vrije fries]

hoi,

 

Stroomvoorziening onder verdenking

Wat het echte waarom betreft, geeft Klaba een eerste beschrijving van wat er ter plaatse is gebeurd. Dienovereenkomstig ging er 's nachts een alarm af. De eerste mensen of brandweerlieden die ter plaatse waren, moesten echter de SBG2 verlaten vanwege een grote hoeveelheid rook. Het was echter mogelijk om foto's te maken met een thermische camera en deze toonden aan dat twee eenheden die verantwoordelijk waren voor de ononderbroken stroomvoorziening (UPS) brandden of de oorzaak zouden kunnen zijn.

 

Vooral de UPS met het nummer 7 wordt verdacht. Omdat dit volgens Klaba de dag ervoor was geserviced en ook veel onderdelen zijn vervangen, aldus de OVH-baas. Maar op dit moment kan er niet meer over gezegd worden. De komende dagen zullen opnames van bewakingscamera's worden geëvalueerd, waarvan er in totaal ongeveer 300 in de datacenters in Straatsburg zijn.

 

Om veiligheidsredenen zijn alle datacenters gesloten en dat zullen ze in ieder geval vandaag blijven. De brand is inmiddels gedoofd, maar de brandweer is daar nog aan het werk omdat de gebouwen nog gekoeld moeten worden. De technici kunnen het pand of de getroffen serverruimtes niet betreden. Klaba: "We hebben geen toegang tot de locatie. Daarom worden SBG1, SBG3, SBG4 vandaag niet herstart."

 

Volgens Bleeping Computer, zijn iniedergeval het beveiligingsbedrijf Bad Packets, de schaakserverprovider Lichess.org, het cryptocurrency-handelsplatform Deribit, de encryptietool VeraCrypt, eeNews Europe en nog veel meer  getroffen.

https://www.bleepingcomputer.com/news/technology/ovh-data-center-burns-down-knocking-major-sites-offline/

[jopiesat]

Al die sites die offline zijn gegaan hierdoor zullen toch even opnieuw moeten nadenken over de redundantie in hun architectuur. Goed leermoment voor velen.

Bij brand van de stroomtoevoer kan er van alles mis gaan. De brandweer kan dan de leiding nemen van de crisis en bijvoorbeeld evacuatie afdwingen waardoor de nood procedures (soms met lokale handelingen) ineens niet of onvolledig kunnen worden uitgevoerd. Vaak wordt alleen geoefend op brand bij de servers zelf.

zoals gezegd, groot leermoment voor alle betrokkenen en andere datacenters. 

[Mimisiku]

De datacenters waar ik voor werkte hadden 6-voudige redundantie! Dubbele uitvoering in 3 gescheiden locaties... Amsterdam, Aalsmeer en Oude Meer...

[Tonskidutch]

12 uren geleden, jopiesat zei:

over de redundantie in hun architectuur.

het woord architectuur is wellicht tweeledig te duiden.

Veel ICT'ers gebruiken het woord volledig ten onrechte maar er is een overeenkomst met echte architectuur. (het gebouw ontwerpen en bouwen)

Er is veel te weinig aandacht en knowhow inzake brandveiligheid bij deze datacentra en de veiligheid is zichtbaar onvoldoende als graffiti op de gevels staat.

 

Ik herinner alleen maar aan die 5G antenne pyromanen. Je kunt er op wachten dat QAnon met zijn lijstrekker dit soort doelen steeds vaker zullen aanvallen.

 

 

[zeeteefje]

Advies OVH aan klanten: "activeer uw disaster recovery plan." LOL.

[Mimisiku]

Feitelijk is dat de taak van het datacenter... Daar betaal je dik voor én zijn de verzekeringsclausules 'moordend'.. Grote kans dat de klanten alleen kleinere backups bezitten en dus sowieso 'de Sjaak' zijn...

 

Bij 'ons' zijn SLA claims van 1 en 4 uur vrij normaal.. Boetes van €100.000 per dag zijn regelmaat.... Voor diegene die de rekening krijgt wordt het een heel duur geintje (waarschijnlijk einde oefening)...

[jopiesat]

9 uren geleden, Tonskidutch zei:

het woord architectuur is wellicht tweeledig te duiden.

Veel ICT'ers gebruiken het woord volledig ten onrechte maar er is een overeenkomst met echte architectuur. (het gebouw ontwerpen en bouwen)

Er is veel te weinig aandacht en knowhow inzake brandveiligheid bij deze datacentra en de veiligheid is zichtbaar onvoldoende als graffiti op de gevels staat.

 

Ik herinner alleen maar aan die 5G antenne pyromanen. Je kunt er op wachten dat QAnon met zijn lijstrekker dit soort doelen steeds vaker zullen aanvallen.

 

 

Niet alleen ICT’ers gebruiken de term

https://en.wikipedia.org/wiki/Architecture_(disambiguation

 

Lijkt me duidelijk uit de context wat er in dit geval door mij werd bedoeld. Ben het helemaal eens met jouw punt over (brand)veiligheid.

[de vrije fries]

hoi,

 

even een kleine update

 

3,6 miljoen websites offline gehaald na brand in OVH-datacentra

 

Websites die tijdens de brand offline gingen, waren onder meer online banken, webmaildiensten, nieuwssites, online winkels

die PBM's verkopen om te beschermen tegen coronavirus, en de overheidswebsites van verschillende landen.

OVH heeft een update gepubliceerd over zijn Fire at Our Strasbourg Site-pagina, en een incidentrapport suggereert dat het twee weken

kan duren om een deel van de vernietigde infrastructuur opnieuw op te bouwen.

https://www.ovh.ie/news/press/cpl1786.fire-our-strasbourg-site

http://travaux.ovh.net/?do=details&id=49484

[Codx]

Zo zie je maar weer kwetsbaar dit soort infrastructuur in werkelijkheid is, uiteraard zullen grote der aarden hun diensten over verschillende geografische locaties wereldwijd verdeeld hebben. Maar als je strategisch een paar belangrijke locaties plat gooit kun je het internet volledig lam leggen in een regio of land met ernstige gevolgen voor de economie.  Tienduizenden bedrijven die offline zijn en weken zo niet maanden lang niks kunnen omdat ze volledig afhankelijk zijn gemaakt van de cloud. 

15 maart 2021 aangepast door Codx

[minplus]

Die oorlog wordt al een tijd gevoerd...

[Psychosammie]

Nu maar hopen dat ze nog wel ergens een backupje op een NAS gemaakt hebben 😂

[cheapwatcher]

Op 15-3-2021 om 23:07, Codx zei:

Zo zie je maar weer kwetsbaar dit soort infrastructuur in werkelijkheid is, uiteraard zullen grote der aarden hun diensten over verschillende geografische locaties wereldwijd verdeeld hebben. Maar als je strategisch een paar belangrijke locaties plat gooit kun je het internet volledig lam leggen in een regio of land met ernstige gevolgen voor de economie.  Tienduizenden bedrijven die offline zijn en weken zo niet maanden lang niks kunnen omdat ze volledig afhankelijk zijn gemaakt van de cloud. 

Ik vraag me ook af of die hele 'cloud' ontwikkeling wel zo goed is. Straks staan allerlei bedrijfskritische IT applicaties alleen nog maar bij cloud providers. De meesten vallen onder Amerikaanse bedrijven. Bij een conflict tussen Amerika en Europa is het dan heel eenvoudig om de boel plat te leggen...