Grote storing van het Ajax Systems cloud platform

Bericht van Aleksandr Konotopsky oprichter Ajax Systems

Op 11 september heeft er op het cloud omgeving van Ajax Systems een storing voor gedaan. De eigenaar wil graag uitleggen wat er gebeurd is.

Vertaling onderaan

Dear Ajax users and Partners,

1)Me personally and the Ajax team appologize for the cloud outage which happened yesterday. It is the biggest fuckup in Ajax history and we will immediately work on the solutions to strengthen our cloud. We have a clear engineering roadmap to implement to prevent this in the future.

2)Ajax cloud has almost 200 servers. It is one of the biggest iot clouds in the world. With load from millions of hubs and users. It is a highly available cloud with a lot of backups inside. Why did we have such a massive outage if we have the backups? Yesterday a number of disaster recovery procedures went wrong. An outage is the result of several mistakes and factors in a row. We learned our lessons and will implement serious changes to the architecture in the shortest possible time.

3)We are not limiting Ajax functionality to cloud only. All the non cloud tools are available disregarding a cloud. Like direct connection to the monitoring station, direct SMS and call from the phone, SpaceControl and KeyPad to arm and disarm the system. So this is your backup as well.

4)We will work on the speed of communication as well. Appologize that we did make you aware with a long delay. Everything started from the small incident and we didn’t expect it to become massive. And after all the engineering team was busy with recovery so we didn’t arrange a prompt communication.

And thank you very much for all your support yesterday. We really appreciate it and will keep improving.

Nederlands:

1)Ik persoonlijk en het Ajax-team verontschuldigen ons voor de cloudstoring die gisteren heeft plaatsgevonden. Het is de grootste fuckup in de geschiedenis van Ajax en we gaan direct aan de slag met de oplossingen om onze cloud te versterken. We hebben een duidelijke technische routekaart die we moeten implementeren om dit in de toekomst te voorkomen.

2)Ajax cloud heeft bijna 200 servers. Het is een van de grootste iot-wolken ter wereld. Met belasting van miljoenen hubs en gebruikers. Het is een zeer beschikbare cloud met veel back-ups erin. Waarom hadden we zo’n enorme storing als we de back-ups hadden? Gisteren zijn een aantal disaster recovery-procedures misgegaan. Een storing is het gevolg van meerdere fouten en factoren op een rij. We hebben onze lessen geleerd en zullen in de kortst mogelijke tijd serieuze veranderingen in de architectuur doorvoeren.

1. We beperken de Ajax-functionaliteit niet alleen tot de cloud. Alle niet-cloudtools zijn beschikbaar, ongeacht de cloud. Zoals directe verbinding met de meldkamer, directe sms en oproep vanaf de telefoon, SpaceControl en KeyPad om het systeem in en uit te schakelen. Dit is dus ook uw back-up.

4)We zullen ook werken aan de snelheid van de communicatie. Onze excuses dat we u met een lange vertraging op de hoogte hebben gesteld. Alles begon met een klein incident en we hadden niet verwacht dat het groot zou worden. En het technische team was tenslotte bezig met herstel, dus we hebben geen snelle communicatie geregeld. En heel erg bedankt voor al jullie steun gisteren. Wij stellen dit zeer op prijs en zullen blijven verbeteren.