W nocy z wtorku na środę (9/10.03.2021) wybuchł pożar w serwerowni OVHCloud, w wyniku którego uszkodzone zostały dwa centra danych, co spowodowało bezpośrednio brak możliwości wysyłki notyfikacji, zbierania subskrybentów oraz całkowite wstrzymanie działania aplikacji PushPushGo.
Obecnie sytuacja została już opanowana i całkowite działanie aplikacji zostało w pełni przywrócone. Jako PushPushGo dołożyliśmy wszelkich starań, aby pomimo poważnej i nieprzewidzianej awarii, przywrócić możliwość działania tak szybko jak to tylko możliwe.
Dzięki wytężonej pracy naszego zespołu IT, udało nam się tego dokonać w czasie poniżej 24h, co jak widać po aktualnej sytuacji na rynku w związku z awarią, jest wynikiem nadspodziewanie dobrym.
Chciałbym bardzo podziękować wszystkim klientom za cierpliwość i wyrozumiałość w obliczu sytuacji w jakiej się znaleźliśmy. Państwa słowa wsparcia były dla nas nieocenione, dziękujemy.
Poniżej kilka najważniejszych wydarzeń z przebiegu wczorajszej awarii oraz odpowiedzi na najczęściej pojawiające się pytania.
00:30
Pojawił się niegroźny incydent - otrzymaliśmy pierwsze powiadomienie od Page Duty - Wyłączonych zostało kilka serwerów. Nasi Administratorzy rozpoczęli pracę nad poprawą infrastruktury.
00:47
Pierwsza informacja o ogniu w SGB2 - zgodnie z informacjami opublikowanymi przez OVH. Wdrożenie planu awaryjnego.
04:10
Przestało działać 90% infrastruktury - (akcja gaśnicza) datacenter SGB1, SGB2, SGB3, SGB4, w których mieliśmy dużą część repozytoriów. Pozostałe datacenter nie zostały uszkodzone.
06:00 - 18:00
Pełne odtwarzanie infrastruktury oraz odzyskanie kodów źródłowych aplikacji, na co składało się przygotowanie oraz uruchomienie kopii bazy danych (żeby przyjąć ruch z pełnym obciążeniem),
Ok. 14:00 pierwszy update:
18:30
Przywróciliśmy wysyłki - uruchomienie senderów/requesterów.
