В мае 2017 наши клиенты заметили, что Юздеск стал тормозить. Это была болезнь роста. Клиентов стало больше, а система не была к этому готова. Мы отчаянно сражались с тормозами, но это не помогало.
25 мая в процессе починки таких тормозов наш разработчик нечаянно удалил Юздеск. Совсем. На три часа мы с клиентами погрузились в кромешную тьму. Звонки, извинения, гнев, слезы.
Нам удалось восстановить вторую более слабую и менее функциональную версию, и только через три дня воскресить основную систему. Все три дня были без сна и еды для нашей команды. Даже дышать было больно. Но наши клиенты все стоически выдержали, не бросили нас, поддерживали и даже придумали хэштег #юздескживи.
Что мы сделали, чтобы такого больше не повторилось1. Стабильность приоритетнее фич. Последние полгода мы сосредоточились на оптимизации сервиса и приостановили выпуск нового функционала.
2. Мы перевезли Юздеск на мощные сервера, добавили несколько резервов, чтобы в случае ИКС в течение нескольких минут восстановить работу сервиса.
3. Наняли целую команду
администраторов, которые следят за нагрузкой находят слабые места в системе и помогают их оптимизировать.