Отказ основного коммутатора AMS1 — деградация сети, 4ч12м
Суть. В 03:17 UTC основной коммутатор top-of-rack в стойке AMS1 прекратил передачу трафика на 22 из 48 портов. Примерно 40% VPS-инстансов в Амстердаме потеряли внешнюю связность; остальные столкнулись с повышенной задержкой и потерей пакетов на резервном пути. К 07:29 UTC все сервисы были полностью восстановлены. Данные не были потеряны, уровень хранения данных не пострадал.
Причина. Вышедший из строя ASIC на линейной карте основного коммутатора, вызванный ошибкой прошивки в модуле управления буфером (уведомление вендора PSIRT-2026-041, опубликовано после нашего инцидента). Автоматическое переключение на резервный коммутатор сработало, но неправильно настроенный LACP-хеш на одной агрегационной группе оставил 22 порта привязанными к мёртвому устройству.
Устранение. Неисправная линейная карта была заменена из локального резерва в 07:12 UTC, а группы LACP перебалансированы. С тех пор мы применили патч прошивки производителя на всех коммутаторах AMS1 и ZRH1, добавили ежеквартальную автоматическую проверку отказоустойчивости, которая проверяет каждую группу портов, а не только мастер-линк, и внедрили телеметрию пересылки трафика по каждому порту, так что частично отказавший коммутатор отправит нам оповещение в течение 60 секунд вместо опоры на агрегированное состояние линка.
Компенсации. Событие нарушило наше месячное SLA уровня 99,9% для затронутых клиентов в Амстердаме. SLA-кредиты были начислены автоматически всем сервисам AMS1, активным в этот период, — тикет не требуется, в соответствии с нашему SLA.
- 03:17 UTC — Мониторинг фиксирует потерю пакетов на 3 гипервизорах AMS1. Дежурный оповещён.
- 03:24 UTC — Подтверждено: основной ToR-коммутатор не передаёт трафик на 22/48 портов. Резервирование частично задействовано.
- 03:41 UTC — Статусная страница обновлена до «сниженная производительность» для Нидерландов. Трафик переведён на резервный путь.
- 05:02 UTC — Инженеры дата-центра направлены к стойке для замены линейной платы.
- 07:12 UTC — Линейная плата заменена, группы LACP перебалансированы, полная маршрутизация восстановлена.
- 07:29 UTC — Все проверки в норме. Инцидент закрыт. Общее время воздействия: 4ч12м.
- 2026-06-16 — Патч прошивки проверен в staging, развёрнут на AMS1 и ZRH1.
- 2026-06-21 — Ретроспектива опубликована. Применены SLA-кредиты.