Відмова основного комутатора AMS1 — деградація мережі, 4 год 12 хв
Підсумок. О 03:17 UTC основний комутатор top-of-rack у стійці AMS1 припинив пропускати трафік на 22 з 48 портів. Приблизно 40 % VPS-екземплярів у Амстердамі втратили зовнішнє з'єднання; решта спостерігала підвищену затримку та втрати пакетів на резервному шляху. Усі сервіси було повністю відновлено до 07:29 UTC. Дані не втрачено, жоден рівень сховища не постраждав.
Першопричина. Відмова ASIC на лінійній карті основного комутатора, спричинена багом мікропрограми в модулі керування буфером (рекомендація виробника PSIRT-2026-041, опублікована після нашого інциденту). Автоматичне перемикання на резервний комутатор спрацювало, але неправильно налаштований LACP-хеш в одній агрегаційній групі залишив 22 порти прив'язаними до мертвого пристрою.
Виправлення. Несправну лінійну карту замінено з наявного на місці резерву о 07:12 UTC, а групи LACP перебалансовано. Згодом ми застосували патч мікропрограми виробника на усіх комутаторах AMS1 та ZRH1, додали щоквартальне автоматизоване тренування відмовостійкості, що перевіряє кожну групу портів, а не лише майстер-лінк, і запровадили телеметрію пересилання по кожному порту, щоб частково несправний комутатор сповіщав нас протягом 60 секунд, а не покладатися на агрегований стан лінка.
Компенсації. Подія порушила наш місячний SLA 99,9 % для постраждалих клієнтів у Амстердамі. SLA-кредити застосовано автоматично до всіх сервісів AMS1, активних у цей період, — квиток не потрібен, згідно з нашим SLA.
- 03:17 UTC — Моніторинг фіксує втрату пакетів на 3 гіпервізорах AMS1. Чергового сповіщено.
- 03:24 UTC — Підтверджено: основний ToR-комутатор не пересилає трафік на 22/48 портах. Резервування частково задіяно.
- 03:41 UTC — Статус-сторінку оновлено до «погіршена продуктивність» для Нідерландів. Трафік переведено на резервний шлях.
- 05:02 UTC — Віддалені руки дата-центру відправлено до стійки для заміни лінійної карти.
- 07:12 UTC — Лінійну карту замінено, групи LACP перебалансовано, повне пересилання відновлено.
- 07:29 UTC — Усі перевірки зелені. Інцидент позначено як вирішений. Загальний вплив: 4 год 12 хв.
- 2026-06-16 — Патч прошивки перевірено на стенді, розгорнуто на AMS1 та ZRH1.
- 2026-06-21 — Цей ретроспективний звіт опубліковано. Кредити SLA застосовано.