AMS1 anahtar arızası — ağ performansı düştü, 4s12d
Özet. Saat 03:17 UTC'de AMS1 rafımızdaki birincil top-of-rack anahtarı 48 portun 22'sinde trafiği iletmeyi durdurdu. Amsterdam'daki VPS örneklerinin yaklaşık %40'ı dış bağlantısını kaybetti; kalanlar yedek yolda artan gecikme ve paket kaybı yaşadı. Tüm servisler saat 07:29 UTC itibarıyla tamamen geri yüklendi. Veri kaybı yaşanmadı, depolama katmanı etkilenmedi.
Kök neden. Birincil anahtarın hat kartındaki arızalı bir ASIC, tampon yönetimi birimindeki bir üretici yazılımı hatası tarafından tetiklendi (satıcı danışmanlığı PSIRT-2026-041, olayımızdan sonra yayınlandı). İkincil anahtara otomatik yük devretme devreye girdi, ancak bir toplama grubundaki yanlış yapılandırılmış LACP karması 22 portu ölü birime sabitledi.
Düzeltme. Arızalı hat kartı saat 07:12 UTC'de yerindeki yedek parçalarla değiştirildi ve LACP grupları yeniden dengelendi. O tarihten bu yana üretici donanım yamasını AMS1 ve ZRH1 anahtarlarının tamamına uyguladık; yalnızca ana bağlantıyı değil, her port grubunu doğrulayan üç aylık otomatik yük devretme tatbikatı ekledik ve toplu bağlantı durumuna güvenmek yerine kısmen arızalı bir anahtarın bizi 60 saniye içinde uyarması için port bazında iletim telemetrisi devreye aldık.
Krediler. Olay, etkilenen Amsterdam müşterileri için aylık %99,9 SLA'mızı ihlal etti. Olay penceresi boyunca aktif olan tüm AMS1 servislerine SLA kredileri otomatik olarak uygulandı — bilet gerekmez; bkz. SLA'mıza.
- 03:17 UTC — İzleme, 3 AMS1 hipervizöründe paket kaybını işaretliyor. Nöbetçi sayfası gönderildi.
- 03:24 UTC — Doğrulandı: birincil ToR anahtarı 22/48 portta iletim yapmıyor. Yük devretme kısmen devreye girdi.
- 03:41 UTC — Durum sayfası Hollanda için "performans düşüşü" olarak güncellendi. Trafik ikincil yola yönlendirildi.
- 05:02 UTC — Veri merkezi uzaktan operatörleri hat kartı değişimi için rafa yönlendirildi.
- 07:12 UTC — Hat kartı değiştirildi, LACP grupları yeniden dengelendi, tam iletim geri sağlandı.
- 07:29 UTC — Tüm kontroller yeşil. Olay çözüldü olarak işaretlendi. Toplam etki: 4s12d.
- 2026-06-16 — Firmware yaması hazırlık ortamında doğrulandı, AMS1 ve ZRH1'e dağıtıldı.
- 2026-06-21 — Bu retrospektif yayınlandı. SLA kredileri uygulandı.