VPSRENTO
AMS1 core-switchstoring — verminderde netwerkprestaties, 4u12m
Samenvatting. Om 03:17 UTC is op de primaire top-of-rack switch in ons AMS1-rack de doorvoer van verkeer op 22 van de 48 poorten gestopt. Ongeveer 40% van de Amsterdamse VPS-instances verloor externe connectiviteit; de overige ervaarden een verhoogde latentie en pakketverlies op het redundante pad. Alle diensten waren om 07:29 UTC volledig hersteld. Er is geen data verloren gegaan en geen enkele storage-laag is geraakt.
Hoofdoorzaak. Een falende ASIC op de line card van de primaire switch, veroorzaakt door een firmwarebug in de bufferbeheereenheid (leveranciersadvies PSIRT-2026-041, gepubliceerd na ons incident). Automatische failover naar de secundaire switch werd geactiveerd, maar een verkeerd geconfigureerde LACP-hash op één aggregatiegroep liet 22 poorten vastgepind op de dode eenheid.
Remediëring. De defecte line card is om 07:12 UTC vervangen door een reservekaart op locatie en de LACP-groepen zijn opnieuw gebalanceerd. Sindsdien hebben we de firmwarepatch van de leverancier op alle AMS1- en ZRH1-switches toegepast, een driemaandelijkse geautomatiseerde failover-test toegevoegd die elke poortgroep verifieert in plaats van alleen de master-link, en per-poort forwarding-telemetrie uitgerold, zodat een gedeeltelijk defecte switch ons binnen 60 seconden een page stuurt in plaats van te vertrouwen op de geaggregeerde linkstatus.
Credits. Het incident betekende een schending van onze maandelijkse SLA van 99,9% voor de getroffen Amsterdamse klanten. SLA-tegoeden zijn automatisch toegepast op alle AMS1-diensten die tijdens dit venster actief waren — geen ticket nodig, volgens de onze SLA.
- 03:17 UTC — Monitoring signaleert pakketverlies op 3 AMS1-hypervisors. Dienstdoende opgeroepen.
- 03:24 UTC — Bevestigd: primaire ToR-switch stuurt niet door op 22/48 poorten. Failover gedeeltelijk geactiveerd.
- 03:41 UTC — Statuspagina bijgewerkt naar "verminderde prestaties" voor Nederland. Verkeer omgeleid naar secundair pad.
- 05:02 UTC — Datacenter remote hands naar rack gestuurd voor vervanging van lijnkaart.
- 07:12 UTC — Lijnkaart vervangen, LACP-groepen opnieuw gebalanceerd, volledige doorvoer hersteld.
- 07:29 UTC — Alle controles groen. Incident als opgelost gemarkeerd. Totale impact: 4u12m.
- 2026-06-16 — Firmware-patch gevalideerd in staging, uitgerold naar AMS1 en ZRH1.
- 2026-06-21 — Deze retrospective gepubliceerd. SLA-tegoeden toegepast.