Kegagalan switch inti AMS1 — jaringan menurun, 4 jam 12 menit
Ringkasan. Pada 03:17 UTC, switch top-of-rack utama di rack AMS1 kami berhenti meneruskan lalu lintas pada 22 dari 48 port. Sekitar 40% instance VPS Amsterdam kehilangan konektivitas eksternal; sisanya mengalami latensi tinggi dan packet loss pada jalur redundan. Semua layanan dipulihkan sepenuhnya pada 07:29 UTC. Tidak ada data yang hilang dan tidak ada lapisan penyimpanan yang terpengaruh.
Akar masalah. ASIC yang gagal pada line card switch utama, dipicu oleh bug firmware di unit manajemen buffer (advisory vendor PSIRT-2026-041, diterbitkan setelah insiden kami). Failover otomatis ke switch sekunder aktif, tetapi hash LACP yang salah konfigurasi pada satu grup agregasi membuat 22 port tetap terikat ke unit yang mati.
Perbaikan. Kartu line yang rusak diganti dari suku cadang di lokasi pada 07:12 UTC dan grup LACP diseimbangkan kembali. Sejak itu, kami telah menerapkan patch firmware vendor di semua switch AMS1 dan ZRH1, menambahkan latihan failover otomatis triwulanan yang memverifikasi setiap grup port, bukan hanya link utama, serta menerapkan telemetry forwarding per-port sehingga switch yang mati sebagian dapat mem-page kami dalam 60 detik, bukan mengandalkan status link agregat.
Kredit. Insiden ini melanggar SLA bulanan 99.9% kami bagi pelanggan Amsterdam yang terdampak. Kredit SLA diterapkan secara otomatis ke semua layanan AMS1 yang aktif selama periode tersebut — tanpa tiket yang diperlukan, sesuai SLA kami.
- 03:17 UTC — Pemantauan menandai kehilangan paket di 3 hypervisor AMS1. Petugas jaga dipanggil.
- 03:24 UTC — Dikonfirmasi: switch ToR utama tidak meneruskan pada 22/48 port. Failover sebagian aktif.
- 03:41 UTC — Halaman status diperbarui menjadi "performa menurun" untuk Belanda. Lalu lintas dialihkan ke jalur sekunder.
- 05:02 UTC — Teknisi pusat data dikirim ke rak untuk penggantian line-card.
- 07:12 UTC — Line-card diganti, grup LACP diseimbangkan ulang, penerusan penuh dipulihkan.
- 07:29 UTC — Semua pemeriksaan hijau. Insiden ditandai selesai. Total dampak: 4 jam 12 menit.
- 2026-06-16 — Patch firmware divalidasi di staging, diterapkan ke AMS1 dan ZRH1.
- 2026-06-21 — Retrospektif ini dipublikasikan. Kredit SLA diterapkan.