AMS1 कोर स्विच विफलता — घटा नेटवर्किंग, 4 घंटे 12 मिनट
सारांश। 03:17 UTC पर, हमारे AMS1 रैक में प्राथमिक top-of-rack स्विच ने 48 पोर्ट में से 22 पर ट्रैफ़िक फ़ॉरवर्ड करना बंद कर दिया। करीब 40% एम्स्टर्डम VPS इंस्टेंस ने बाहरी कनेक्टिविटी खो दी; शेष को रिडंडेंट पथ पर बढ़ी हुई लेटेंसी और पैकेट लॉस का सामना करना पड़ा। सभी सेवाएँ 07:29 UTC तक पूरी तरह से बहाल कर दी गईं। कोई डेटा नहीं खोया गया और न ही कोई स्टोरेज लेयर प्रभावित हुई।
मूल कारण। प्राथमिक स्विच की लाइन कार्ड पर एक विफल ASIC, बफर-प्रबंधन इकाई में फर्मवेयर बग के कारण (विक्रेता सलाह PSIRT-2026-041, हमारी घटना के बाद प्रकाशित)। द्वितीयक स्विच पर स्वचालित फेलओवर सक्रिय हुआ, लेकिन एक समूह पर गलत कॉन्फ़िगर LACP हैश ने 22 पोर्ट को मृत इकाई से बंधा छोड़ दिया।
उपाय। दोषी लाइन कार्ड को 07:12 UTC पर ऑन-साइट स्पेयर पार्ट्स से बदल दिया गया और LACP ग्रुप को दोबारा संतुलित किया गया। तब से हमने सभी AMS1 और ZRH1 स्विचों पर वेंडर का फर्मवेयर पैच लागू कर दिया है, एक त्रैमासिक स्वचालित फ़ेलओवर ड्रिल जोड़ी है जो हर पोर्ट ग्रुप को — सिर्फ़ मास्टर लिंक के बजाय — सत्यापित करती है, और पोर्ट-दर-पोर्ट फ़ॉरवर्डिंग टेलीमेट्री तैनात की है ताकि आंशिक रूप से डाउन स्विच सामूहिक लिंक स्टेट पर भरोसा करने के बजाय हमें 60 सेकंड के भीतर पेज कर दे।
क्रेडिट। इस घटना से प्रभावित एम्स्टर्डम ग्राहकों के लिए हमारी 99.9% मासिक SLA भंग हुई। SLA क्रेडिट उस समयावधि के दौरान सक्रिय सभी AMS1 सेवाओं पर स्वतः लागू किए गए — किसी टिकट की आवश्यकता नहीं, हमारा SLA.
- 03:17 UTC — मॉनिटरिंग 3 AMS1 हाइपरवाइज़रों पर पैकेट हानि का संकेत देती है। ऑन-कॉल पेज किया गया।
- 03:24 UTC — पुष्टि: प्राथमिक ToR स्विच 22/48 पोर्ट पर अग्रेषण नहीं कर रहा। फेलओवर आंशिक रूप से सक्रिय।
- 03:41 UTC — स्टेटस पेज नीदरलैंड्स के लिए "डिग्रेडेड परफॉर्मेंस" पर अपडेट किया गया। ट्रैफिक सेकेंडरी पाथ पर शिफ्ट किया गया।
- 05:02 UTC — डेटासेंटर रिमोट हैंड्स लाइन-कार्ड बदलने के लिए रैक पर भेजे गए।
- 07:12 UTC — लाइन-कार्ड बदला गया, LACP ग्रुप्स रीबैलेंस किए गए, पूर्ण फॉरवर्डिंग बहाल।
- 07:29 UTC — सभी चेक ग्रीन। इंसिडेंट रिज़ॉल्व्ड मार्क किया गया। कुल प्रभाव: 4h12m।
- 2026-06-16 — फर्मवेयर पैच स्टेजिंग में वैलिडेट किया गया, AMS1 और ZRH1 पर रोल आउट किया गया।
- 2026-06-21 — यह रेट्रोस्पेक्टिव प्रकाशित किया गया। SLA क्रेडिट लागू किए गए।