عطل في المحول الأساسي AMS1 — تدهور الشبكة، 4 ساعات و12 دقيقة
الملخص. في الساعة 03:17 UTC، توقّف المبدّل الرئيسي أعلى الرف في منصة AMS1 عن إعادة توجيه حركة البيانات على 22 من أصل 48 منفذًا. فقد ما يقرب من 40٪ من عيّنات VPS في أمستردام الاتصال الخارجي، بينما عانى الباقون من زيادة في زمن الاستجابة وفقدان الحزم على المسار الاحتياطي. تمت استعادة جميع الخدمات بالكامل بحلول الساعة 07:29 UTC. لم تُفقد أي بيانات ولم تتأثر طبقة التخزين.
السبب الجذري. عطل في ASIC على بطاقة الخط للمحول الأساسي، ناتج عن خطأ برمجي في وحدة إدارة المخازن المؤقتة (استشارة البائع PSIRT-2026-041، نُشرت بعد حادثتنا). تم تفعيل التبديل التلقائي إلى المحول الثانوي، لكن إعداد LACP hash خاطئ على إحدى مجموعات التجميع ترك 22 منفذًا مثبتة على الوحدة المعطلة.
المعالجة. تم استبدال بطاقة الخط المعطّلة من قطع الغيار الموجودة في الموقع في الساعة 07:12 UTC، وأُعيد توازن مجموعات LACP. ومنذ ذلك الحين طبّقنا تصحيح البرنامج الثابت من المورّد على جميع مبدّلات AMS1 وZRH1، وأضفنا تمرينًا تلقائيًا ربع سنويًا للتبديل عند الأعطال يتحقق من كل مجموعة منافذ وليس من الرابط الرئيسي فقط، ونشرنا قياسًا تتبعيًا للتوجيه لكل منفذ بحيث ينبّهنا المبدّل المعطّل جزئيًا خلال 60 ثانية بدلًا من الاعتماد على حالة الرابط الكلي.
الاعتمادات. أخلّ الحدث باتفاقية SLA الشهرية البالغة 99.9٪ لعملاء أمستردام المتأثرين. طُبّقت أرصدة SLA تلقائيًا على جميع خدمات AMS1 النشطة خلال تلك الفترة — دون الحاجة إلى تذكرة، وفقًا لـ اتفاقية مستوى الخدمة لدينا.
- 03:17 UTC — المراقبة ترصد فقدان حزم عبر 3 مضيفات AMS1. تم استدعاء المناوب.
- 03:24 UTC — تم التأكيد: المحول الأساسي ToR لا يعيد التوجيه على 22/48 منفذًا. التبديل الاحتياطي مفعل جزئيًا.
- 03:41 UTC — تم تحديث صفحة الحالة إلى "أداء متدهور" لهولندا. تم تحويل حركة المرور إلى المسار الثانوي.
- 05:02 UTC — تم إرسال فنيي مركز البيانات إلى الرف لاستبدال بطاقة الخط.
- 07:12 UTC — تم استبدال بطاقة الخط، وإعادة توازن مجموعات LACP، واستعادة التوجيه الكامل.
- 07:29 UTC — جميع الفحوصات سليمة. تم تصنيف الحادث كمحلول. إجمالي التأثير: 4 ساعات و12 دقيقة.
- 2026-06-16 — تم التحقق من تحديث البرنامج الثابت في بيئة الاختبار، وتم نشره على AMS1 وZRH1.
- 2026-06-21 — تم نشر هذا التقرير بأثر رجعي. تم تطبيق اعتمادات SLA.