VPSRENTO
AMS1コアスイッチ障害 — ネットワーク劣化、4時間12分
概要。 03:17 UTC、AMS1 ラックのプライマリ・トップオブラックスイッチが 48 ポート中 22 ポートでトラフィック転送を停止しました。アムステルダムの VPS インスタンスの約 40% が外部接続を喪失し、残りは冗長経路で遅延増大とパケットロスが発生しました。すべてのサービスは 07:29 UTC までに完全に復旧しました。データの損失はなく、ストレージ層への影響もありませんでした。
根本原因。 プライマリスイッチのラインカード上のASIC障害。バッファ管理ユニットのファームウェアバグが原因（ベンダー勧告PSIRT-2026-041、当インシデント後に公開）。セカンダリスイッチへの自動フェイルオーバーは作動したが、1つのアグリゲーショングループのLACPハッシュ設定ミスにより22ポートが障害ユニットに固定された。
是正措置。 故障したラインカードは 07:12 UTC に現場の予備部品で交換し、LACP グループを再調整しました。その後、ベンダーのファームウェアパッチを AMS1 と ZRH1 のすべてのスイッチに適用し、マスターリンクだけでなくすべてのポートグループを検証する四半期ごとの自動フェイルオーバー訓練を追加し、ポート単位の転送テレメトリを導入しました。これにより、部分的に死んだスイッチは集約リンク状態に頼るのではなく 60 秒以内にアラートで通知されます。
クレジット。 この障害は、影響を受けたアムステルダムのお客様に対する月間 99.9% SLA に違反しました。SLA クレジットは対象期間中にアクティブだったすべての AMS1 サービスに自動で適用済みです — チケットの提出は不要です。詳細は 当社SLA.
- 03:17 UTC — モニタリングが3台のAMS1ハイパーバイザーでパケットロスを検出。オンコール担当にページ送信。
- 03:24 UTC — 確認済み: プライマリToRスイッチが22/48ポートで転送停止。フェイルオーバーが部分的に作動。
- 03:41 UTC — ステータスページを「パフォーマンス低下」に更新（オランダ）。トラフィックをセカンダリ経路に迂回。
- 05:02 UTC — データセンターのリモートハンズをラックに派遣し、ラインカード交換を実施。
- 07:12 UTC — ラインカード交換完了、LACPグループ再調整、完全な転送機能を復旧。
- 07:29 UTC — 全チェックが正常。インシデント解決済み。影響時間：4時間12分。
- 2026-06-16 — ファームウェアパッチをステージングで検証し、AMS1およびZRH1に展開。
- 2026-06-21 — 本レトロスペクティブを公開。SLAクレジットを適用。