Почему Outlook лежал 36 часов: разбор сбоя Microsoft

Что в ролике
Плановая модернизация сети Microsoft обернулась 36-часовым отказом Exchange Online. Он утянул за собой Copilot, SharePoint и ещё около дюжины сервисов Microsoft 365, а первой версией Microsoft была повышенная нагрузка. Позже компания уточнила: серверов стало меньше, потому что многие «неожиданно стали недоступны», и началось каскадное падение. Балансировщик снимал серверы, провалившие health check, из ротации, их трафик перегружал выживших, те тоже падали, а процесс установки защищённых соединений переставал отвечать. Классический перезапуск не помог, потому что после включения серверы снова захлёбывались от лавины клиентов, ждущих переподключения, а админ-центр тоже лежал, и администраторы не могли посмотреть, почему упали их инструменты. Пока Microsoft откатывала недавнее изменение конфигурации сети, в реальном мире правительства перешли на бумагу, тюрьма в Колорадо принимала залоги очно, а Австралия получила длинные выходные. В пятницу FAA остановила все вылеты в США примерно на 5 часов, что привело к более чем 9000 отмен рейсов, и хотя чиновники заявили, что связи с Microsoft нет, обе аварии объединяет одно: изменение в сети перегрузило критический узел. Microsoft объяснила сбой скрытым багом в системе защищённых соединений, который проявился при рутинном апгрейде ёмкости, а ущерб оценили в 7 миллиардов долларов потерянной производительности.
Практика
- Что получишь
- Поймёте, как одна ошибка в сетевой конфигурации может уронить облачный сервис на полтора дня и почему health check не спасает при каскадных отказах.
- Первый шаг
- Если хотите разобраться в деталях, начните с твитов Microsoft 365 Status и официального заявления FAA о наземной остановке — там есть хронология и первые версии причин.
- Цифры
- —36 часов — столько Exchange Online не работал.
- —74 страны — откуда за первый час поступили жалобы на Downdetector.
- —5 часов — столько FAA держала запрет на вылеты по всей территории США.
- —7 миллиардов долларов — оценка потерь производительности от сбоя Microsoft.
- Честно
- Ролик спонсирован Open Router: в конце автор предлагает попробовать их API для доступа к 600+ моделям, и это рекламная вставка. Факты взяты из публичных заявлений Microsoft, FAA и Downdetector, но подача саркастическая, поэтому отделять факты от шуток нужно самостоятельно. Официальный подробный разбор причин сбоя Microsoft и точная причина сбоя FAA на момент записи ещё не были опубликованы.
Если слова незнакомы — 5 терминов
- Exchange Onlineоблачный почтовый сервис Microsoft, на котором работает Outlook у большинства компаний
- health checkавтоматическая проверка, отвечает ли сервер, по результатам которой балансировщик решает, отдавать ли ему трафик
- балансировщиксервис, распределяющий входящие запросы между серверами, чтобы они не перегружались
- ротациявременное исключение сервера из списка принимающих трафик после провала проверки
- каскадное падениелавинообразный отказ, когда перегрузка одного сервера передаётся на следующие и роняет их по цепочке
Компоненты
7 шт.Формат: реакция на новость · для практикующих · уверенность разметки 0.9 · источник