Ранее Microsoft связывала сбой Microsoft 365 с изменениями сети. Теперь предварительный отчёт уточняет: непосредственной причиной стала программная ошибка, которая попала на серверы ещё в июле и проявилась на фоне дополнительного трафика и нехватки мощностей. Клиенты сталкивались с последствиями сбоя почти сутки, а полное восстановление заняло больше суток.
Предварительный отчёт компании пересказывает BleepingComputer. Согласно документу, дополнительный трафик после автоматического переключения Microsoft Teams и сокращение доступных серверных мощностей создали условия, при которых проявилась скрытая ошибка.
Дефект мог перегружать серверы при определённом сочетании запросов. Испытания его не выявили, поскольку Microsoft использовала менее мощное оборудование, чем в рабочей инфраструктуре. На новых машинах с большим числом вычислительных ядер проблема проявлялась сильнее.
Читайте также
Примерно за 15 часов до начала сбоя Teams перевёл часть подключений на инфраструктуру Exchange Online. Одновременно около 14% мощностей сетевого шлюза не работали из-за другой неполадки. Сочетание дополнительной нагрузки и сокращённого резерва активировало ошибку, которая до этого больше трёх месяцев не мешала работе сервисов.
Система перенаправила пользователей с отказавших серверов на оставшиеся, и те тоже перегрузились. Защита от распространения отказа между регионами не остановила цепную реакцию. Teams, OneDrive и SharePoint смогли перейти на другую инфраструктуру, но у Exchange Online, обслуживающего корпоративную почту, такой возможности не было.
Ранее Microsoft указывала, что сбой начался в 13:26 12 ноября по восточному времени США. Теперь предварительный отчёт датирует начало влияния сбоя на клиентов 11:20; оно продолжалось до 11:10 13 ноября. Простой затронул Outlook, Exchange Online, Teams и Copilot. О полном восстановлении Microsoft сообщила 14 ноября.
Обычный перезапуск серверов не помогал: их сразу перегруживали накопившиеся запросы. Инженеры подготовили исправление и устанавливали его поэтапно. После сбоя Microsoft увеличила резерв мощностей, улучшила мониторинг и добавила защиту от повторения такого каскадного отказа. Более подробный итоговый отчёт компания планирует выпустить позднее на этой неделе.