Microsoft 365 Kesintisi Üç Farklı Hatadan Kaynaklandı
Microsoft 365 kesintisi raporuna göre Temmuz ayındaki yazılım hatası, ağ trafiğindeki değişim ve yüzde 14 kapasite açığı sunucuları kilitledi.
Bulut ağ geçidindeki yazılım hatası, bakım kaynaklı trafik kayması ve kapasite açığı küresel ölçekli Microsoft 365 kesintisi tablosuna yol açtı.
Küresel çaptaki işletmeler ve kamu kurumları, 12 Kasım günü Microsoft'un bulut ve e-posta altyapısında meydana gelen geniş çaplı erişim aksaklıklarıyla karşılaştı. Ars Technica tarafından paylaşılan bilgilere ve şirketin yayımladığı ön rapora göre, 12 Kasım saat 16.20 UTC ile 13 Kasım saat 16.10 UTC arasında neredeyse 24 saat boyunca süren Microsoft 365 kesintisi, kurum içi iletişimi ve iş akışlarını doğrudan etkiledi. Microsoft platformunda EX1550543 ve MO1550821 vaka kodlarıyla takip edilen arıza, şirketin 14 Kasım tarihine kadar uzattığı ek izleme çalışmalarıyla kademeli olarak kontrol altına alındı. Yaşanan sorun, kurumsal yazılım ve bulut altyapısı mimarilerinin beklenmedik biçimde birbirine bağlı riskler barındırdığını gösterdi.
Microsoft 365 Kesintisi ve Arka Plandaki Üç Faktör
Microsoft tarafından paylaşılan teknik ön incelemeye göre, zincirleme aksaklığın temelinde birbirinden bağımsız görünen üç ayrı etken yatıyor. Birinci etken, Temmuz ayında şirketin bulut ağ geçidi (cloud gateway) mimarisine dağıtılan ve fark edilmeyen bir yazılım hatasıydı. Bu yazılım kusuru, belirli koşullar altında sunucuların işlemci (CPU) ve bellek kaynaklarının tükenerek tamamen yanıtsız kalmasına zemin hazırladı. Şirket, söz konusu hatanın yayın öncesi test aşamasında yakalanamama nedenini, test laboratuvarındaki donanımların üretim ortamındaki sunuculardan daha düşük performansa sahip olmasıyla gerekçelendirdi. Üretim ortamında çalışan yeni nesil sistemlerdeki daha yüksek işlemci çekirdek sayısı, hatanın kilitlenme mekanizmasını tetikleyen temel donanımsal unsur oldu.
Süreci krize dönüştüren ikinci etken, standart ağ bakımı ve yükseltme işlemleri sırasında yaşanan trafik kayması oldu. Microsoft, sistemsel dayanıklılık sağlamak amacıyla Microsoft 365 erişiminde iki bağımsız ağ geçidi kullanıyor. Olaydan yaklaşık 15 saat önce Teams trafiği, olağan bir güvenlik önlemi kapsamında alternatif ağ geçidinden Exchange Online erişiminin sağlandığı birincil ağ geçidine aktarıldı. Bu yönlendirme birincil sisteme daha önce karşılaşmadığı farklı bir talep yoğunluğu yükledi. Üçüncü etken olarak, mevcut bir donanım arızası sebebiyle ağ geçidi sunucu filosunun ideal çalışma kapasitesinin yüzde 14 altında hizmet verdiği ortaya çıktı. Normal şartlarda fazladan gelen trafiği soğurabilecek olan bu yüzde 14'lük kapasite payının eksikliği, sistemlerin kilit çekişmesine (lock contention) girmesine sebep oldu.
Yedekleme Sistemlerinin Kilitlenmesi ve İzolasyon Sorunları
Amerika Birleşik Devletleri'ndeki iş merkezlerinde mesainin başlaması ve günlük işlem trafiğinin zirveye ulaşmasıyla birlikte ağ geçidi sunucuları peş peşe kilitlenmeye başladı. İşlem yükünü yanıt vermeyen sunuculardan sağlıklı olduğu varsayılan yedek ağ geçitlerine yönlendiren otomatik güvenlik sistemleri devreye girdi. Ancak yedek sunucuların da aynı donanımsal ve yazılımsal koşullarla karşılaşması sonucu bir kartopu etkisi meydana geldi. Yaşanan zincirleme arıza, etkilenen ağ geçidi sunucularının yüzde 80'inden fazlasının tamamen kilitlenmesine neden oldu. Sistemleri coğrafi bölgelere göre ayırıp arızayı sınırlandırması gereken bölgesel izolasyon mekanizmaları da bu süreçte işlevini yerine getiremedi. Microsoft yayımladığı mevcut ön raporda, bölgesel izolasyon mekanizmalarının neden devreye giremediğine dair ayrıntılı bir gerekçe sunmadı.
Onarım Süreci ve Exchange Online Kısıtlamaları
Krizin çözümü, Microsoft mühendislerinin doğrudan hedef odaklı bir yazılım güncellemesi hazırlamasını gerektirdiği için normalden çok daha uzun sürdü. Kilitlenen sunucuları yeniden başlatma denemeleri sonuç vermedi; sunucular çevrimiçi olduğu anda biriken yoğun istek kuyruğu aynı kaynak tükenmesini derhal yeniden tetikledi. Temmuz ayında yerleştirilen yazılım hatası henüz tam olarak tespit edilemediğinden, sistemi eski kararlı sürüme geri alma (rollback) adımları da sonuçsuz kaldı. Teams ve OneDrive gibi bulut tabanlı uygulamalar farklı altyapılara yönlendirilebilirken, mimari ölçekleme kısıtlamaları Exchange Online e-posta servisinin benzer şekilde kaydırılmasını engelledi. Mühendisler sunucuları aşamalı olarak yamalayıp devreye alırken, geciken iletilerin kullanıcılara hata mesajıyla geri dönmesini önlemek adına e-posta teslim zaman aşımı süreleri uzatıldı. Pazartesi sabahı itibarıyla tüm servislerin çalışır duruma geldiğini duyuran Microsoft, bölgesel izolasyon mekanizmalarındaki aksaklıkları ve alınacak kalıcı tedbirleri 20 Kasım tarihinde yayımlanacak nihai vaka raporunda açıklayacağını duyurdu.
TeknoRest olarak değerlendirmemiz, Microsoft altyapısında yaşanan bu olayın kurumsal bulut mimarilerindeki gizli bağımlılıkları net bir biçimde gösterdiği yönündedir. Temmuz ayından kalan bir yazılım hatasının test ortamındaki donanım farkı nedeniyle anlaşılamaması ve yüzde 14'lük kapasite açığıyla birleşmesi, yedeklilik mekanizmalarının dahi zincirleme çökmelere yol açabileceğini kanıtlıyor. Bize göre en dikkat çekici zafiyet, Teams ve OneDrive farklı sunuculara yönlendirilebilirken Exchange Online servisinin ölçekleme kısıtları nedeniyle taşınamamış olmasıdır. Etkilenen sunucuların yüzde 80'inin kilitlenmesi ve bölgesel izolasyon sistemlerinin çalışmaması, küresel bulut sağlayıcılarının yedeklilik iddialarının sahadaki sınırlarını ortaya koyuyor. Şirketin 20 Kasım tarihli nihai raporda bölgesel izolasyon zaafını nasıl açıklayacağı kritik önem taşıyor.
Sıkça Sorulan Sorular (SSS)
Microsoft 365 kesintisi ne kadar sürdü ve hangi servisleri etkiledi?
Kesinti 12 Kasım saat 16.20 UTC ile 13 Kasım saat 16.10 UTC arasında neredeyse 24 saat boyunca devam etti. Başta Exchange Online ve Teams olmak üzere Microsoft'un kurumsal bulut ve e-posta altyapısına bağlı hizmetleri etkiledi.
Ağ geçidi sunucularındaki yazılım hatası test aşamasında neden tespit edilemedi?
Hata Temmuz ayında dağıtılmıştı ancak test laboratuvarındaki donanımlar üretim ortamındaki yüksek çekirdekli yeni sunuculardan daha az güçlü olduğu için kilitlenmeyi tetikleyen koşullar testlerde ortaya çıkmadı.
Kesinti sırasında sistemlerin eski kararlı sürüme geri alınması neden işe yaramadı?
Sorunun kaynağı olan Temmuz ayı güncellemesindeki hata kesinti anında henüz tespit edilememişti. Ayrıca sunucular yeniden başlatıldığında kuyrukta bekleyen aşırı istekler kaynakların anında yeniden tükenmesine yol açtı.