Alarm yorgunluğu: bir ayda alarmların %73'ünü nasıl kapattık

Temmuz 2025'te ekip haftada 1.200 alarm alıyordu. Çoğu sessizce arşivleniyordu. Ekip sinyali gürültüden ayırt edemediği için 2 gerçek olayı kaçırdık. Buna alarm yorgunluğu denir ve mesleki bir ölüm sarmalıdır. 4 adımlı bir temizlik başlattık.

4 adım

• 1. Önem derecesi denetimi: her alarm türü 3 gruba (P1/P2/bilgi) yeniden ayrıldı — %70'inin bilgi amaçlı olduğu ortaya çıktı
• 2. Gruplama: aynı sunucudan 5 dakika içinde gelen 10 alarm = 1 alarm
• 3. Tekilleştirme pencereleri: 2 saat içinde aynı alarm = 1 alarm
• 4. Yönlendirme: P1 → eskalasyon kanalı + SMS, P2 → iletişim kanalı, bilgi → yalnızca kontrol paneli (bildirim yok)

4 haftada sonuç: haftada 1.200 → 320 alarm. P1 sayısı 78'den 12'ye düştü. Ekip alarmları yeniden "görmeye" başladı. 8 hafta sonra gerçek bir veritabanı sorunu yaşandı — ekip 6 dakika içinde yakaladı, çünkü P1 SMS'i gitti ve onu gömecek bir gürültü yoktu.

Düşman sessizlik değildir. Düşman, alarm sisteminizin içindeki gürültüdür.