Ugrás a tartalomhozÜç seviyeli olay müdahalesi — 30 gün ve 121 uyarının ardından
Olay müdahalesi “şans eseri bir şey olmadı” demek değildir. İşte 30 günde 121 uyarı boyunca keskinleştirdiğimiz 3 seviyeli müdahale planı.
İyi olay müdahalesi her şey yolundayken görünmez — bir şeyler yanarken görünür.
2026'nın 1. çeyreğinde Nortinia 38 sunucu, 83 site ve beş kurum içi ürün işletti. 30 gün içinde izleme altyapısından 121 uyarı geldi. Her birine ne oldu? Aşağıdaki üç seviyeli müdahale planı bunu yönetiyor.
L1 — otomatik müdahale
121 uyarının 98'i L1'de kapandı: otomatik yeniden başlatma, kendi kendini onarma veya basit bir temizlik. Bunlara hiçbir insan dokunmadı, ama her olay kaydedildi ve yapay zekâ asistanı olay sonrası analizin taslağını hazırladı.
L2 — nöbetçi mühendis (15 dakikalık SLA)
- 19 olay L2'ye yükseltildi
- Nöbetçi mühendis 15 dakika içinde yanıt verdi
- NIP Platform olay arayüzü bağlamı anında sundu
- Her L2 olayı için otomatik olarak ayrı bir kanal oluşturuldu
- Runbook bağlantısı kayda otomatik olarak eklendi
L3 — mimar + müşteri iletişimi
Dört olay L3'e ulaştı. Her biri mimar düzeyinde müdahale gerektirdi — bir veritabanı migration geri alma, bir DLQ yeniden oynatma, bir TLS sertifika rotasyonu ve bir hipervizör taşıma. Dördü de müşteriye bilgilendirme gerektirdi; bunu kendi tarafımızda tek bir şablonlu iletişim setiyle yönettik.
121 olayın 117'si L1 veya L2'de çözüldü — müşteriye hiçbir etkisi olmadan. Kalan 4'ü 45 dakika içinde kapandı. Nortinia izlemesinin “evet, açık” demekten ibaret olmamasının nedeni bu rakamlardır.
En kötü olay, yaşanan değildir. Üç gün sonra haberdar olduğunuzdur.
Arka planda çalışan runbook
L2 ve üzerindeki her olayın bir runbook'u vardır: nöbetçi mühendisin başka birini uyandırmadan önce uyguladığı 5-7 adım. Adımların sırası önemlidir — önce “kim etkileniyor” (müşteri etkisi değerlendirmesi), sonra “son 4 saatte ne değişti” (yayın geçmişi) ve ancak ondan sonra belirtiye özel analiz. Runbook, monorepo içinde bir markdown dosyasıdır ve NIP Platform onu kaydın yanına otomatik olarak bağlar. Adımların %80'ini bir junior mühendis tamamlayabilir — kalan %20 ise kıdemli birinin gerektiği yerdir.
Olay sonrası analiz ritmi
Her L2 ve L3 olayı için 48 saat içinde suçlama içermeyen bir olay sonrası analiz yazılır. “Kim bozdu” diye sormayız — olayı hangi sistem düzeyindeki boşluğun mümkün kıldığını sorarız. Analizler tüm ekip tarafından görülebilir ve aksiyon maddeleri kendi son tarihleriyle ortak bir iş panosuna düşer. 30 günde 23 olay sonrası analiz yazdık, bunlardan 41 aksiyon maddesi çıktı — 38'i zaten hayata geçirildi. Aylık olay sayımızın düşmeye devam etmesinin nedeni bu %83'lük gerçek düzeltme oranıdır.