Ugrás a tartalomhoz
← Blog'a dön

Kurumsal güvenlik duvarının arkasında büyük dil modelleri — gerçekte ne işe yarıyor

Üç müşteri, üç uyumluluk seviyesi, üç farklı kendi barındırılan yapay zekâ kurulumu. İşte canlı ortamda gerçekten çalışanlar.

Kendi barındırdığınız yapay zekâ, her şeyi kendinizin çalıştırması demek değildir — verilerinize kimin eriştiğini tam olarak bilmeniz demektir.

2026'da “verileri harici bir yapay zekâ sağlayıcısına gönderemeyiz” cümlesi her iki başlangıç toplantısından birinde gündeme geliyor. Asıl soru “kurumsal güvenlik duvarının arkasında büyük dil modeli çalıştırabilir miyiz” değil, “hangi ödünleşimle” sorusudur. Üç canlı müşteri projesi bize bazı somut gerçekler sunuyor.

1. kurulum: API ağ geçidi proxy'si

En basit yaklaşım: bulut yapay zekâ modellerine yapılan çağrılar, size ait bir proxy'den geçer ve bu proxy hem istemdeki hem yanıttaki kişisel verileri maskeler. Model hâlâ bulutta çalışır, ancak hassas veriler ağdan asla düz metin olarak çıkmaz. Bu, “sağlam ama paranoyak olmayan” uyumluluk seviyelerine uygundur.

2. kurulum: Azure üzerinde yapay zekâ hizmeti + bölgesel kiracı

AB'deki finans müşterileri için orta yol budur: ayrılmış bir kiracı içinde, AB bölgesinde Azure üzerinde çalışan yapay zekâ hizmeti. Aynı üst düzey model, ancak Microsoft SLA'ları ve veri yerleşimi garantileriyle. Model yine sizin donanımınızda çalışmaz, ama sözleşme zinciri sıkı biçimde kapalıdır.

3. kurulum: tamamen şirket içi açık model

  • Kendi GPU kümenizde 70B sınıfı açık kaynaklı büyük dil modeli
  • Çıkarım sunucusu olarak vLLM veya TGI
  • Zor görevlerde en üst düzey bulut modellerinin kalitesinin ~%40-60'ına ulaşır
  • İlk yıl maliyeti bulut API'sine göre 2-4 kat daha yüksektir
  • Yalnızca uyumluluk her türlü bulutu yasakladığında değer
  • Nortinia bu kurulumda da devreye alma ve işletme yapar

Çoğu müşteri ilk ikisinden birini seçer. Üçüncüsü nadirdir ve yalnızca uyumluluk alternatifleri gerçekten yasakladığında tercih edilir. Ama üçü de çalışır — ve Nortinia her birinin hem teknik hem ticari olarak arkasında durur.

Karar ağacı — belirleyici beş soru

  • 1. Herhangi bir müşteri verisi (maskelenmiş olsa bile) ağınızdan çıkabilir mi? Hayırsa → 3. kurulum.
  • 2. Uyumluluk, yazılı sözleşmeyle AB veri yerleşimini zorunlu kılıyor mu? Evetse → 2. kurulum.
  • 3. Büyük dil modeli harcamanız ayda ~1.500 EUR'nun altında mı? Evetse → 1. kurulum yeterli.
  • 4. Önümüzdeki yıl 2-4 kat daha yüksek yıllık faturayı karşılayabilir misiniz? Hayırsa → şirket içi kurulumdan kaçının.
  • 5. Zor görevlerde en üst düzey bulut modeli kalitesine ihtiyacınız var mı? Evetse → 3. kurulum henüz yeterli değil.

Gerçek TCO'yu ortaya çıkaran üç yıllık bir ufuktur. Şirket içi kurulum ilk yıl daha pahalıdır. İkinci yıl başa baş noktasına gelir. Üçüncü yıl daha ucuzdur — ama yalnızca modeli veya çıkarım donanımını hiç yenilemezseniz. Pratikte her yıl yenilersiniz, dolayısıyla üçüncü yıl aslında daha ucuz değildir. Bu yüzden çoğu müşteri için bulut seçeneği kazanır.

Bir konuyu ele almamızı ister misiniz?

Bize yazın — bu konuda gerçek deneyimimiz varsa yayımlarız.