Hat hónap után — mit tanultunk
A Nortinia AI Call Center fél éves éles futása után jó alkalom a visszatekintésre. Melyek azok a metrikák, amiket most már megbízhatóan használunk a döntéshozatalban? Melyeket dobtunk el, mert félrevezetők voltak? És mi volt az egyetlen igazi kiesés, ami megrázott minket?
A négy metrika, amit most már mérünk
Fél év pszichológiai kalibráció után az alábbi négy számra építjük a teljesítmény-értékelést. Mindegyik tenant-szintű dashboardon valós időben látszik, és minden bench-review-n szóba kerül.
1. CSAT post-call (3-pont skála). Minden hívás után 3-pontos skálán kérünk visszajelzést. Nem 5-pontos, nem 10-pontos, nem NPS — egyszerű "jó / közepes / rossz". Az egyszerűségnek két oka van: a válaszadási ráta lényegesen magasabb (62% vs. 31% az 5-pontosnál), és a határértékek élesebbek. A target: minimum 4.0/5 ekvivalens (a 3-pontos skálán 2.6/3 átlag).
2. Time-to-resolution (TTR). Az a teljes idő, amíg az ügyfél problémája megoldódott — beleértve esetleges visszahívásokat, emberhez átadást, és a teljes follow-up-ot. NEM csak a hívás hossza. A TTR jól mutatja, mennyire valóságosan megoldó az AI, vagy csak a hívást rövidíti és a problémát továbbpasszolja.
3. Handoff rate. Az AI-tól emberhez átadott hívások aránya. Tipikus érték 38-60% között. A trend a fontos: ha emelkedik, az AI-tudás csökken; ha esik, vagy javult, vagy false-handoff jött be.
4. False-handoff rate. Ezek a hívások, ahol az AI emberhez adta át a hívást, de utólag kiderült, hogy az AI önállóan is meg tudta volna oldani. Manuális minta-review-val mérjük (havonta 200 véletlen kiválasztott hívás). Target: <10%. Most 8% körül van.
A két metrika, amit elhagytunk
Két metrika, amire az első három hónapban erősen építettünk, és aminek a hibáit később ismertük fel:
1. Average handle time (AHT) önmagában. Az AHT egy olyan szám, ami első ránézésre egyszerű: a hívás átlagos hossza. Az iparágban évek óta használt KPI. Egyetlen baja: AI esetén nem mond semmit. Egy 40 másodperces AI hívás lehet kiváló (azonnali megoldás) vagy katasztrofális (az ügyfél feladta). A számból nem dönthető el. Áttértünk arra, hogy az AHT-t csak TTR-rel és CSAT-tel együtt nézzük; önállóan nem.
2. "% of automated calls". Az első hónapokban büszkén mondtuk, hogy a hívások 60-70%-át az AI kezeli. Aztán rájöttünk, hogy ez a szám abszurd módon manipulálható: ha lazítjuk a handoff-küszöböt, automatikusan magasabb lesz, akkor is, ha a CSAT bezuhan. Ma a handoff rate-tel és a CSAT-tel együtt nézzük; az automatizálási arány önmagában a vanity metric.
A 22 perces Telnyx EU régió kiesés
Fél év alatt egy igazi nagyobb incidensünk volt. Március 14-én, kedd reggel 09:42-kor a Telnyx EU-1 régió szolgáltatása leállt. SIP trunkjaink nem fogadtak be új hívásokat, és a meglévők elindultak megszakadni.
Az első alarm 09:43-kor érkezett (egyperces detection idő, ami jó). A monitoring egyértelműen mutatta, hogy nem a mi oldalunkon van a probléma — a Telnyx státuszoldala 09:48-kor erősítette meg a kiesést.
A fallback aktiválása: a Nortinia minden tenantnak van egy secondary SIP trunkja egy másik provideren (a legtöbbnél Vonage, három tenantnél Twilio). A failover DNS-szintű, automatikus. 09:51-re a forgalom 78%-a a secondary trunkon ment, 09:54-re 100%.
A Telnyx EU-1 régió 10:04-kor visszajött. Total kiesési idő nálunk: 22 perc. Egyetlen hívás veszett el véglegesen, ezt is sikerült rekonstruálni a tenant CRM-jéből.
A tanulság: ne tarts mindent egy provideren. A secondary SIP-trunk telepítése három héttel az incidens előtt fejeződött be — szerencsénk volt. Azóta minden új tenantnál default a kétszintű provider-setup.
A tenant összetétel
Fél év után 14 éles ügyfelünk van, mind kkv. Iparági bontás:
- 5 — e-commerce (post-sale support, szállítási státusz)
- 3 — egészségügyi szolgáltató (időpont-egyeztetés, visszaigazolás)
- 2 — oktatási intézmény (regisztráció, információ)
- 2 — pénzügyi tanácsadás (felmérés, kapcsolattartás)
- 2 — kkv általános ügyfélszolgálat
A legkisebb tenant havi 400 hívást generál, a legnagyobb 12 000-et. Az átlag 2 600 hívás/hó, az összes tenantot együttvéve havi ~36 000 hívás megy át a platformon.
A következő fél év
Néhány nyilvánosan vállalt fejlesztés:
- CSAT prediktor — még a hívás végén, mielőtt az ügyfél kitölti, modell-alapú becslés. Cél: anomália-detekció, hogy a problémás eseteket azonnal eszkalálhassuk.
- Magyar dialektusok finomhangolása — főleg az erdélyi és vajdasági magyar nyelvjárások STT pontossága, ami most átlag alatt van.
- Két új jurisdikció — Lengyelország és Csehország compliance review után.
- Telnyx US-1 régió bevezetése — két tenant USA-piacra terjeszkedik, ehhez szükséges.
Köszönjük az első 14 design partnernek, hogy elhittétek; jövő fél év is kemény munka lesz, de a fundamentumok rendben.