Ugrás a tartalomhoz
← Vissza a naplóhoz

Lead scoring AI-val — 14 feature, gradient boosted modell, LLM re rank a hatareseteknel 2026

14 feature, LightGBM modell es LLM re-rank a hatareseteken. Top 20% 41% konverzio, drift detector 5%-os esesnel triggerel.

Lead scoring AI-val — prioritizálás 2026-ban

A lead scoring nem új téma. 15 éve csinálják a Salesforce-féle scoring rule-okkal: ha email-domain education TLD, +10 pont. Ha pricing oldalra látogatott, +20. Ennek a megközelítésnek volt egy fő gyengesége: a szabályokat emberek írták, és emberek nem skáláznak. A Nortinia Sales AI scoring modulja ML-alapú — de nem dobtuk el a heurisztikákat sem, csak más szerepet adtunk nekik.

A 14 feature

A model bemenete 14 feature, mindegyik az enrichment outputjából vagy historikus touch-adatokból származik:

  1. Ipar (NACE kód, ha kinyerhető)
  2. Méret (becsült alkalmazotti létszám, 0-50 / 50-200 / 200-1000 / 1000+)
  3. Recent funding (utolsó 12 hónap)
  4. Website tech stack (modern vs. legacy)
  5. Email pattern (firstname.lastname vs. info@ — különböző érettségi jel)
  6. Pricing transparencia (publikus ár vs. "contact us")
  7. Földrajzi reach (EU only, EMEA, global)
  8. Korai termékérettség (changelog frissesség, blog cadence)
  9. Sales team mérete (LinkedIn search proxy)
  10. Recent news sentiment (acquisition pletyka, leépítés, terjeszkedés)
  11. Tech-stack overlap velünk (ha pl. Nortinia Engine-kompatibilis stacket használ)
  12. Engagement signal (ha valaha látogatott website-ra)
  13. Referral signal (ha másik ügyfél által ajánlott)
  14. Vertical fit (tenant-konfigurált ICP-vel való hasonlóság)

A modell

LightGBM gradient-boosted trees. 8 000 historikus labeled példán tanult — minden példa egy lead, amelynek lezárult az életciklusa (vagy konvertált, vagy bevallottan elveszett). A label binary: konvertált igen / nem.

Miért gradient boosting és nem mély háló: az adat kicsi (10k nagyságrend), a feature-ök elsősorban kategorikus / numerikus, és a fontos: minden döntés magyarázható. Egy SHAP-érték értéssel tudjuk mondani egy adott lead-re: "ez azért lett 73 pontos, mert a méret +18, a tech-stack +12, de a no-pricing -7". Sales rep-nek ez kommunikálható.

LLM re-rank

A modell-pontszám 0-100 közötti. A határsávban (60-65) az LLM (gpt-4.1-mini) kap egy strukturált promptot: lead-feature-ök + 2-3 hasonló korábbi lead a tanító setből, és egy javasolt nudge fel vagy le, maximum ±5 pont. Ez nem felülbírálja a modellt, csak finomítja a sávhatáron.

Miért csak itt és nem mindenhol: minden lead-re LLM hívás 1 420 / hét × 0,01 USD = 14 USD / hét, ami nem sok. De a modell maga 95%-os agreement-en van a humán labellerrel a stable zónákban — az LLM csak a határsávban ad értéket. Pareto-elv.

Drift detector

A modell havonta egyszer újratanul, de erre csak akkor van szükség, ha drift van. A drift detektor két dolgot figyel:

  • Input drift: a 14 feature eloszlása összehasonlítva a tréning sethez. KL-divergencia, küszöb 0,15.
  • Output accuracy: a lead-eken, amelyeknek lezárult az életük, mennyi a model accuracy-je. Küszöb: 5 százalékpontos esés a baseline-tól.

Ha bármelyik triggerel, automatikus retraining indul. Az új modellt egy shadow rétegben futtatjuk először (érintetlen production score, csak megfigyelés), és csak 200 lead után promotáljuk, ha a metrika javul.

Eredmény

Egy közepes tenantnál mért szám hat hónap után:

  • Top 20% (A+B bucket): 41% konverzió
  • Maradék 80%: 12% konverzió
  • Random baseline (score nélkül): 18% konverzió

A scoring 2,3x-ra emelte a top-bucket konverziót a baseline-hoz képest, és a sales rep idejét 4,2x hatékonyabbra tette (mivel a magas pontszámú lead-ekre fókuszálnak).

Mit nem teszünk be a modellbe

  • Etnikai vagy nem-jelek — szándékosan nem feature
  • Személyes adatok (lakcím, telefon) — csak company-szintű feature
  • Versenytárs-touch history ("már beszélt a versenytárssal") — túl könnyen félre lehet érteni a sales rep oldalán

Ez nem csak compliance kérdés. A modell akkor megbízható, ha érti, miért dönt — és minél kevesebb morálisan terhelt feature van benne, annál jobban értjük.

A drága hiba: első hat hét

Az első modell-verzió tartalmazott egy "ország" feature-t. A label adathalmaz aránytalanul nagy részben volt nyugat-európai, és a modell automatikusan lehúzta a kelet-európai lead-eket. Egy közép-európai tenant 3 hét múlva panaszkodott, hogy az ő hazai piacát "alábecsüljük". Igaza volt. Levettük a feature-t, retrain, és azóta egyik geo sem aránytalanul büntetve. Tanulság: a feature-választás moralizál.

Beszéljünk a projektedről

Mondd el, mit építesz — meglátjuk, hogyan segíthetünk.