Jak zaprojektować kryteria oceny rozmów pod analizę AI

Automatyczna ocena rozmów jest dokładnie tak dobra, jak kryteria, według których ocenia. Dobra wiadomość: jeśli Twój zespół quality ma dziś kartę oceny, większość pracy jest już zrobiona. Trzeba ją tylko przełożyć na formaty, które AI oceni jednoznacznie — bez miejsca na „to zależy”.

W tym poradniku przechodzimy przez trzy formaty kryteriów, pokazujemy na przykładach różnicę między kryterium ocenialnym a nieocenialnym, dajemy mini-tabelę wzorcowych sformułowań i opisujemy kalibrację — czyli etap, który decyduje, czy zespół zaufa wynikom.

Zacznij od celu, nie od formularza

Zanim przepiszesz obecny arkusz, odpowiedz na pytanie: czego ta ocena ma pilnować? Zwykle chodzi o trzy rzeczy naraz — zgodność (compliance), skuteczność sprzedażową lub obsługową oraz standard komunikacji. Każdy z tych celów najlepiej obsługuje inny format oceny.

W praktyce rozkład akcentów zależy od kampanii. Na infolinii sprzedażowej ocena pilnuje głównie procesu: badania potrzeb, prezentacji oferty, propozycji kolejnego kroku. W obsłudze reklamacji na pierwszy plan wychodzi poprawność informacji i terminy. W windykacji najwięcej waży compliance, bo jedno niedozwolone sformułowanie potrafi kosztować więcej niż skuteczność całej kampanii. Dlatego kryteria projektuje się per kampania, nie per firma — jedna uniwersalna karta dla wszystkich zespołów kończy się kryteriami tak ogólnymi, że nie mierzą niczego.

Trzy formaty, trzy zastosowania

1. Checklista — zgodność i standard rozmowy

Lista punktów typu „wydarzyło się / nie wydarzyło się”: przywitanie i przedstawienie się, poinformowanie o nagrywaniu, weryfikacja tożsamości, podsumowanie ustaleń. Checklista sprawdza się wszędzie tam, gdzie odpowiedź jest binarna — i w typowej karcie stanowi 50–70% pozycji.

Prosty test doboru formatu: jeśli przy ocenianiu łapiesz się na dopisku „częściowo”, to nie jest kryterium na checklistę, tylko na skalę. „Konsultant podsumował ustalenia” — binarne, zostaje na checkliście. „Konsultant jasno tłumaczył warunki umowy” — stopniowalne, przenosisz na skalę z opisanymi progami.

2. Skala punktowa — jakość, nie tylko obecność

Tam, gdzie liczy się jak, a nie tylko czy — badanie potrzeb, radzenie sobie z obiekcjami, jasność wyjaśnień — lepiej działa skala punktowa z opisanymi progami. Kluczem są opisy poziomów: co konkretnie oznacza 2, a co 5 punktów.

Przykład dla badania potrzeb w skali 1–5: 1 — konsultant nie zadał żadnego pytania o sytuację klienta; 3 — zadał pytania, ale wyłącznie zamknięte, bez potwierdzenia zrozumienia; 5 — zadał co najmniej trzy pytania otwarte i sparafrazował odpowiedzi przed prezentacją oferty. Taki opis progu jest długi — i właśnie dlatego działa: trener i model szukają w transkrypcji dokładnie tego samego.

3. Błędy krytyczne — czerwone linie

Osobna kategoria dla zdarzeń, które przekreślają rozmowę niezależnie od reszty oceny: brak zgody na nagrywanie, wprowadzenie klienta w błąd, obietnica bez pokrycia, pominięcie obowiązkowej klauzuli. Błąd krytyczny nie obniża wyniku — on uruchamia alert.

Różnica operacyjna jest zasadnicza: wynik checklisty czyta się w raporcie tygodniowym, o błędzie krytycznym przełożony musi wiedzieć od razu, z konkretnym fragmentem rozmowy jako dowodem. Tak działa wykrywanie błędów krytycznych w CallSea — alert z cytatem z transkrypcji trafia do przełożonego jeszcze tego samego dnia, a nie przy miesięcznym odsłuchu próbki.

Ile kryteriów powinna mieć karta oceny rozmowy?

Mniej, niż podpowiada intuicja. Karty oceny rozrastają się latami — każdy incydent dokłada nowy wiersz i po trzech latach arkusz ma 40 pozycji, z których połowy nikt nie analizował od kwartałów. Rozsądny start pod analizę AI to 10–15 kryteriów: 6–8 pozycji checklisty, 3–4 skale punktowe i 2–3 błędy krytyczne.

Taka karta ma trzy zalety. Da się ją skalibrować w tydzień zamiast w miesiąc. Dashboard pokazuje czytelne trendy zamiast szumu z 40 słupków. A feedback dla konsultanta mieści się w jednej rozmowie — łatwiej poprawić 3 konkretne zachowania niż „podnieść wynik ogólny o 12 punktów”.

Przykładowe kryteria oceny rozmowy — mini-tabela

Cztery kryteria w trzech formatach — z brzmieniem, które AI oceni jednoznacznie, i typowym błędem, który tę jednoznaczność psuje:

Zwróć uwagę na kolumnę błędów: każde z tych sformułowań brzmi rozsądnie w arkuszu, ale wymaga interpretacji — a interpretacja to miejsce, w którym dwóch trenerów (i model) rozjadą się w ocenach.

Pisz kryteria tak, żeby dwie osoby oceniły tak samo

Test jest prosty: jeśli dwóch trenerów mogłoby ocenić to samo nagranie różnie, kryterium jest zbyt ogólne — również dla AI. Porównaj:

Źle: „Konsultant był uprzejmy i profesjonalny.”

Dobrze: „Konsultant przedstawił się imieniem i nazwą firmy w pierwszych 30 sekundach rozmowy oraz nie przerywał klientowi w trakcie wypowiedzi.”

Dobre kryterium ma trzy składniki: obserwowalne zachowanie (co dokładnie ma paść w rozmowie), moment (kiedy) i warunek zaliczenia (co uznajemy za spełnione). Taki konkret sprawia, że ocena jest powtarzalna i łatwa do obrony na feedbacku — konsultant nie dyskutuje z „byłeś mało profesjonalny”, a z faktem „nie przedstawiłeś się w 4 z 10 rozmów” dyskutować już nie będzie.

Czego AI nie powinna oceniać: emocje i ton głosu

Kryteria w stylu „konsultant był zaangażowany i pozytywnie nastawiony” mają dwa problemy. Pierwszy jest warsztatowy: takiego kryterium nie da się ocenić powtarzalnie — ani przez człowieka, ani przez model. Drugi jest prawny: art. 5(1)(f) EU AI Act zakazuje wnioskowania o emocjach pracowników w miejscu pracy na podstawie danych biometrycznych, a głos jest daną biometryczną.

Dlatego w CallSea modele oceniają wyłącznie tekst transkrypcji, a walidator konfiguracji blokuje kryteria wnioskujące o emocjach konsultanta — technicznie, nie tylko regulaminowo. Zamiast „entuzjazmu” oceniaj zachowania widoczne w tekście: czy konsultant odpowiedział na każde pytanie klienta, czy odniósł się do jego wcześniejszej wypowiedzi, czy zaproponował kolejny krok. Szerzej o czerwonych liniach piszemy w tekście o EU AI Act w call center.

Kalibruj na prawdziwych rozmowach

Zanim uruchomisz ocenę na całym ruchu, przetestuj kartę na 30–50 historycznych nagraniach. Procedura jest prosta:

1. Wybierz nagrania z różnych półek wyników — nie tylko wzorcowe, ale też te po reklamacjach i nagrania konsultantów o skrajnych wynikach.
2. Oceń je niezależnie: trenerzy według swojej praktyki, AI według nowej karty.
3. Porównaj wyniki kryterium po kryterium, nie tylko sumarycznie — rozbieżność zwykle siedzi w 2–3 konkretnych pozycjach, a nie w całej karcie.
4. Doprecyzuj opisy rozbieżnych kryteriów i powtórz próbę na tym samym zestawie nagrań.

Rozbieżności to zwykle nie „błąd AI”, tylko nieprecyzyjne kryterium. Dobry punkt odniesienia: jeśli przy danym kryterium dwóch trenerów różni się między sobą równie często jak trener z AI, problem leży w definicji, nie w modelu. Kalibracja nie kończy się przy starcie — każdą ocenę AI człowiek może zweryfikować i skorygować, a sporne kryterium doprecyzowujesz i system ocenia kolejne rozmowy już według poprawionej definicji. Próbę warto powtarzać przy każdej zmianie skryptu, oferty lub promocji.

Od karty oceny do dashboardu

Dobrze zaprojektowane kryteria procentują na poziomie zarządczym: wyniki checklist i skal układają się w trendy per konsultant i per kampania, a błędy krytyczne trafiają do alertów z cytatem z transkrypcji. Zamiast dyskusji „wydaje mi się, że zespół słabiej bada potrzeby” masz wykres, który to pokazuje — i listę rozmów, które to potwierdzają.

Do oceny według karty dochodzi ogólny wynik AI w skali 0–100 z uzasadnieniem — pierwszy filtr podpowiadający, które rozmowy obejrzeć bliżej; pełny opis formatów znajdziesz na stronie oceny jakości rozmów call center. Z każdego wyniku na wykresie zejdziesz do konkretnej rozmowy i cytatu z transkrypcji, a podsumowania przychodzą automatycznie — jak to wygląda, pokazujemy na stronie dashboardów i raportów e-mail.

Punkt wyjścia — dlaczego w ogóle warto oceniać wszystkie rozmowy, a nie próbkę — znajdziesz w tekście: Ręczny odsłuch pokrywa 1–2% rozmów.