12.10.2026 · Modele · ~18 min czytania

Polski test modeli decyzyjnych: pplx-decider, Clef, Strands Decider i 7 innych na 2198 dokumentach

Test przeprowadzony 11–12 października 2026 · 2 × ASUS Ascent GX10

To pierwszy publiczny test modeli decyzyjnych po polsku. Dziesięć otwartych modeli — m.in. pplx-decider (Perplexity), Clef (Cloudflare) i Strands Decider (Amazon) — uruchomiliśmy lokalnie, na własnym sprzęcie, i sprawdziliśmy na 2198 polskich dokumentach: mailach do sieci hoteli, banku i operatora telekomunikacyjnego oraz czterech publicznych zbiorach. Sędzią był lokalny duży model GLM-5.3-Flash. Producenci publikują tylko własne wyniki, i to po angielsku — tu są niezależne liczby, przykłady maili z odpowiedziami modeli i wszystkie słabe strony, które wyszły po drodze.

Wyniki w skrócie: który model decyzyjny wybrać

Czym jest model decyzyjny (krótko)

Zwykły model językowy pisze tekst, który trzeba potem zinterpretować. Model decyzyjny nie pisze tekstu. Dostaje dokument i listę pytań z dozwolonymi odpowiedziami, a w jednym przebiegu zwraca prawdopodobieństwo każdej odpowiedzi. Odpowiedź jest więc zawsze jedną z dozwolonych opcji, każda decyzja ma liczbową pewność, na której można oprzeć próg „automat czy człowiek”, a całość trwa dziesiątki lub setki milisekund zamiast sekund. Więcej o tym, jak działają modele decyzyjne i kto je wydał, piszemy w przeglądzie modeli decyzyjnych.

Wszystkie testowane modele używają wspólnego formatu wywołania (zgodnego z Jev / SystemOne). Uproszczony przykład:

POST /v1/systemone
{ "state": "Od wczoraj nie mam internetu, router świeci na czerwono…",
  "questions": {
    "kategoria":  { "type": "choice", "instructions": "Jakiej sprawy dotyczy wiadomość?",
                    "criteria": { "awaria": "Awaria lub brak usługi…", "faktura_rozliczenia": "Faktura…", … } },
    "pilne":      { "type": "noul",   "instructions": "Czy sprawa wymaga pilnej reakcji operatora…?" },
    "frustracja": { "type": "score",  "criteria": ["1 – spokojny", "2 – rzeczowy", "3 – niezadowolony", "4 – ostry ton", "5 – wzburzony"] } } }

→ { "answers": { "kategoria": { "choice": "awaria", "probabilities": { "awaria": 0.97, "sprzet": 0.02, … } },
                 "pilne": { "noul": 0.94 },
                 "frustracja": { "probabilities": { "0": 0.01, "1": 0.08, "2": 0.21, "3": 0.62, "4": 0.08 } } } }

Dane testowe: maile hotelu, banku i operatora oraz zbiory publiczne

Każdy model dostał te same 2198 dokumentów bazowych (3998 pytań) oraz 1489 wariantów odporności. Najważniejszą częścią jest poczta, bo to realne zastosowanie: automatyczna klasyfikacja maili do działów, ocena pilności i pytania branżowe.

* 6 recenzji Allegro składało się z samych spacji i zostało pominiętych u wszystkich modeli. Pytania branżowe: hotel — czy klient żąda zwrotu lub rekompensaty; bank — czy może chodzić o oszustwo; telekom — czy klient grozi odejściem.

Poczta. Maile pisał model spoza testu (Claude), czyli inny niż sędzia i niż modele bazowe testowanych systemów (Qwen), żeby żaden z nich nie miał przewagi „znajomego stylu”. Ok. 30% maili to celowo trudne przypadki: brak polskich znaków, literówki, cytowane wątki ze stopką RODO, dwie sprawy naraz, wtrącenia po angielsku i próby wstrzyknięcia polecenia.

Zbiory publiczne pozwalają porównać wyniki z innymi badaniami. Mają jednak dwie wady: modele mogły je widzieć w treningu, a etykiety są częściowo błędne (patrz sędzia i jakość etykiet).

Przykłady z testu

Zielone pole: odpowiedź zgodna z etykietą, czerwone: niezgodna. Mała liczba to pewność modelu (0–1). Maile są fikcyjne, napisane na potrzeby testu; nazwiska są zmyślone.

Warianty odporności

Te same dokumenty podaliśmy też w zmienionej formie: bez polskich znaków (789 dokumentów), z przetasowaną kolejnością opcji (350) i z pytaniami oraz opcjami po angielsku przy polskim tekście (350). Dobry model powinien dawać w nich te same odpowiedzi, bo treść się nie zmienia.

Testowane modele: pplx-decider, Clef, Strands Decider, d1, Tev1, Nimble, Kev, K2-Type, CLM

Dziesięć otwartych modeli od dziewięciu twórców — od 0,9 do 27 mld parametrów. Wśród nich d1 3B od Liquid AI, Tev1 od Together AI i CLM od zespołu Stanforda i NVIDII. Nazwy modeli prowadzą do ich kart na Hugging Face.

Czasy zmierzone na jednym GX10, jeden model naraz, jedno zapytanie naraz. „Rozjazd pewności” (ECE) to średnia różnica między deklarowaną pewnością a faktyczną trafnością — im mniej, tym lepiej (kolor: zielony = dobrze skalibrowany). Pamięć to przybliżenie: spadek wolnej pamięci po załadowaniu modelu.

Metodologia i sędzia GLM-5.3-Flash

Test działał na dwóch połączonych jednostkach ASUS Ascent GX10 (każda 128 GB wspólnej pamięci). Każdy model działał w osobnym kontenerze, a na każdej jednostce naraz pracował tylko jeden model — czasy odpowiedzi są więc porównywalne, a awaria jednego modelu nie wpływała na pozostałe.

Co mierzyliśmy

Rola sędziego GLM-5.3-Flash

Przy pytaniach zamkniętych z etykietą trafność liczy się wprost. Sędzia GLM-5.3-Flash nie był więc główną miarą, tylko miał trzy zadania:

1. Punkt odniesienia: sam odpowiadał na wszystkie pytania, bez wiedzy o odpowiedziach modeli.
2. Arbiter: oceniał wszystkie różne odpowiedzi danego pytania (odpowiedzi modeli i etykietę) jako poprawne, dopuszczalne lub błędne. Widział je anonimowo i w losowej kolejności, bez informacji, która jest etykietą i ile modeli ją wybrało.
3. Kontrola spójności: sporne pytania (1985 dokumentów) ocenił drugi raz, z odwróconą kolejnością odpowiedzi.

Jak czytać „automatyzację”

Przy każdej odpowiedzi model podaje pewność od 0 do 1. Wdrożenie ustawia próg: decyzje z pewnością równą progowi lub wyższą system wykonuje sam, a pozostałe trafiają do człowieka. Szukamy najniższego progu, przy którym wśród decyzji automatycznych jest najwyżej 5% błędów. Odsetek decyzji powyżej tego progu to automatyzacja.

Automatyczne kierowanie maili bez udziału człowieka

Średnia z czterech pytań miesza decyzje łatwe i trudne. W praktyce najważniejsze jest kierowanie maila: pewna i poprawna kategoria razem z pilnością. Tu przewaga pplx-decider jest największa.

Wartości w kolumnach pytań to automatyzacja dla danego pytania osobno, przy precyzji 95%. 100% oznacza, że model jest poprawny w co najmniej 95% wszystkich przypadków, więc może odpowiadać zawsze.

Trafność: kategoria, pilność, intencje i analiza sentymentu po polsku

Trafność na poszczególnych pytaniach poczty

Frustrację w skali 1–5 modele trafiają dokładnie tylko w 41–62% przypadków, ale z dokładnością do jednego stopnia w ok. 97%. Różnica między „spokojny” a „rzeczowy” jest subiektywna także dla ludzi. Ta skala nadaje się więc na zgrubny alarm (np. ocena 4 lub 5), a nie na precyzyjny pomiar.

Trafność we wszystkich zadaniach, w tym analiza sentymentu

Analiza sentymentu po polsku to kolumna PolEmo 2.0 (opinie o hotelach, lekarzach i produktach). Ostatni wiersz to duży model GLM-5.3-Flash jako punkt odniesienia.

Tev1 obsługuje najwyżej 24 opcje, więc nie odpowiadał na intencje (59 opcji). Wyniki na klauzulach (PAC) i ocenach (Allegro) są zaniżone przez błędy w etykietach (patrz niżej).

Szybkość a trafność

Na wykresie widać trzy grupy. Modele 27B są najdokładniejsze, ale potrzebują 0,8–1,5 s na mail. Clef-flash, Tev1, Strands i d1 dają ok. 76–80% w 60–320 ms. Kev, K2-Type i CLM wyraźnie odstają. Duży GLM jest równie dokładny jak Clef 27B, ale kilka razy wolniejszy.

Polskie pułapki: brak polskich znaków, literówki, dwie sprawy w mailu

Trafność na mailach z różnymi trudnościami

Czy forma zmienia decyzję

W dwóch pierwszych kolumnach mniej znaczy lepiej (zielony = model rzadko zmienia zdanie).

Brak polskich znaków zmienia decyzję czołowych modeli tylko w 2–6% przypadków (K2-Type: 20%). Kolejność opcji prawie nie ma znaczenia. Nazwy kategorii po angielsku nie poprawiają wyniku czołówki, więc kategorie można spokojnie definiować po polsku, w języku pracowników.

Test kontrolny po angielsku

Kev według karty modelu obsługuje tylko angielski, a po polsku traci zaledwie ok. 4 punkty. Jego słaby wynik na poczcie wynika z ostrożnej pewności, nie z języka. CLM wypada słabo w obu językach. Na przykładzie z karty modelu działa poprawnie (billing: 0,97), więc konfiguracja jest dobra — ten model po prostu nie nadaje się do klasyfikacji z wieloma opcjami.

Prompt injection: największa słabość modeli decyzyjnych

Wniosek dla wdrożeń: prompt injection detection to osobny krok. Wykrycie wstawki może być zresztą kolejnym pytaniem do modelu decyzyjnego, a maile z taką wstawką zawsze powinny trafiać do człowieka — tak jak w proponowanej architekturze.

Sędzia i jakość etykiet zbiorów publicznych

Etykiety zbiorów publicznych są częściowo błędne. W PAC sędzia zakwestionował 24% etykiet, w Allegro 15,2%. Wiele „niedozwolonych” klauzul PAC bez kontekstu umowy wygląda neutralnie (np. „Abonent oświadcza, że zapoznał się z załącznikami”), bo ocenę prawną wydano dla całej umowy. W mailach testowych sędzia zakwestionował tylko 1,5–2,6% etykiet.

Zastosowania: hotel, bank (wykrywanie oszustw), telekom (ryzyko odejścia klienta)

Automatyzacja obsługi klienta nie musi oznaczać czatbota. Model decyzyjny może po cichu porządkować skrzynkę: kierować maile do działów i wyłapywać sprawy, które nie mogą czekać. Tak to wyglądało na naszych trzech skrzynkach (więcej o samej automatyzacji poczty: bot do obsługi e-maili).

Proponowana architektura

Który model do czego

Na jednym GX10 (128 GB) zmieszczą się jednocześnie np. Clef 27B (ok. 55 GB) i kilka małych modeli, obok innych usług. Dane klienta nie opuszczają serwera, a czas odpowiedzi nie zależy od łącza internetowego — więcej o tym, kiedy to się opłaca, piszemy we wpisie lokalne AI zamiast chmury.

Ograniczenia testu

• Poczta była syntetyczna. Realne maile są bardziej różnorodne. Następny krok to pilotaż na 300–500 zanonimizowanych mailach klienta, przez ten sam potok.
• Definicje pytań są nasze. „Pilne” czy „grozi odejściem” każda firma zdefiniuje trochę inaczej, a od tego zależy wynik. W pilotażu definicje ustala klient.
• Klauzule wymagają prawnika. Wyników PAC nie należy traktować jako miary przydatności do przeglądu umów bez oceny prawnej.
• Sędzia jest pomocniczy. Spójność 83% i niewielka próba ludzka (14 pozycji) to za mało, by publikować „trafność skorygowaną” jako twardą liczbę.
• Licencje modeli. d1 ma własną licencję LFM 1.0, a licencja Tev1 jest w przygotowaniu — przed wdrożeniem trzeba sprawdzić warunki. Pozostałe modele są na Apache 2.0.
• Czasy zmierzono przy jednym zapytaniu naraz. Przy wielu jednoczesnych zapytaniach przepustowość będzie inna.

Najczęstsze pytania

Który model decyzyjny jest najlepszy?

Do automatycznego kierowania maili pplx-decider 27B: rozstrzyga sam 87,2% maili przy najwyżej 5% błędów. Najdokładniejszy i najlepiej skalibrowany jest Clef 27B (85,3% trafności na poczcie, rozjazd pewności 1,9%). Najszybszy z sensownym wynikiem jest d1 3B (59 ms na mail).

Czy modele decyzyjne działają po polsku?

Tak. Czołowe modele osiągają 85–87% trafności na polskich mailach. Brak polskich znaków zmienia decyzję w 2–6% przypadków, a kategorie można definiować po polsku — nazwy po angielsku nie poprawiają wyniku czołówki.

Jaki sprzęt jest potrzebny do modeli decyzyjnych?

Modele 27B zajmują ok. 52–55 GB pamięci i potrzebują 0,8–1,5 s na mail; małe (2–3 mld parametrów) 6–8 GB i 60–200 ms. Na jednym ASUS GX10 ze 128 GB mieści się Clef 27B i kilka małych modeli naraz.

Czy model decyzyjny można oszukać poleceniem dopisanym w mailu?

Częściowo tak — to największa słabość wszystkich testowanych modeli. Wstrzyknięte polecenie obniża trafność czołowych modeli o 8–32 punkty procentowe, dlatego przed automatycznym działaniem potrzebny jest osobny filtr takich wstawek.

Czy model decyzyjny zastąpi pracownika obsługi klienta?

Nie. Pewne decyzje wykonuje automat, a niepewne trafiają do człowieka. Próg pewności ustawia się na mailach konkretnej firmy.

Dlaczego w teście nie ma Jev ani OpenAI Decisions API?

Działają tylko w chmurze. Test obejmował modele uruchamiane lokalnie, bez wysyłania danych poza serwer.

Aneks techniczny i źródła

Źródła

• Modele (karty na Hugging Face): pplx-decider, Clef, Clef-flash, Strands Decider, d1 3B, Tev1, Nimble, Kev, K2-Type, CLM.
• MASSIVE — Amazon (FitzGerald i in.), zbiór MASSIVE, licencja CC BY 4.0.
• PolEmo 2.0 — CLARIN-PL (Kocoń i in.), rekord w repozytorium CLARIN-PL, licencja CC BY 4.0.
• PAC — Polish Abusive Clauses — Augustyniak i in., karta zbioru, licencja CC BY-NC-SA 4.0. Przytoczony fragment służy wyłącznie ilustracji wyników badania.
• Allegro Reviews — Allegro (Rybak i in., benchmark KLEJ), KLEJ, licencja CC BY-SA 4.0.
• Maile testowe — własne, napisane na potrzeby testu (fikcyjne).
• Pomiary i ocena — własne, ailone, 11–12.10.2026; sędzia: GLM-5.3-Flash na naszym klastrze.

Wyniki dotyczą opisanej konfiguracji i danych z 11–12.10.2026. Przed wdrożeniem warto powtórzyć test na mailach własnej firmy.