01.11.2026 · Modele · ~12 min czytania

Jak dobrać model AI do zadania: Qwen vs Nemotron

Test przeprowadzony 1 listopada 2026 · ASUS Ascent GX10 (platforma NVIDIA DGX Spark)

Jak dobrać model AI — pytanie z każdego projektu, które prawie zawsze dostaje złą odpowiedź: „ten najlepszy”. Nie ma najlepszego modelu. Jest model dobrany do zadania, sprzętu i konfiguracji serwera. Sprawdziliśmy to na dwóch modelach z jednej biurkowej maszyny: Nemotron 3.5 Super VL (120 mld parametrów, 12 mld aktywnych) i Qwen3.8-Flash-Next FP4-Local (125 mld, 6 mld aktywnych). Jedenaście testów, oczekiwanie: 500 tok/s.

500 tokenów na sekundę kontra 37

W materiałach premierowych Nemotrona jest liczba, która zapada w pamięć: ponad 600 tokenów na sekundę na zadaniach agentowych. Pochodzi z endpointu w chmurze (Baseten, Artificial Analysis) i nie podaje ani sprzętu, ani liczby równoległych zapytań. Dla DGX Spark producent daje tylko mnożnik: „do 2,3× szybsza generacja” z drafterem LiLiCorr. Qwen chwali QSA („do 10,2× szybszy prefill i 6,6× szybsze dekodowanie jąder”), ale tok/s dla FP4-Local na DGX Spark nie ma w żadnym oficjalnym źródle.

My zmierzyliśmy 24,62–67,86 tok/s w pojedynczym strumieniu i 54,3–80,1 tok/s w agregacie przy ośmiu zapytaniach. Nigdzie nie zbliżyliśmy się do 500. To fizyka: dekodowanie czyta z pamięci tyle bajtów, ile ważą aktywne parametry na token. Nemotron ma 12 mld aktywnych w NVFP4, czyli około 7 GB na token; przy 273 GB/s sufit to około 40 tok/s. Qwen z 6 mld aktywnych to około 3,4 GB, czyli sufit około 80 tok/s. Pomiary leżą pod tym szacunkiem: 24,62 i 37,02 tok/s w prozie. A 63,19 tok/s w JSON-ie to dekodowanie spekulatywne — kod i JSON są przewidywalne, proza nie.

Co obiecują producenci — i czego nie mówią

Każda deklaracja obok warunków, w jakich ją podano, i obok naszego pomiaru.

Źródła: karty modeli i blog premierowy NVIDII (linki w aneksie).

Czego w dokumentacji nie ma: żadna karta nie wspomina o polskim, karta Qwena nie deklaruje OCR, a liczby jakości podano bez trybu rozumowania i stopnia zrównoleglenia. Bez tych warunków liczba nie jest porównywalna.

Jak testowaliśmy

Sprzęt: ASUS Ascent GX10, czyli platforma NVIDIA DGX Spark — GB10, 128 GB pamięci zunifikowanej, 273 GB/s i 1 PFLOP w FP4 (specyfikacja). Jedna maszyna, jeden model naraz, żadnej chmury. Oba modele w naszych instancjach vLLM z tą samą wartością max-num-seqs 4 i limitem 131 072 tokenów; różnice nieusuwalne: batch 8192 kontra 4096 i dekodowanie spekulatywne LiLiCorr 7 kontra MTP 4.

Prędkość: 3 rozgrzewki i 6 pomiarów na kategorię, odpowiedzi po 900 tokenów, mediana i rozrzut. Jakość automatycznie: każdą funkcję uruchamialiśmy w osobnym procesie z asercjami, JSON walidowaliśmy pole po polu, decyzje fakturowe porównywaliśmy z ground truth. Polski ocenialiśmy na ślepo: 24 anonimowe próbki, dwóch oceniających, zgodność rankingów 0,783 (Spearman). Jednostką analizy jest niezależna generacja, nie pojedynczy przypadek.

Prędkość: jeden użytkownik i czterech naraz

Pojedynczy strumień: jeden użytkownik, jedna odpowiedź, mediana z sześciu pomiarów.

Mediana z 6 pomiarów po 3 rozgrzewkach, odpowiedzi po 900 tokenów, rozumowanie wyłączone, temperatura 0,6. W nawiasach zakres min–max.

Trzy wnioski. Polska proza to najsłabszy punkt Nemotrona — 24,62 tok/s, mniej niż połowa tego, co robi w JSON-ie. W kodzie i JSON-ie jest remis (1,05× i 1,07×), więc „szybszy model” jest cechą zadania, nie modelu. Czas do pierwszego tokenu dzieli oba modele mocniej: 0,049 s kontra 0,296 s.

Wielu użytkowników naraz — tu wchodzi konfiguracja serwera i zmienia wynik bardziej niż sam model.

Dwie rundy na poziom, odpowiedzi po około 450 tokenów, oba modele przy max-num-seqs 4, temperatura 0,6.

Qwen jest szybszy agregatowo 1,4× i przy ośmiu zapytaniach już nasycony — 79,7 i 80,1 tok/s to praktycznie ta sama liczba. Nemotron przy czterech daje 56,5 tok/s, przy ośmiu nie rośnie (54,3), a mediana czasu do pierwszego tokenu skacze z 1,28 s do 13,26 s. Najważniejsza lekcja: w poprzednim przebiegu Nemotron działał z ustawieniem z recepty, max-num-seqs 1, i przy czterech zapytaniach dawał 26 tok/s przy medianie 24,4 s. Po zmianie flagi na 4 ten sam model dał 56,5 tok/s. Podwojenie przepustowości wymagało zmiany jednej liczby, nie modelu.

Jakość: kod, JSON, narzędzia, faktury

Kod. Cztery zadania po pięć generacji, każdą funkcję uruchamialiśmy w osobnym procesie z asercjami.

4 zadania × 5 generacji = 20 generacji na model; przypadków testowych 10–11 na zadanie. Rozumowanie wyłączone, temperatura 0,2, limit 1600 tokenów.

Tu jest pułapka większości porównań: różnica 94% kontra 77,5% przypadków testowych wygląda dramatycznie, ale te 200 przypadków pochodzi z 20 generacji, więc nie są niezależne. Poprawnie licząc generacje: 18 z 20 u Nemotrona i 15 z 20 u Qwena, p = 0,41. To nie dowód przewagi. Trzy z pięciu próbek Qwena w parsowaniu kwoty urwały się na limicie 1600 tokenów — pisze rozbudowany kod i nie mieści się w budżecie. Ten test nie pokazuje, który model jest lepszy w kodzie.

JSON i narzędzia. Ekstrakcja pól faktury do ścisłego schematu, 10 próbek, json.loads i dwanaście kontroli pole po polu: 10/10 u obu. Pięć scenariuszy w natywnym API narzędzi OpenAI po dwie próbki, w tym „nie ma narzędzia, więc nie wolno go wywołać”: 10/10 u obu; protokół promptowy z łańcuchem dwóch narzędzi: 3/3 u obu. Wcześniejsza odmowa serwera u Qwena wynikała z braku flagi parsera, nie z modelu.

Faktury. Sześć typów po dwie próbki, krótki obieg: odczyt pól, sprawdzenie NIP narzędziem, weryfikacja polityki, decyzja.

6 typów × 2 próbki = 12 przebiegów na model, temperatura 0,2, rozumowanie wyłączone. p (Fisher) = 0,64.

Różnica 8/12 kontra 10/12 przy dwunastu przebiegach daje p = 0,64, czyli mieści się w granicach przypadku. Ale jest tu wynik, który przypadkiem nie jest: oba modele zatwierdziły fakturę, w której pozycje sumują się do 4 320, a nie 4 520 — 0/2 u obu. Mechanika była bezbłędna (12/12 czystego JSON-a), zawiodła arytmetyka. Agent prowadzi obieg dokumentu, ale sumę pozycji i VAT musi sprawdzać kod.

Obietnica agentowa na dokumentach: co sprawdziliśmy, a czego nie

NVIDIA pozycjonuje Nemotrona do pracy agentowej na dokumentach: jedno żądanie może obejmować przeczytanie dokumentu, sprawdzenie informacji w kilku źródłach, zastosowanie polityki firmy i wywołanie kilku narzędzi. To szeroka obietnica i nasz test jej nie rozstrzyga — nie potwierdza jej ani nie obala. Dzień później sprawdziliśmy ją osobnym testem — wyniki w aktualizacji na końcu wpisu.

Co sprawdziliśmy: 12 krótkich przebiegów (6 typów faktur × 2 próbki) z symulowanymi narzędziami — NIP, duplikat, zapis do księgi, oznaczenie do weryfikacji — przy wyłączonym rozumowaniu i temperaturze 0,2. Osobno długi kontekst: pięć ukrytych kodów, trzy głębokości po trzy próbki, najgłębsza 99 404 tokeny u Nemotrona i 88 197 u Qwena.

Czego nie sprawdziliśmy: długich, wielogodzinnych przebiegów agenta z wieloma turami; prawdziwych obiegów dokumentów, czyli realnych faktur, księgi i polityki zamiast symulatora; pełnego okna miliona tokenów — najgłębsze próbki to około 100 tys. tokenów, a konfiguracja miała limit 131 072. Nie sprawdzaliśmy też, czy model utrzyma politykę firmy przy dziesiątkach dokumentów w jednej sesji.

Wniosek: w tym wycinku mechanika działa u obu modeli, a weryfikacja arytmetyki zawodzi u obu. To wystarcza, by zaplanować walidator w kodzie, ale nie wystarcza, by ogłosić, że obietnica agentowa na dokumentach jest spełniona albo nie.

Obrazy i długi kontekst

Dwa obrazy po pięć próbek: wykres słupkowy z jedenastoma miesiącami i faktura jako skan. Powyżej progu jest pięć wartości, więc pełne trafienie wymaga pięciu z pięciu i żadnego fałszywego.

Wykres: Nemotron 3/5 pełnej poprawności przy recall 1,00, Qwen 0/5 przy recall 0,80 (p = 0,167). Faktura-skan: 5/5 u obu.

2 obrazy × 5 próbek = 10 przebiegów na model, temperatura 0,2, rozumowanie wyłączone.

Nemotron trafił wszystkie pięć słupków w każdej próbce, ale w dwóch z pięciu dodał miesiące poniżej progu — stąd 3/5 pełnej poprawności przy recall 1,00. Qwen w każdej z pięciu próbek pominął „Lut”, więc recall spadł do 0,80 i ani raz nie był w pełni poprawny. Przy pięciu próbkach p = 0,167, więc to nie jest dowód przewagi, ale wzorzec powtarza się w każdej próbce.

Długi kontekst. Pięć ukrytych kodów, trzy głębokości po trzy próbki. Trafienia: 44/45 u Nemotrona i 45/45 u Qwena. Prefill zimnej próbki: Nemotron 2 844, 2 990 i 2 629 tok/s, Qwen 2 112, 2 388 i 2 392 tok/s, czyli Nemotron szybszy o +35%, +25% i +10%. Zastrzeżenie: po jednej zimnej próbce na głębokość i przy różnych ustawieniach batcha (8192 kontra 4096 tokenów) — to porównanie konfiguracji, nie modeli.

Polski: polecenia, nie proza

Cztery prompty po trzy próbki, dwanaście próbek na model: kontrole deterministyczne (limit zdań, wymagane elementy, zakazane frazy) i ślepa ocena stylu.

Wyniki kontroli: Nemotron 7/12, Qwen 11/12. Rozkład: mail 3/3 u obu, wyjaśnienie API 1/3 kontra 3/3, tekst o kawiarni 3/3 u obu, korekta 0/3 kontra 2/3.

4 prompty × 3 próbki = 12 próbek na model, temperatura 0,6, top_p 0,95. p (Fisher) = 0,155.

Różnica 7/12 kontra 11/12 daje p = 0,155, więc statystycznie nie jest istotna — ale wzorzec jest spójny: Nemotron dwa razy przekroczył limit zdań, a w korekcie ani razu nie poprawił „wypaloną”. Ślepa ocena stylu nie wykazała istotnej różnicy (p = 1,00 i p = 0,51), a zgodność rankingów wyniosła 0,783. Różnica jest w posłuszeństwie poleceniom, nie w jakości prozy. Żadna karta modelu nie wspomina zresztą o polskim — wszystko, co wiemy o zachowaniu obu modeli w tym języku, pochodzi z naszych pomiarów.

Rozumowanie: 2–4 poprawne odpowiedzi więcej, 23–39× tokenów

Pięć zadań weryfikowalnych (arytmetyka, logika, jednostki, zadanie wielokrokowe, rabat z VAT) po dwie próbki w każdym trybie: 20 przebiegów na model, po 10 na tryb.

Rozumowanie wyłączone: Nemotron 8/10, Qwen 6/10. Włączone: 10/10 u obu. Mediana tokenów 5 → 196 u Nemotrona (39×) i 5 → 115 u Qwena (23×), czas 0,48 s → 3,73 s i 0,35 s → 2,20 s, czyli 6–8×.

5 zadań × 2 próbki × 2 tryby = 20 przebiegów na model, po 10 na tryb, temperatura 0,2.

Rozumowanie naprawia błędy wielokrokowe u obu modeli: Nemotron z 8/10 na 10/10, Qwen z 6/10 na 10/10. Ale rachunek jest brutalny: mediana tokenów rośnie z 5 do 196 u Nemotrona (39×) i z 5 do 115 u Qwena (23×), a czas 6–8×. Przy dziesięciu przebiegach na tryb to mała próba, więc traktujmy to jako kierunek. Praktycznie: rozumowanie włączaj tam, gdzie liczy się poprawność, a wyłączaj w czacie. U Qwena trzeba to zrobić jawnie — model myśli domyślnie z reasoning_effort=xhigh.

Który model do czego

Kod to remis (18/20 kontra 15/20, p = 0,41), JSON i narzędzia też (10/10 i 3/3 u obu). Zestawienie dotyczy tej jednej maszyny i tej konfiguracji serwera — na innym sprzęcie liczby się zmienią, i o to właśnie chodzi w tym wpisie.

Jak dobrać model AI do zadania: siedem kroków

To kolejność, w której sami podejmujemy decyzję. Każdy krok odpowiada liczbie z tego testu.

1. Zacznij od zadania, nie od modelu. Czat potrzebuje szybkiej reakcji, więc liczy się 0,049 s kontra 0,296 s. Analiza dokumentów może poczekać kilka sekund.
2. Zamień zadanie na mierzalny test. Bez zdefiniowanej poprawnej odpowiedzi nie masz czym porównać modeli.
3. Policz sufit sprzętu. Aktywne parametry razy bajty na token podzielone przez przepustowość pamięci: 12 mld aktywnych w NVFP4 na 273 GB/s to około 40 tok/s.
4. Wyrównaj konfigurację przed porównaniem. Jedna flaga max-num-seqs podwoiła przepustowość Nemotrona z 26 do 56,5 tok/s.
5. Zmierz na własnych danych i języku. Karty modeli nie wspominają o polsku, a różnice wyszły właśnie tam: 11/12 kontra 7/12.
6. Oddziel mechanikę od arytmetyki. W krótkich przebiegach oba modele poprawnie wywoływały narzędzia i oba przepuściły fakturę z niezgodną sumą.
7. Policz koszt rozumowania. 23–39× więcej tokenów i 6–8× dłuższy czas, zwłaszcza gdy model myśli domyślnie przy każdym „dzień dobry”.

I najważniejsze: nie ma najlepszego modelu. Jest model dobrany do zadania, sprzętu i konfiguracji — a dobranie go to kilka godzin pomiarów, nie tydzień czytania benchmarków. Jak ta sama metoda wypadła na trzech innych modelach, pokazuje wpis DeepSeek V4 Flash, GLM 5.3 Flash czy Qwen3.8-Flash-Next; wąską klasę modeli do decyzji opisuje test modeli decyzyjnych po polsku; a kiedy lokalny model wygrywa z chmurą — lokalne AI zamiast chmury.

Ograniczenia tego testu

• Małe próby. Od 5 do 20 przebiegów na test. Przy p = 0,41, 0,64, 0,167 i 0,155 różnica nie jest istotna i tak ją opisujemy.
• Konfiguracje nie są identyczne. Ten sam limit zapytań naraz, ale inny batch (8192 kontra 4096 tokenów) i inny mechanizm dekodowania spekulatywnego (LiLiCorr 7 kontra MTP 4).
• Jedna maszyna, jedna kwantyzacja. Oba modele w NVFP4/FP4; BF16 nie zmieściłby się w 128 GB pamięci zunifikowanej, więc tego porównania nie ma.
• Faktury są syntetyczne. Sześć typów po dwie próbki to test mechaniki i jednej polityki, nie skuteczności wdrożenia. Nie testowaliśmy wielogodzinnych przebiegów agenta, prawdziwych obiegów dokumentów ani pełnego okna miliona tokenów. Długi obieg na fikcyjnych dokumentach opisuje aktualizacja na końcu.

Najczęstsze pytania

Który model AI jest najlepszy?

Żaden nie jest najlepszy w każdym zadaniu. Qwen wygrywa tam, gdzie liczy się czas odpowiedzi i posłuszeństwo poleceniom: 37,02 tok/s w prozie kontra 24,62 i 0,049 s do pierwszego tokenu kontra 0,296 s. Nemotron wypadł lepiej na wykresie (3/5 kontra 0/5, mała próba) i miał szybszy prefill w tej konfiguracji. W JSON-ie i wywołaniach narzędzi oba miały 10/10.

Jak dobrać model AI do konkretnego zadania?

Zacznij od zadania, nie od modelu: ustal, czy liczy się latencja, czy dokładność, i przygotuj sprawdzalny zbiór testowy. Policz sufit sprzętu, wyrównaj konfigurację serwera, zmierz na własnych danych i własnym języku oraz oddziel mechanikę agenta od arytmetyki, którą powinien sprawdzać kod.

Czy 500 tokenów na sekundę jest osiągalne na DGX Spark?

W naszych pomiarach nie. Najszybszy pojedynczy strumień dał 67,86 tok/s (JSON u Qwena), proza 37,02 tok/s u Qwena i 24,62 u Nemotrona, agregat przy ośmiu zapytaniach 80,1 tok/s. Deklaracja ponad 600 TPS dotyczy endpointu w chmurze, bez podanego sprzętu i liczby strumieni.

Aktualizacja 2 listopada: długi obieg dokumentów

Wpis zostawił otwarte pytanie o obietnicę NVIDII: czy agent przeczyta dokument, sprawdzi go w kilku źródłach, zastosuje politykę firmy i wywoła kilka narzędzi. Dzień później sprawdziliśmy to bezpośrednio.

Test: 30 spraw po polsku na 82 fikcyjnych dokumentach. Są wśród nich faktury tekstowe i skany, zamówienia, dokumenty dostawy, umowa, korespondencja i trzystronicowa polityka firmy. 20 spraw ma celowe wady, 2 próbują nakłonić agenta do złamania polityki, a 21 wymaga połączenia co najmniej trzech dokumentów. Agent ma osiem narzędzi, a zapis do księgi naprawdę zmienia jej stan. Oceniamy stan końcowy, nie tekst odpowiedzi. Rozumowanie jest włączone u obu modeli. Każdy model przeszedł dwa przebiegi: jedną długą sesję aż do granicy okna 65 536 tokenów i każdą sprawę osobno, w czystym kontekście.

30 spraw × 2 przebiegi = 60 decyzji na model, temperatura 0,2, rozumowanie włączone. p (McNemar) = 1,0.

• Mechanika obiegu działa u obu modeli. Czytają kilka dokumentów, stosują politykę, nie dają się zmanipulować i ponawiają wywołanie po chwilowym błędzie narzędzia (7/7). Jakość nie spadła pod koniec długiej sesji.
• Przewagi Nemotrona nie ma. 56 kontra 58 to różnica w granicach przypadku.
• Szybkość zależy od trybu pracy. W długiej sesji Nemotron obsłużył 1,6× więcej spraw na godzinę. Przy osobnych sprawach rozumował 2,5× dłużej i był 1,6× wolniejszy. Łącznie wychodzi remis, 101 kontra 106 spraw na godzinę. „Do 5× większej przepustowości” w tej konfiguracji nie widać.
• Kod nadal musi pilnować tego, czego model nie widzi. Oba modele zaksięgowały duplikat, gdy odczyt księgi zwrócił pusty wynik, bo dla modelu pusta księga wygląda tak samo jak brak duplikatu. Nemotron raz zatwierdził skan z błędną sumą pozycji. To ta sama lekcja co w krótkim teście: walidacja w kodzie, nie w modelu.

Ograniczenia: 30 spraw, jedna konfiguracja i dane fikcyjne. Narzędzia działają lokalnie, nie w prawdziwym systemie księgowym. Okno zmniejszyliśmy do 65 536 tokenów, żeby długa sesja doszła do granicy. Pierwszy, nocny przebieg odrzuciliśmy po audycie: zestaw miał błędy w poprawnych odpowiedziach, a przebieg z osobnymi sprawami nie czyścił kontekstu.

Wniosek dla doboru modelu: w obiegu dokumentów oba modele są równie dokładne. O wyborze decyduje tryb pracy: Nemotron przy długich sesjach, Qwen przy pojedynczych dokumentach.

Aneks techniczny i źródła

Źródła

• Nemotron 3.5 Super VL: karta modelu NVFP4, blog premierowy NVIDIA (600+ TPS, 2,3× z LiLiCorr, Hermes Bench 63,44%, LangChain Evals 87,05%), karta LiLiCorr, recepta vLLM.
• Qwen3.8-Flash-Next: karta FP4-Local, karta modelu bazowego (rozumowanie domyślnie z reasoning_effort=xhigh, SWE-bench Multilingual 81,0, Toolathlon 73,5), recepta vLLM.
• Sprzęt: specyfikacja DGX Spark, ASUS Ascent GX10.
• Pomiary: własne, ailone, 1 listopada 2026; każda liczba ma metodę i liczbę próbek pod tabelą.

Wyniki dotyczą opisanej konfiguracji i danych z 1 listopada 2026. Przed wdrożeniem warto powtórzyć test na własnych danych — to zresztą cały sens tego wpisu.