Czym jest Qwen3.8-Flash-Next
Qwen3.8-Flash-Next to model zespołu Qwen z Alibaby, wydany 26.08.2026. Producent przedstawia go jako zapowiedź architektury Qwen4 wg źródła. Najważniejsze cechy:
- 125 mld parametrów w architekturze MoE, z czego na token pracuje tylko 6 mld. Dla porównania: GLM 5.3 Flash — 18 mld, DeepSeek V4 Flash — 13 mld. Stąd prędkość: przy każdym tokenie trzeba przeczytać z pamięci najmniej wag.
- Do tego 51 mld parametrów w tablicy n-gramów i 4 mld w głowicy MTP — razem ok. 180 mld na dysku.
- Gated DeltaNet i Qwen Sparse Attention; 512 ekspertów, z których na token pracuje 10 plus 1 wspólny; 48 warstw.
- Multimodalny (obraz, wideo); okno 262 144 tokenów, do 1 mln przez YaRN.
- Licencja qwen-community-1.0 — nie Apache 2.0 jak wcześniejsze Qweny (szczegóły niżej).
Z czego składa się Qwen3.8-Flash-Next
parametry wg producenta · ok. 180 mld na dysku łącznie
■ eksperci MoE · ■ tablica n-gramów · ■ głowica MTP (4B)
parametry aktywne na token — mniej = szybciej na GB10
Tablica n-gramów: 51 mld parametrów, z których na token potrzeba 16 wierszy
Najciekawsza nowość architektury. Na drugiej warstwie model ma tablicę z 20 mln bigramów i trigramów (PLE). Przy każdym tokenie potrzebuje z niej tylko 16 wierszy — dlatego tablica nie musi leżeć w pamięci karty. Może siedzieć w zwykłej pamięci procesora, a nawet na dysku NVMe. To właśnie pozwala zmieścić model w mniejszej pamięci, niż sugerowałaby liczba parametrów.
Ile tablicy potrzeba na jeden token
schemat poglądowy, liczby wg producenta
20 000 000
wierszy w tablicy (bigramy i trigramy)
16
wierszy — można je czytać z RAM albo z dysku NVMe
Czy Qwen3.8-Flash-Next zmieści się lokalnie? Warianty wag
Rozmiar wag a pamięć DGX Spark
rozmiary jak podają źródła · │ 128 GB — jedna jednostka · │ 256 GB — dwie
| Wariant wag | Rozmiar | 2× 128 GB |
|---|---|---|
| BF16 | 335,28 GiB | nie |
| FP8 | 172,78 GiB | tak, ciasno |
| NVFP4 (NVIDIA) nasze | 124 GB = 76 GiB wag + 47,7 GiB tablicy n-gramów | tak, z zapasem |
| GGUF (Unsloth, AtomicChat) | różne | istnieją — nie testowaliśmy |
Karta modelu NVIDII wymienia oficjalnie tylko karty B200 i B300 — to, że checkpoint NVFP4 działa na GB10, wiadomo z niezależnych wdrożeń, w tym naszego. Według autora przepisu tonyd2wild model działa też na jednym DGX Spark (tablica n-gramów czytana z dysku) z prędkością 43,9 tok/s wg źródła. Tej konfiguracji nie mierzyliśmy.
Jak uruchomiliśmy Qwen 3.8 na DGX Spark
Klaster ten sam co przy DeepSeek V4 Flash i GLM 5.3 Flash: dwie jednostki połączone kablem QSFP56 200 Gb/s, model dzielony na dwie (tensor parallel = 2), obok czat, brama API i agenci. Metoda pomiaru też ta sama. Szczegóły sprzętu: klaster DGX Spark.
W odróżnieniu od GLM Qwen działa na czystym vLLM, bez żadnych łatek — wystarczyła wersja nightly z 14.09. Oficjalny obraz z dnia premiery był za stary: checkpoint NVIDII i MTP wymagały późniejszych poprawek w vLLM.
| Element | Nasze ustawienie |
|---|---|
| Checkpoint | nvidia/Qwen3.8-Flash-Next-NVFP4, ok. 62 GiB na jednostkę |
| Tablica n-gramów | w przypiętej pamięci procesora (domyślnie w tym buildzie) |
| Silnik | vLLM nightly z 14.09.2026, bez łatek; --quantization modelopt, --trust-remote-code |
gpu-memory-utilization | 0,70 — przy 0,75 pula rosła do 1,12 mln tokenów, ale prędkość skakała (proza 28–40 tok/s) |
| Spekulacja | MTP, 3 tokeny (lepiej niż 4) |
| Kompilacja | torch.compile wyłączony; grafy CUDA tylko przy dekodowaniu |
| Pamięć podręczna | prefix caching wyłączony; KV w BF16 (FP8 nie działa w tym buildzie) |
| Równoległość | 6 rozmów |
| Parsery | narzędzia qwen3_xml, rozumowanie qwen3 — bezsporne we wszystkich źródłach |
Wyniki: Qwen3.8-Flash-Next benchmark na DGX Spark
Prędkość generowania
tok/s, mediana z 6 · zmierzone u nas 14.09.2026 · vLLM nightly, NVFP4, MTP 3 · klaster 2× DGX Spark, aplikacje obok
- Pula KV: 700 981 tokenów (2,67 × okno). Po pomiarze zostaje 23,8 / 26,1 GB wolnego — największy zapas z trzech modeli.
- Start: ok. 8,5 minuty.
- Zgodność z przepisem. Autor przepisu tonyd2wild mierzył na 40 promptach w 8 kategoriach: proza 37,2 wobec naszych 37,9, kod 56,0 wobec 57,4, JSON 61,9 wobec 63,3. Bardzo bliskie wyniki, mimo aplikacji działających obok — dobry znak, że konfiguracja jest powtarzalna.
Według tego samego źródła (nie mierzyliśmy): na jednej jednostce 43,9 tok/s, w profilu długiego kontekstu na dwóch jednostkach (tablica na NVMe) 35,8 tok/s przy puli ok. 5,87 mln tokenów, a bez MTP i grafów CUDA tylko 15,4 tok/s. Na GB10 MTP więc wyraźnie pomaga — odwrotnie niż ostrzeżenie dla kart H100 wg źródła.
Nowszy vLLM nie znaczy szybszy: vLLM 0.31 o 30% wolniejszy
08.10 sprawdziliśmy tą samą metodą, czy warto przejść z wersji nightly z 14.09 na wydanie vLLM 0.31. Wynik zaskoczył: na tym modelu i GB10 vLLM 0.31 jest o ok. 30% wolniejszy. Przyczyny nie ustaliliśmy — to regresja, nie kwestia ustawień.
vLLM nightly z 14.09 kontra vLLM 0.31
tok/s · zmierzone u nas 08.10.2026, ta sama metoda · ■ nightly, KV BF16 ■ 0.31, KV BF16 ■ 0.31, KV FP8
proza
kod
6 rozmów naraz, łącznie
| nightly 14.09, KV BF16 | vLLM 0.31, KV BF16 | vLLM 0.31, KV FP8 | |
|---|---|---|---|
| proza | 38,7 | 27,5 | 27,3 |
| kod | 58,9 | 42,4 | 39,1 |
| JSON | 45,3 | 44,1 | 43,8 |
| 6 naraz (na rozmowę / łącznie) | 33,4 / 144 | 20,1 / 92 | 19,8 / 90 |
| pula KV | 686 tys. | 665 tys. | 1 122 717 |
| igła przy 112K i 225K | — | — | 6/6 |
Zmierzone u nas 08.10.2026. Wyniki nightly z tej serii różnią się nieco od pomiaru z 14.09 — to rozrzut między seriami, dlatego porównujemy tylko kolumny z jednego dnia.
Jedna rzecz w 0.31 jest za to naprawdę dobra: pamięć podręczna KV w FP8 „za darmo”. Prędkość taka sama jak przy BF16, a pula rośnie 1,64 raza (nie 2 razy — część warstw na tym nie zyskuje), przy zachowanej jakości długiego kontekstu (igła 6/6). Mimo to zostaliśmy przy nightly z 14.09: 30% prędkości to więcej niż większa pula.
Obrazy i długi kontekst
15.09 wysłaliśmy 10 obrazów w jednej wiadomości. Wszystkie zostały opisane poprawnie, łącznie z drobnym tekstem. Bez namysłu zajęło to 7,9 s (3 063 tokeny wejścia), z namysłem 14 s zmierzone u nas. Długi kontekst sprawdziliśmy na vLLM 0.31 z KV w FP8: igła znaleziona przy 112 i 225 tys. tokenów we wszystkich 6 próbach.
Ciche pułapki
torch.compile+ porcje po 4096 tokenów = 8–15 tok/s zamiast 53. Według autora przepisu ta kombinacja tworzy też drugą kopię tablicy n-gramów (ok. 24 GB na jednostkę) — u niego skończyło się restartem trzech jednostek DGX Spark wg źródła. Dlategotorch.compilemamy wyłączony.- Każdy model ma inny przełącznik namysłu. Qwen czyta
enable_thinking, DeepSeek —thinking. Nasza brama API wysyłała tylko jeden z nich, więc przy Qwenie tytuły rozmów wracały puste (model „myślał” przez cały limit 40 tokenów). Teraz brama wysyła oba. gpu-memory-utilization0,75 kusi większą pulą (1,12 mln tokenów), ale prędkość na prozie skakała wtedy między 28 a 40 tok/s. Zostało 0,70.- Nowsza wersja silnika bywa wolniejsza — przed aktualizacją vLLM zmierz, nie zakładaj.
Pułapki wspólne dla GB10 — zawieszanie przy braku pamięci i zła karta RDMA — opisujemy przy DeepSeek V4 Flash.
Licencja: co wolno firmie
Qwen3.8-Flash-Next jest na licencji qwen-community-1.0 (checkpoint NVFP4 dodatkowo na NVIDIA Open Model License). To już nie Apache 2.0 jak wcześniejsze Qweny, i dla firm ma to znaczenie:
- Użycie wewnętrzne jest zwolnione — gdy ani model, ani jego wyniki nie trafiają do stron trzecich.
- „Model as a Service” (udostępnianie inferencji innym firmom) albo produkt typu „AI Work Assistant” wymaga osobnej licencji od Qwen przed użyciem komercyjnym — bez progu przychodowego.
- Obowiązek eksponowania nazwy modelu pojawia się dopiero powyżej 100 mln aktywnych użytkowników miesięcznie albo 20 mln USD miesięcznie.
W praktyce: do pracy wewnątrz firmy Qwen to świetny wybór. Jeśli model ma odpowiadać Twoim klientom, wybierz DeepSeek V4 Flash albo GLM 5.3 Flash na MIT — albo najpierw porozmawiaj z Qwen.
Qwen3.8-Flash-Next na tle DeepSeek V4 Flash i GLM 5.3 Flash
Na tym samym klastrze Qwen najszybciej zaczyna odpowiadać (142–161 ms), przy sześciu rozmowach naraz daje łącznie 150,7 tok/s i zostawia najwięcej wolnej pamięci (24–26 GB na jednostkę). Jako jedyny działa na czystym vLLM bez łatek. DeepSeek V4 Flash szybciej pisze prozę w codziennej pracy (44–53 tok/s), najszybciej wczytuje długie dokumenty i ma licencję MIT. GLM 5.3 Flash z TensorFold najszybciej pisze kod i JSON i ma okno 1 mln tokenów, ale tylko niekomercyjnie. Pełne zestawienie trzech modeli, z wykresami i siedmioma lekcjami z uruchamiania: DeepSeek V4, GLM 5.3 czy Qwen 3.8 na DGX Spark.
Najczęstsze pytania o Qwen3.8-Flash-Next
Czy Qwen3.8-Flash-Next działa na jednym DGX Spark?
Według autora przepisu tonyd2wild tak: na jednej jednostce, z tablicą n-gramów czytaną z dysku, osiąga 43,9 tok/s. Wagi NVFP4 to 124 GB łącznie z tablicą. My uruchamiamy go na dwóch jednostkach i tej konfiguracji jednej jednostki nie mierzyliśmy.
Czy Qwen3.8-Flash-Next można używać komercyjnie?
Wewnętrznie tak — licencja qwen-community-1.0 zwalnia użycie, przy którym ani model, ani jego wyniki nie trafiają do stron trzecich. Udostępnianie inferencji innym firmom („Model as a Service”) albo produkt typu „AI Work Assistant” wymaga osobnej licencji od Qwen przed użyciem komercyjnym, bez względu na przychód.
Czy Qwen3.8-Flash-Next rozpoznaje obrazy lokalnie?
Tak. W naszym teście 10 obrazów wysłanych w jednej wiadomości zostało opisanych poprawnie, łącznie z drobnym tekstem: 7,9 s bez namysłu i 14 s z namysłem, na klastrze 2× DGX Spark, bez wysyłania czegokolwiek do chmury.
Dlaczego przy Qwen3.8-Flash-Next wyłączyć torch.compile?
Według autora przepisu torch.compile razem z porcjami po 4096 tokenów obniża prędkość do 8–15 tok/s zamiast 53 i tworzy drugą kopię tablicy n-gramów (ok. 24 GB na jednostkę) — u niego skończyło się to restartem trzech jednostek DGX Spark. My mamy torch.compile wyłączony.
Czy warto aktualizować vLLM dla Qwen3.8-Flash-Next?
Na GB10 nie zawsze. W naszym pomiarze z 08.10.2026 vLLM 0.31 był o ok. 30% wolniejszy od wersji nightly z 14.09 (proza 27,5 wobec 38,7 tok/s). Zaletą 0.31 jest obsługa pamięci podręcznej KV w FP8: ta sama prędkość i pula 1,12 mln tokenów zamiast 686 tys. Zostaliśmy przy nightly.
Źródła
- Qwen, karta modelu Qwen3.8-Flash-Next i licencja qwen-community-1.0.
- NVIDIA, Qwen3.8-Flash-Next-NVFP4 — rozmiar, tablica n-gramów, oficjalnie wspierane karty.
- tonyd2wild, przepis Qwen3.8-Flash-Next NVFP4 na DGX Spark — wyniki na 40 promptach, jedna jednostka, profil długiego kontekstu, pułapka
torch.compile. - vLLM, przepis Qwen3.8-Flash-Next.
- Forum NVIDIA, Qwen 3.8 Flash Next na jednej jednostce w vLLM.
- MarkTechPost, premiera Qwen3.8-Flash-Next (26.08.2026).
- Pomiary i testy: własne, klaster ailone 2× DGX Spark / ASUS GX10, 14–15.09 i 08.10.2026.
Stan na 11.10.2026. Wersje vLLM zmieniają się co tydzień — przed aktualizacją zmierz prędkość na swoim sprzęcie. Pomiary to mediany z jednej serii, z aplikacjami działającymi obok.