DeepSeek V4 Flash lokalnie — uruchomiony i zmierzony na klastrze 2× DGX Spark

Czym jest DeepSeek V4 Flash

DeepSeek V4 Flash to model językowy chińskiej firmy DeepSeek. Wersja preview ukazała się 24.04.2026, a 31.07.2026 DeepSeek opublikował odświeżony wariant 0731 wg źródła. Najważniejsze cechy:

• 284 mld parametrów w architekturze MoE, z czego na każdy token pracuje tylko 13 mld. Dlatego jak na swój rozmiar generuje szybko — przy każdym tokenie czyta z pamięci tylko część wag.
• Okno kontekstu do 1 mln tokenów natywnie.
• Licencja MIT — użycie komercyjne dozwolone.
• DSpark — moduł spekulacyjny dołączony do checkpointu. vLLM obsługuje go od wersji 0.25.0.

DSpark działa tak: mały moduł proponuje od razu blok kilku tokenów, a duży model sprawdza cały blok w jednym przejściu i zostawia najdłuższy początek zgodny z tym, co sam by napisał. Gdy przewidywanie trafia, model dostaje kilka tokenów za cenę jednego przejścia. Według DeepLearning.AI w produkcji DeepSeeka DSpark przyspieszył generowanie V4 Flash o 60–85% względem poprzedniego modułu (MTP-1) wg źródła.

Jak działa DSpark

Schemat poglądowy jednego kroku dekodowania spekulatywnego z 5 tokenami naprzód.

1 · moduł DSpark proponuje

umowa wchodzi w życie jutro

Mały moduł zgaduje 5 kolejnych tokenów naraz.

2 · duży model sprawdza

DeepSeek V4 Flash ocenia cały blok w jednym przejściu, zamiast pięciu.

Koszt: prawie tyle, co wygenerowanie jednego tokenu.

3 · zostaje zgodny początek

umowa ✓ wchodzi ✓ w ✓ życie jutro

3 tokeny za jedno przejście. Odsetek przyjętych tokenów to „akceptacja”.

Uwaga na nazwy: we wrześniu 2026 w kolekcji DeepSeek-V4 na Hugging Face pojawił się większy DeepSeek-V4.1-Flash (552 mld parametrów szkieletu, także MIT) wg źródła. Nie uruchamialiśmy go — ta strona dotyczy V4 Flash.

Wymagania: czy DeepSeek V4 Flash zmieści się lokalnie?

Krótko: w wersji, której używamy, potrzebne są dwie jednostki DGX Spark. Na jednej zmieści się dopiero mocno skompresowany GGUF — według jego autorów, bo sami go nie uruchamialiśmy.

DeepSeek V4 Flash GGUF — czym różni się od naszej drogi

Unsloth publikuje DeepSeek-V4-Flash-GGUF w kilku stopniach kompresji i do uruchomienia odsyła do llama.cpp budowanego z głównego repozytorium. Według Unsloth DSpark w tej drodze potrzebuje ok. 10 GB więcej, dlatego na maszynie ze 128 GB zaleca IQ3_XXS z modułem spekulacyjnym w Q8_0 wg źródła.

Różnice wobec naszej konfiguracji są dwie: 3 bity na wagę zamiast FP8 oraz llama.cpp zamiast vLLM, czyli inny silnik, inne zachowanie przy wielu rozmowach naraz i inne narzędzia. Ani prędkości, ani jakości GGUF nie mierzyliśmy, więc nie porównujemy ich z naszymi liczbami. Jeśli masz jeden DGX Spark, to jest droga do sprawdzenia; jeśli dwa — pełniejsza wersja z vLLM opisana niżej.

Jak uruchomiliśmy DeepSeek V4 Flash na 2× DGX Spark

Klaster to dwie jednostki NVIDIA DGX Spark / ASUS Ascent GX10 z układem GB10, każda ze 128 GB pamięci zunifikowanej (system widzi 121,6 GB), razem 256 GB. Model jest dzielony między jednostki (tensor parallel = 2). Na klastrze działa jeden duży model naraz, przełączany z panelu w kilka minut. Wszystkie aplikacje pytają o jedną wspólną nazwę modelu, więc zmiana modelu nie wymaga zmian w aplikacjach. Jak łączy się jednostki i jak skalować klaster, opisujemy na stronie o klastrze DGX Spark.

Klaster 2× DGX Spark z DeepSeek V4 Flash

Ten sam model podzielony na dwie jednostki. Stan z pomiarów (sierpień 2026).

JEDNOSTKA 1 · GB10 · 128 GB

79,2 GiB — połowa wag DeepSeek V4 Flash

pamięć podręczna KV dla rozmów

ok. 11 GB — czat, brama API, agenci

QSFP56 · 200 Gb/s

RDMA (RoCE) · NCCL · TP=2

JEDNOSTKA 2 · GB10 · 128 GB

79,2 GiB — druga połowa wag

pamięć podręczna KV dla rozmów

zapas pamięci ≥ ok. 10 GB

Konfigurację oparliśmy na publicznych przepisach społeczności: przepisie MiaAI-Lab dla 2× DGX Spark i obrazie vLLM z obsługą DSpark od Anemll (linki w źródłach). Skryptów ani szczegółów naszej sieci nie publikujemy — przepisy mają wszystko, czego potrzeba do startu. Kluczowe ustawienia:

Jak mierzymy

• Mediana z 6 powtórzeń, po 3 zapytaniach rozgrzewkowych — nigdy zaraz po starcie, bo pierwsze zapytania kompilują kernele.
• Temperatura 0,6, odpowiedź 400–500 tokenów, osobno proza, kod i JSON.
• Rozrzut pojedynczych przebiegów sięga 42% przy identycznej konfiguracji (np. 37,9 i 65,3 tok/s) — dlatego podajemy medianę, a nie najlepszy wynik.
• Ciekawostka: przy dekodowaniu spekulatywnym temperatura 0,6 jest szybsza niż 0 (65,0 wobec 47,1 tok/s). Przy próbkowaniu weryfikacja akceptuje więcej tokenów zaproponowanych przez moduł.

Wyniki: ile tokenów na sekundę daje DeepSeek V4 Flash na DGX Spark

W codziennej pracy (profil 262K, akceptacja spekulacji ok. 39%) DeepSeek V4 Flash generuje 44–53 tokeny na sekundę w jednej rozmowie. W kontrolowanej serii z 19.08 mediana na prozie wyniosła 63,5–65,0 tok/s. W profilu długim (okno 900 tys. tokenów) — ok. 42 tok/s zmierzone u nas.

Ile tokenów spekulacji: 5, nie 7

Przepis vLLM uruchamia DSpark z 7 tokenami naprzód. Na GB10 sprawdziliśmy 2, 3, 5 i 7 — optimum to 5. Przy 7 akceptacja na prozie spada do 27,2%: moduł zgaduje za daleko i większość propozycji idzie do kosza. Siódemka wygrywa tylko na kodzie, który jest bardziej przewidywalny.

Skan liczby tokenów spekulacji

tok/s i akceptacja, mediana z 6 · zmierzone u nas 19.08.2026 · klaster 2× DGX Spark, aplikacje obok · ■ proza ■ kod

2 tokeny

proza

49,9akceptacja 75,5%

kod

54,3akceptacja 87,0%

3 tokeny

proza

41,8akceptacja 47,9%

kod

50,2akceptacja 63,8%

5 tokenów — nasze ustawienie

proza

63,5akceptacja 56,4%

kod

53,3akceptacja 47,8%

7 tokenów — jak w przepisie vLLM

proza

42,8akceptacja 27,2%

kod

58,7akceptacja 48,5%

Prędkość zależy od treści

Ten sam model, ta sama konfiguracja, różne zadania. Im bardziej przewidywalny tekst, tym więcej tokenów z modułu spekulacyjnego przechodzi weryfikację i tym szybciej powstaje odpowiedź. Najwolniej idą wyliczanki faktów, bo każdy kolejny fakt jest trudny do zgadnięcia.

Prędkość wg rodzaju treści

tok/s, jedna rozmowa, DSpark 5 tokenów · zmierzone u nas 18.08.2026 · klaster 2× DGX Spark, aplikacje obok

kod

56,3akceptacja 52,4%

matematyka

54,9akceptacja 45,7%

proza

47,3akceptacja 37,3%

wyliczanki faktów

42,7akceptacja 32,7%

Kilka rozmów naraz

Przy kilku rozmowach jednocześnie każda dostaje mniej, ale łączna przepustowość rośnie. Przy sześciu rozmowach klaster oddaje 153,5 tokenu na sekundę łącznie. To pojedyncza seria pomiarowa z 18.08, więc traktujemy ją orientacyjnie.

Łączna przepustowość przy kilku rozmowach

tok/s łącznie · zmierzone u nas 18.08.2026, pojedyncza seria · klaster 2× DGX Spark, aplikacje obok

2 rozmowy

127

4 rozmowy

137,5

6 rozmów

153,5

Długi kontekst: wczytywanie ok. 2 300 tokenów na sekundę

Rzadko podawana, a w pracy z dokumentami najważniejsza liczba: jak szybko model wczytuje wejście. DeepSeek V4 Flash robi to w tempie ok. 2 300 tok/s i rośnie to liniowo z długością — dokument na 100 tys. tokenów zaczyna odpowiedź po ok. 43 sekundach. Druga tura rozmowy jest dużo szybsza: pamięć podręczna prefiksu trafiła w 98,7% przypadków, więc pętla agentowa przelicza tylko to, co doszło.

Czas wczytania wejścia

sekundy do rozpoczęcia odpowiedzi · zmierzone u nas (100K i 250K wyliczone z tempa ~2 300 tok/s) · klaster 2× DGX Spark

16K tokenów

7,9 s

64K tokenów

25,7 s

100K tokenów

≈43 s

192K tokenów

81,8 s

250K tokenów

≈1:48

Co ogranicza prędkość na GB10

• Przepustowość pamięci, nie moc obliczeniowa. GPU jest zajęte w 84–95%, a pobiera tylko 30–35 W — czeka na dane z pamięci.
• Łącze 200 Gb/s nie jest wąskim gardłem. Przy generowaniu zajęte w 1,66% (3,32 Gb/s). Drugi kabel nic nie da.
• Bez throttlingu. Zegar stały 2 398–2 405 MHz, 60–64 °C.
• Strojenie, które nic nie dało: MTU 9000, inne liczby tokenów spekulacji niż 5, expert parallel (nie startuje z używanym backendem MoE), zmiana swappiness. Domyślna receptura była optymalna — to też informacja.

Jakość: testy kontrolne i prawdziwe dokumenty

Najpierw zestaw kontrolny: 26 zadań w ośmiu kategoriach, sprawdzanych automatycznie (kod uruchamiany z asercjami). DeepSeek V4 Flash zaliczył wszystkie zmierzone u nas 19.08. To siatka bezpieczeństwa, która wyłapuje zepsutą konfigurację, a nie miara klasy modelu.

Zestaw kontrolny: 26/26

zmierzone u nas 19.08.2026

4/4

rozumowanie — namysł rośnie z trudnością: 302 → 1 371 znaków

4/4

matematyka

3/3

długi kontekst — igła przy 8K, 60K i 180K (180K w 27,4 s)

3/3

narzędzia — także powstrzymanie się od zbędnego wywołania

2/2

format — czysty JSON, dokładnie 5 linii

4/4

asertywność — odrzucił fałszywe założenia

4/4

kod — uruchamiany z asercjami

2/2

język polski

Asertywność to test, który lubimy najbardziej: model dostaje pytanie z fałszywym założeniem i ma je odrzucić, zamiast grzecznie odpowiadać. DeepSeek nie dał się przekonać, że stolicą Australii jest Sydney, że 17 jest liczbą parzystą, że woda wrze w 90 °C ani że dzielenie przez zero jest „normalne”.

Prawdziwe dokumenty

Zmierzone u nas 19.08.2026. Czasy: 92 tys. tokenów — wczytanie ok. 60 s, namysł 15 s, odpowiedź 8 s; 120 tys. — ok. 2 min, 20 s i 60 s.

Oba błędy przy AI Act sprawdziliśmy u źródła. Model uznał, że wyłączenie open-source z art. 53 ust. 2 zwalnia z całego art. 53 — a zwalnia tylko z ust. 1 lit. a i b. Wskazał też obowiązek rejestracji modelu ogólnego przeznaczenia w bazie UE, choć art. 49 i 71 dotyczą wyłącznie systemów wysokiego ryzyka z załącznika III. Wniosek: DeepSeek V4 Flash jest mocniejszy na liczbach niż na prawie. Przy pracy z przepisami wymuszaj cytaty („podaj numer artykułu i ustępu”).

Agent programistyczny

Model dostał narzędzia do plików i piaskownicę do uruchamiania kodu, a potem trzy zadania:

Pomogły dwie zmiany: większy kontekst agenta (z 30 400 do 200 000 tokenów) i jedna reguła w instrukcji: „jeśli test nie przechodzi, zakładaj błąd w kodzie, nie w teście”. Potem nie było już ani jednego naginania testów. Trwałość kvstore: 50/50 zapisów przetrwało brutalne zabicie procesu, 600/600 kluczy przy czterech wątkach piszących jednocześnie.

Do pracy agentowej DeepSeek udostępnił też oficjalną uprząż dsh (MIT, developer preview z 13.08.2026): czyta i zapisuje pliki, uruchamia polecenia i sam domyka pętlę „uruchom → błąd → popraw”. Izoluje agenta na poziomie jądra (sprawdziliśmy próbą: nie zapisze nic poza swoim katalogiem), a narzut to ok. 150 MB. Uwaga: telemetria domyślnie wysyła log sesji przy poleceniu /feedback — przy każdym wdrożeniu ją wyłączamy.

Ciche pułapki: co kosztowało nas najwięcej czasu

Żadna z tych rzeczy nie kończy się czytelnym błędem. Model działa, tylko źle — i łatwo uznać, że „jest słaby”.

• Plik generation_config.json w wagach narzuca temperaturę 1,0 i top_p 1,0. Model potrafił wtedy „zjechać” w HTML albo składnię wikitekstu. Ustawiliśmy 0,6 i 0,95. Objaw wygląda jak „głupi model”, a to tylko próbkowanie.
• Namysł wraca z vLLM w polu reasoning, nie reasoning_content. Aplikacja, która czyta tylko drugie pole, pokazuje, że model „nie myśli”.
• earlyoom ubijał vLLM przy dużym kontekście — wyłączyliśmy go.
• Expert parallel nie startuje z backendem MoE flashinfer_b12x.
• GB10 przy braku pamięci zawiesza się, zamiast zabić proces. Ping działa, SSH nie, pomaga tylko przycisk zasilania — zgłaszają to też inni użytkownicy. Dlatego na każdej jednostce trzymamy co najmniej ok. 10 GB wolnego, a gpu-memory-utilization ustawiamy niżej niż przepisy.
• Zła karta RDMA to cicha strata ok. 40% wydajności. Jednostka ma kilka urządzeń RDMA, a pierwsze z listy zwykle jest niewłaściwe. Przypisujemy je po fizycznym porcie, do którego wpięty jest kabel.

Licencja: czy DeepSeek V4 Flash można używać komercyjnie?

Tak. Repozytorium i wagi są na licencji MIT — jednej z najluźniejszych: wolno używać komercyjnie, modyfikować i udostępniać model klientom, z zachowaniem informacji o licencji. Dla firmy, która chce udostępniać model klientom albo partnerom, to najprostsza możliwa sytuacja — tak samo jak przy GLM 5.3 Flash, a inaczej niż przy Qwen3.8-Flash-Next, którego licencja wymaga osobnej umowy przy udostępnianiu modelu stronom trzecim. Uprząż dsh też jest na MIT.

DeepSeek V4 Flash na tle GLM 5.3 Flash i Qwen3.8-Flash-Next

Na tym samym klastrze i tą samą metodą zmierzyliśmy też GLM 5.3 Flash i Qwen3.8-Flash-Next (we wrześniu i październiku; DeepSeek w sierpniu, więc porównujemy ostrożnie). DeepSeek najszybciej wczytuje długie dokumenty (ok. 2 300 tok/s wobec ok. 1 240–1 690 u GLM) i jest najlepiej przetestowany na dokumentach i w pracy agentowej. Qwen3.8-Flash-Next najszybciej zaczyna odpowiadać (142–161 ms do pierwszego tokenu) i zostawia najwięcej wolnej pamięci (24–26 GB na jednostkę); przy sześciu rozmowach naraz oba modele dochodzą łącznie do ok. 150 tok/s. GLM 5.3 Flash na vLLM jest najwolniejszy (24,3 tok/s na prozie), choć według producenta jest mocniejszy w kodzie i pracy agentowej. Do udostępniania modelu klientom DeepSeek i GLM mają najprostszą licencję — MIT. Pełne zestawienie trzech modeli, z wykresami i siedmioma lekcjami z uruchamiania: DeepSeek V4, GLM 5.3 czy Qwen 3.8 na DGX Spark.

Najczęstsze pytania o DeepSeek V4 Flash

Czy DeepSeek V4 Flash da się uruchomić lokalnie?

Tak. Uruchomiliśmy go na klastrze dwóch jednostek DGX Spark / ASUS GX10 połączonych kablem QSFP56 200 Gb/s, w silniku vLLM z modułem spekulacyjnym DSpark. W codziennej pracy generuje 44–53 tokeny na sekundę w jednej rozmowie, a przy sześciu rozmowach naraz łącznie ok. 150 tokenów na sekundę.

Ile pamięci potrzebuje DeepSeek V4 Flash? Czy zmieści się na jednym DGX Spark?

Checkpoint z modułem DSpark, którego używamy, zajmuje 156 GB na dysku, a przy podziale na dwie jednostki 79,2 GiB wag na każdą — potrzebne są dwie jednostki po 128 GB. Według Unsloth 3-bitowy GGUF UD-IQ3_XXS (ok. 103 GB) mieści się na maszynie ze 128 GB, czyli teoretycznie na jednym DGX Spark. Tej wersji nie testowaliśmy.

Ile tokenów na sekundę daje DeepSeek V4 Flash na DGX Spark?

Na naszym klastrze 2× DGX Spark: 44–53 tok/s w codziennej pracy, mediana 63,5–65,0 tok/s na prozie w kontrolowanej serii pomiarów (19.08.2026) i 153,5 tok/s łącznie przy sześciu rozmowach naraz. Długie wejście wczytuje w tempie ok. 2 300 tok/s, więc dokument na 100 tys. tokenów zaczyna odpowiedź po ok. 43 sekundach.

Czy DeepSeek V4 Flash można używać komercyjnie?

Tak. Repozytorium i wagi DeepSeek V4 Flash są na licencji MIT, która dopuszcza użycie komercyjne, także udostępnianie modelu klientom.

Jak DeepSeek V4 Flash radzi sobie z dokumentami prawnymi?

W naszym teście na pełnym tekście AI Act (ok. 120 tys. tokenów) popełnił 2 błędy na ok. 25 twierdzeń prawnych: przecenił zakres wyłączenia open-source z art. 53 i przypisał modelom ogólnego przeznaczenia obowiązek rejestracji, który dotyczy systemów wysokiego ryzyka. Na liczbach był bezbłędny. Przy pracy z prawem warto wymuszać cytaty z numerem artykułu.

Źródła

• DeepSeek, karty modeli na Hugging Face: DeepSeek-V4-Flash (284 mld / 13 mld aktywnych, okno 1 mln, MIT, wersja preview), DeepSeek-V4-Flash-0731, DeepSeek-V4-Flash-DSpark i DeepSeek-V4.1-Flash.
• vLLM Recipes, DeepSeek-V4-Flash-0731 — DSpark od vLLM 0.25.0, konfiguracja z 7 tokenami, dwie jednostki DGX Spark z tensor parallel 2, parsery deepseek_v4.
• MiaAI-Lab, przepis DeepSeek V4 Flash z DSpark na 2× DGX Spark.
• Anemll, dspark-vllm-gx10 — obraz vLLM z obsługą DSpark dla DGX Spark / GX10.
• Forum NVIDIA, uruchamianie DeepSeek V4 Flash z DSpark na DGX Spark.
• DeepLearning.AI, DeepSeek's DSpark Gains Velocity (10.07.2026) — jak działa DSpark, przyspieszenie 60–85% względem MTP-1.
• Unsloth, DeepSeek-V4-Flash-GGUF i instrukcja uruchomienia — UD-IQ3_XXS ok. 103 GB, zalecane co najmniej 110 GB pamięci, DSpark w llama.cpp.
• Rozporządzenie (UE) 2024/1689 (AI Act) — art. 49, 53 i 71 oraz załącznik III, wobec których sprawdzaliśmy odpowiedzi modelu.
• Pomiary i testy: własne, klaster ailone 2× DGX Spark / ASUS GX10, 18–19.08.2026.

Stan na 11.10.2026. Silniki i obrazy zmieniają się co tydzień — liczby dotyczą konfiguracji opisanej wyżej. Pomiary to mediany z jednej serii, z aplikacjami działającymi obok.