Provozujte modely třídy 70B až 120B ve 128 GB sjednocené paměti
DGX Spark má 128 GB paměti sdílené jeho CPU a GPU, takže modely, které by se nikdy nevešly na grafickou kartu s 24 nebo 32 GB, se načtou v celku. Vejít se ale neznamená být rychlý. Paměť přenáší 273 GB/s a každý vygenerovaný token jednou přečte aktivní váhy modelu. Na jednom z mých Sparků generoval hustý Llama 3.3 70B 6,0 tokenu za sekundu pro jeden požadavek. Model typu mixture-of-experts čte na token jen část svých vah: gpt-oss-120b dosahuje na stejném čipu uváděných 58,7 tok/s. Vyberte model podle propustnosti a pak si pronajměte Spark na tolik hodin, kolik potřebujete.
První dobití: zaplaťte 20 $, získejte 30 $ kreditu, zhruba 37 hodin na jednom Sparku. Účtováno po minutách z předplaceného kreditu. Po dokončení instanci ukončete a účtování skončí.
Co se vejde a jak rychle běží jeden požadavek
| Model a formát | Čteno na token | Jeden požadavek | Zdroj |
|---|---|---|---|
| Qwen3-Coder 30B-A3B, AWQ 4bit | zhruba 3B parametrů | 80,9 tok/s | Moje měření, vLLM 0.27.1, 2. 9. 2026 (nezpracovaný log) |
| gpt-oss-120b, MXFP4 | 5,1B ze 117B | 58,7 tok/s | Uváděno: výsledky llama.cpp na DGX Sparku, build 7941, 5. 2. 2026 |
| gpt-oss-120b, MXFP4 | 5,1B ze 117B | 33,5 tok/s | Uváděno: Dendro Logic, vLLM, prompty o 1 500 tokenech a výstup v JSON, 22. 4. 2026 |
| Nemotron-3-Super-120B-A12B, NVFP4 | 12B ze 120B | zhruba 24 tok/s | Uváděno: fórum NVIDIA, vLLM s opravou CUTLASS, 29. 3. 2026 |
| Llama 3.3 70B, AWQ 4bit | všech 70B (hustý) | 6,0 tok/s | Moje měření, vLLM 0.27.1, 2. 9. 2026 (nezpracovaný log) |
| Nemotron Super 49B v1.5, NVFP4 | všech 49B (hustý) | 5,79 tok/s | Uváděno: Dendro Logic, 22. 4. 2026 |
| Qwen3-235B-A22B, UD-Q4_K_XL (134 GB) | 22B z 235B | zhruba 1,8 tok/s; nevejde se | Uváděno: fórum NVIDIA, llama.cpp, 17. 12. 2025 |
Řádky „Uváděno“ jsou měření jiných lidí, která jsem 11. října 2026 shromáždil a ověřil podle jejich zdrojů pro stránku s benchmarky; sám jsem je nezopakoval. Dva řádky gpt-oss-120b ukazují, jak moc engine a zátěž posunou jeden model na jednom čipu. Počty parametrů gpt-oss-120b pocházejí z jeho model card, přes kalkulačku paměti.
Proč je hustý 70B pomalý a 120B MoE ne
Vygenerovat token znamená jednou přečíst aktivní váhy z paměti, takže strop je propustnost paměti dělená počtem bajtů přečtených na token:
tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token Llama 3.3 70B, 4-bit: about 37 GB per token → about 7.4 tok/s (measured 6.0) gpt-oss-120b, MXFP4: about 3 GB per token → about 90 tok/s (reported 58.7)
Skutečné enginy dosahují zhruba poloviny až čtyř pětin stropu. Pod zhruba 10 tok/s působí model v chatovacím okně pomalu, a proto je hustý 70B na jednom Sparku model pro dávkové úlohy: se 128 souběžnými požadavky dosáhl můj běh s 70B celkem 485 tok/s, včetně tokenů promptu i vygenerovaných, ale každý požadavek se zpomalil na 1,4 tok/s. Úplné křivky souběhu jsou na stránce s benchmarky.
Co bych provozoval já
- Model třídy 120B, se kterým si můžete povídat: gpt-oss-120b v MXFP4. Váhy mají 65,2 GB, což nechává prostor pro dlouhý kontext, a na jeden token čte zhruba 5B parametrů.
- Rychlost na prvním místě: model Qwen3 mixture-of-experts ve 4 bitech, například Qwen3-30B-A3B nebo Qwen3.6-35B-A3B. Ty na token čtou zhruba 3B parametrů.
- Hustý model 70B: jen pro dávkové úlohy nebo když potřebujete přesně tento model. Počítejte zhruba se 6 tok/s na požadavek.
- Kvantizujte na 4 bity. MXFP4, NVFP4, AWQ nebo Q4_K_M sníží počet bajtů na token na polovinu oproti FP8 a strop zhruba zdvojnásobí. Dopad na kvalitu se liší podle formátu; průvodce rychlostí kvantizací je srovnává na tomto čipu.
- Nad 128 GB: dva propojené Sparky, za 1,79 $ za hodinu za dvouuzlový cluster, když ho konzole nabízí. Výše uvedená zpráva o Qwen3-235B uvádí nárůst ze zhruba 1,8 tok/s na jednom Sparku na zhruba 12,5 na dvou. Průvodce dvěma uzly popisuje, co spárování přinese.
Spuštění gpt-oss-120b s llama.cpp
Pro jednoho uživatele najednou je na tomto čipu rychlejším enginem llama.cpp. Nasaďte DGX Spark 1× s image DGX OS, otevřete terminál v prohlížeči, sestavte llama.cpp pro GB10 (5 až 10 minut) a spusťte model. Kroky sestavení jsou stejné jako v mém návodu k llama.cpp.
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # downloads about 65 GB the first time ./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \ --host 127.0.0.1 --port 30000
Když log hlásí, že server naslouchá, změřte vlastní rychlost z druhého terminálu. llama-server vrací s každou odpovědí své časy:
curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
| python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'
Stahování běží v placeném čase, takže ho spusťte jako první a čtěte, zatímco se načítá. Abyste se k serveru dostali z notebooku, použijte SSH tunel s vlastním klíčem, nebo ho spusťte s --host 0.0.0.0 --api-key a dlouhým náhodným klíčem: každá instance má vlastní veřejnou adresu IPv4. Pro více uživatelů najednou vLLM lépe dávkuje; průvodce vLLM obsahuje výpočet paměti pro sjednocenou paměť.
Omezení, která je dobré znát předem
- gpt-oss-120b jsem na své flotile neměřil. Jeho čísla výše jsou uváděná a vaše prompty skončí jinde. Než budete s nějakým údajem plánovat, změřte si ho.
- Dlouhé prompty jsou na velkých hustých modelech pomalé. Můj běh s 70B četl prompt o 8 192 tokenech rychlostí 391 tok/s, tedy zhruba 21 sekund do prvního tokenu.
- Kvantizace stojí kvalitu. 4bitový model není model v plné přesnosti. Kontrolujte odpovědi na vlastních promptech.
- Spark je ARM64 s GPU sm_121. Enginy a balíčky Pythonu pro něj potřebují buildy pro aarch64 a prosté
pip install vllmse může nainstalovat bez chyby a pak se nespustit; průvodce vLLM tuto past vysvětluje. - Běží v kontejneru. Na mnoha Sparcích má vlastní démon Dockeru, takže kontejnery výrobců pro arm64 běží; ostatní spouštějí prostý kontejner bez Dockeru, kde je cestou nativní build výše. Vybrat si nemůžete.
- Bez SLA a bez záloh. Modely stažené mimo
/workspacese při přestavbě ztratí a ukončení smaže vše.
Cena a kde Sparky jsou
0,79 $ za hodinu za jeden Spark, účtováno po minutách z předplaceného kreditu: 6,32 $ za osmihodinový den. První dobití: zaplaťte 20 $, získejte 30 $ kreditu. Zastavená instance si ponechá pracovní prostor a účtuje se 75 % hodinové sazby. Po dokončení instanci ukončete a účtování skončí; tím se pracovní prostor smaže. Ceny jsou uvedeny bez DPH, pokud se uplatňuje.
Moje vlastní Sparky jsou v datacentru v Hradci Králové v Česku. Partnerské Sparky, které vlastní a ve svých prostorách hostují partneři, jsou v USA, Švédsku, Nizozemsku, na Slovensku a v Hongkongu; partner má ke svému stroji fyzický přístup. Konzole před nasazením ukáže zemi a zda je v EHP. Každé umístění nabízí výše použité image DGX OS a Ubuntu.
Kdo to provozuje
GPUwerk je nový. Provozuji ho já, Samuel Seidel, prostřednictvím PRINT IT! SE, firmy se sídlem v Praze. K 9. listopadu 2026 spustilo od září 94 vývojářů 374 instancí. Aktuální stav najdete na status.gpuwerk.com a přes kontaktní stránku se dostanete přímo ke mně, pokud si chcete před pronájmem ověřit model.
FAQ
Zvládne DGX Spark model 70B?
Ano. Llama 3.3 70B v AWQ 4bit má zhruba 37 GiB vah a vejde se s rezervou, ale na jednom z mých Sparků generoval 6,0 tokenu za sekundu pro jeden požadavek (vLLM 0.27.1, 2. září 2026). To se hodí spíš pro dávkové úlohy než pro chat.
Vejde se gpt-oss-120b na jeden DGX Spark?
Ano. Jeho váhy MXFP4 mají celkem 65,2 GB a na token čte zhruba 5,1B parametrů. Správci llama.cpp uvádějí 58,7 tok/s pro jeden požadavek; Dendro Logic uvádí 33,5 ve vLLM s delšími prompty a výstupem v JSON. Na své flotile jsem ho neměřil.
A co modely větší než 128 GB?
Potřebují dva propojené Sparky. Build Qwen3-235B-A22B o velikosti 134 GB běžel podle zprávy na vývojářském fóru NVIDIA zhruba 1,8 tok/s na jednom Sparku a zhruba 12,5 na dvou. Dvouuzlový cluster GPUwerk stojí 1,79 $ za hodinu, když ho konzole nabízí.
Kolik stojí vyzkoušet velký model?
0,79 $ za hodinu za jeden Spark, účtováno po minutách z předplaceného kreditu; první stahování i sestavení llama.cpp se do účtovaného času počítají. První dobití: zaplaťte 20 $, získejte 30 $ kreditu, zhruba na 37 hodin. Po dokončení instanci ukončete a účtování skončí.