DGX Spark/Velké modely
Případ použití · Velké modely

Provozujte modely třídy 70B až 120B ve 128 GB sjednocené paměti

Autor: Samuel Seidel · Aktualizováno 10. listopadu 2026 · 7 min čtení

DGX Spark má 128 GB paměti sdílené jeho CPU a GPU, takže modely, které by se nikdy nevešly na grafickou kartu s 24 nebo 32 GB, se načtou v celku. Vejít se ale neznamená být rychlý. Paměť přenáší 273 GB/s a každý vygenerovaný token jednou přečte aktivní váhy modelu. Na jednom z mých Sparků generoval hustý Llama 3.3 70B 6,0 tokenu za sekundu pro jeden požadavek. Model typu mixture-of-experts čte na token jen část svých vah: gpt-oss-120b dosahuje na stejném čipu uváděných 58,7 tok/s. Vyberte model podle propustnosti a pak si pronajměte Spark na tolik hodin, kolik potřebujete.

První dobití: zaplaťte 20 $, získejte 30 $ kreditu, zhruba 37 hodin na jednom Sparku. Účtováno po minutách z předplaceného kreditu. Po dokončení instanci ukončete a účtování skončí.

Co se vejde a jak rychle běží jeden požadavek

Model a formátČteno na tokenJeden požadavekZdroj
Qwen3-Coder 30B-A3B, AWQ 4bitzhruba 3B parametrů80,9 tok/sMoje měření, vLLM 0.27.1, 2. 9. 2026 (nezpracovaný log)
gpt-oss-120b, MXFP45,1B ze 117B58,7 tok/sUváděno: výsledky llama.cpp na DGX Sparku, build 7941, 5. 2. 2026
gpt-oss-120b, MXFP45,1B ze 117B33,5 tok/sUváděno: Dendro Logic, vLLM, prompty o 1 500 tokenech a výstup v JSON, 22. 4. 2026
Nemotron-3-Super-120B-A12B, NVFP412B ze 120Bzhruba 24 tok/sUváděno: fórum NVIDIA, vLLM s opravou CUTLASS, 29. 3. 2026
Llama 3.3 70B, AWQ 4bitvšech 70B (hustý)6,0 tok/sMoje měření, vLLM 0.27.1, 2. 9. 2026 (nezpracovaný log)
Nemotron Super 49B v1.5, NVFP4všech 49B (hustý)5,79 tok/sUváděno: Dendro Logic, 22. 4. 2026
Qwen3-235B-A22B, UD-Q4_K_XL (134 GB)22B z 235Bzhruba 1,8 tok/s; nevejde seUváděno: fórum NVIDIA, llama.cpp, 17. 12. 2025

Řádky „Uváděno“ jsou měření jiných lidí, která jsem 11. října 2026 shromáždil a ověřil podle jejich zdrojů pro stránku s benchmarky; sám jsem je nezopakoval. Dva řádky gpt-oss-120b ukazují, jak moc engine a zátěž posunou jeden model na jednom čipu. Počty parametrů gpt-oss-120b pocházejí z jeho model card, přes kalkulačku paměti.

Proč je hustý 70B pomalý a 120B MoE ne

Vygenerovat token znamená jednou přečíst aktivní váhy z paměti, takže strop je propustnost paměti dělená počtem bajtů přečtených na token:

tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token

Llama 3.3 70B, 4-bit:  about 37 GB per token  → about 7.4 tok/s   (measured 6.0)
gpt-oss-120b, MXFP4:   about 3 GB per token   → about 90 tok/s    (reported 58.7)

Skutečné enginy dosahují zhruba poloviny až čtyř pětin stropu. Pod zhruba 10 tok/s působí model v chatovacím okně pomalu, a proto je hustý 70B na jednom Sparku model pro dávkové úlohy: se 128 souběžnými požadavky dosáhl můj běh s 70B celkem 485 tok/s, včetně tokenů promptu i vygenerovaných, ale každý požadavek se zpomalil na 1,4 tok/s. Úplné křivky souběhu jsou na stránce s benchmarky.

Co bych provozoval já

Spuštění gpt-oss-120b s llama.cpp

Pro jednoho uživatele najednou je na tomto čipu rychlejším enginem llama.cpp. Nasaďte DGX Spark 1× s image DGX OS, otevřete terminál v prohlížeči, sestavte llama.cpp pro GB10 (5 až 10 minut) a spusťte model. Kroky sestavení jsou stejné jako v mém návodu k llama.cpp.

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# downloads about 65 GB the first time
./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \
  --host 127.0.0.1 --port 30000

Když log hlásí, že server naslouchá, změřte vlastní rychlost z druhého terminálu. llama-server vrací s každou odpovědí své časy:

curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
  | python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'

Stahování běží v placeném čase, takže ho spusťte jako první a čtěte, zatímco se načítá. Abyste se k serveru dostali z notebooku, použijte SSH tunel s vlastním klíčem, nebo ho spusťte s --host 0.0.0.0 --api-key a dlouhým náhodným klíčem: každá instance má vlastní veřejnou adresu IPv4. Pro více uživatelů najednou vLLM lépe dávkuje; průvodce vLLM obsahuje výpočet paměti pro sjednocenou paměť.

Omezení, která je dobré znát předem

Cena a kde Sparky jsou

0,79 $ za hodinu za jeden Spark, účtováno po minutách z předplaceného kreditu: 6,32 $ za osmihodinový den. První dobití: zaplaťte 20 $, získejte 30 $ kreditu. Zastavená instance si ponechá pracovní prostor a účtuje se 75 % hodinové sazby. Po dokončení instanci ukončete a účtování skončí; tím se pracovní prostor smaže. Ceny jsou uvedeny bez DPH, pokud se uplatňuje.

Moje vlastní Sparky jsou v datacentru v Hradci Králové v Česku. Partnerské Sparky, které vlastní a ve svých prostorách hostují partneři, jsou v USA, Švédsku, Nizozemsku, na Slovensku a v Hongkongu; partner má ke svému stroji fyzický přístup. Konzole před nasazením ukáže zemi a zda je v EHP. Každé umístění nabízí výše použité image DGX OS a Ubuntu.

Kdo to provozuje

GPUwerk je nový. Provozuji ho já, Samuel Seidel, prostřednictvím PRINT IT! SE, firmy se sídlem v Praze. K 9. listopadu 2026 spustilo od září 94 vývojářů 374 instancí. Aktuální stav najdete na status.gpuwerk.com a přes kontaktní stránku se dostanete přímo ke mně, pokud si chcete před pronájmem ověřit model.

FAQ

Zvládne DGX Spark model 70B?

Ano. Llama 3.3 70B v AWQ 4bit má zhruba 37 GiB vah a vejde se s rezervou, ale na jednom z mých Sparků generoval 6,0 tokenu za sekundu pro jeden požadavek (vLLM 0.27.1, 2. září 2026). To se hodí spíš pro dávkové úlohy než pro chat.

Vejde se gpt-oss-120b na jeden DGX Spark?

Ano. Jeho váhy MXFP4 mají celkem 65,2 GB a na token čte zhruba 5,1B parametrů. Správci llama.cpp uvádějí 58,7 tok/s pro jeden požadavek; Dendro Logic uvádí 33,5 ve vLLM s delšími prompty a výstupem v JSON. Na své flotile jsem ho neměřil.

A co modely větší než 128 GB?

Potřebují dva propojené Sparky. Build Qwen3-235B-A22B o velikosti 134 GB běžel podle zprávy na vývojářském fóru NVIDIA zhruba 1,8 tok/s na jednom Sparku a zhruba 12,5 na dvou. Dvouuzlový cluster GPUwerk stojí 1,79 $ za hodinu, když ho konzole nabízí.

Kolik stojí vyzkoušet velký model?

0,79 $ za hodinu za jeden Spark, účtováno po minutách z předplaceného kreditu; první stahování i sestavení llama.cpp se do účtovaného času počítají. První dobití: zaplaťte 20 $, získejte 30 $ kreditu, zhruba na 37 hodin. Po dokončení instanci ukončete a účtování skončí.

První dobití: zaplaťte 20 $, získejte 30 $ kreditu

Načtěte model 120B na vlastním Sparku.

Dedikovaný DGX Spark se 128 GB sjednocené paměti, 0,79 $/h účtováno po minutách. Po dokončení instanci ukončete a účtování skončí.

Nasadit hned