Spúšťajte modely triedy 70B až 120B v 128 GB zjednotenej pamäte
DGX Spark má 128 GB pamäte zdieľanej jeho CPU a GPU, takže modely, ktoré by sa nikdy nezmestili na grafickú kartu s 24 alebo 32 GB, sa načítajú v celku. Zmestiť sa však neznamená byť rýchly. Pamäť prenáša 273 GB/s a každý vygenerovaný token raz prečíta aktívne váhy modelu. Na jednom z mojich Sparkov generoval hustý Llama 3.3 70B 6,0 tokenu za sekundu pri jednej požiadavke. Model typu mixture-of-experts číta na token len časť svojich váh: gpt-oss-120b dosahuje podľa správ na rovnakom čipe 58,7 tok/s. Vyberte model podľa priepustnosti a potom si prenajmite Spark na toľko hodín, koľko potrebujete.
Prvé dobitie: zaplatíte 20 $, dostanete 30 $ kreditu, asi 37 hodín na jednom Sparku. Účtované po minútach z predplateného kreditu. Keď skončíte, inštanciu ukončite a účtovanie sa skončí.
Čo sa zmestí a ako rýchlo beží jedna požiadavka
| Model a formát | Načítané na token | Jedna požiadavka | Zdroj |
|---|---|---|---|
| Qwen3-Coder 30B-A3B, AWQ 4-bit | asi 3B parametrov | 80,9 tok/s | Môj beh, vLLM 0.27.1, 2. 9. 2026 (surový log) |
| gpt-oss-120b, MXFP4 | 5,1B zo 117B | 58,7 tok/s | Uvádzané: výsledky llama.cpp na DGX Sparku, build 7941, 5. 2. 2026 |
| gpt-oss-120b, MXFP4 | 5,1B zo 117B | 33,5 tok/s | Uvádzané: Dendro Logic, vLLM, prompty s 1 500 tokenmi a výstup JSON, 22. 4. 2026 |
| Nemotron-3-Super-120B-A12B, NVFP4 | 12B zo 120B | asi 24 tok/s | Uvádzané: fórum NVIDIA, vLLM s opravou CUTLASS, 29. 3. 2026 |
| Llama 3.3 70B, AWQ 4-bit | všetkých 70B (hustý) | 6,0 tok/s | Môj beh, vLLM 0.27.1, 2. 9. 2026 (surový log) |
| Nemotron Super 49B v1.5, NVFP4 | všetkých 49B (hustý) | 5,79 tok/s | Uvádzané: Dendro Logic, 22. 4. 2026 |
| Qwen3-235B-A22B, UD-Q4_K_XL (134 GB) | 22B z 235B | asi 1,8 tok/s; nezmestí sa | Uvádzané: fórum NVIDIA, llama.cpp, 17. 12. 2025 |
Riadky „Uvádzané“ sú merania iných ľudí, ktoré som zhromaždil a 11. októbra 2026 overil podľa ich zdrojov pre stránku s benchmarkami; nereprodukoval som ich. Dva riadky gpt-oss-120b ukazujú, ako veľmi engine a záťaž menia výsledok jedného modelu na jednom čipe. Počty parametrov gpt-oss-120b sú z jeho karty modelu, cez kalkulačku pamäte.
Prečo je hustý 70B pomalý a 120B MoE nie
Vygenerovanie tokenu znamená raz načítať aktívne váhy z pamäte, takže strop je priepustnosť pamäte delená počtom bajtov načítaných na token:
tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token Llama 3.3 70B, 4-bit: about 37 GB per token → about 7.4 tok/s (measured 6.0) gpt-oss-120b, MXFP4: about 3 GB per token → about 90 tok/s (reported 58.7)
Skutočné enginy sa dostanú zhruba na polovicu až štyri pätiny stropu. Pod asi 10 tok/s pôsobí model v chatovom okne pomaly, a preto je hustý 70B na jednom Sparku dávkový model: so 128 súbežnými požiadavkami dosiahol môj beh 70B spolu 485 tok/s, počítajúc tokeny promptu aj vygenerované, ale každá požiadavka sa spomalila na 1,4 tok/s. Úplné krivky súbežnosti sú na stránke s benchmarkami.
Čo by som spustil ja
- Model triedy 120B, s ktorým sa dá rozprávať: gpt-oss-120b v MXFP4. Váhy majú 65,2 GB, čo necháva miesto pre dlhý kontext, a na jeden token načíta asi 5B parametrov.
- Najprv rýchlosť: 4-bitový model Qwen3 typu mixture-of-experts, napríklad Qwen3-30B-A3B alebo Qwen3.6-35B-A3B. Tie na token čítajú asi 3B parametrov.
- Hustý model 70B: len na dávkové úlohy, alebo keď potrebujete práve tento model. Počítajte s asi 6 tok/s na požiadavku.
- Kvantizujte na 4 bity. MXFP4, NVFP4, AWQ alebo Q4_K_M znížia počet bajtov na token oproti FP8 na polovicu a zhruba zdvojnásobia strop. Dopad na kvalitu sa líši podľa formátu; návod k rýchlosti kvantizácií ich porovnáva na tomto čipe.
- Nad 128 GB: dva prepojené Sparky, za 1,79 $ za hodinu za dvojuzlový klaster, keď ho konzola ponúka. Správa o Qwen3-235B vyššie sa dostala z asi 1,8 tok/s na jednom Sparku na asi 12,5 na dvoch. Návod k dvom uzlom popisuje, čo spárovanie prinesie.
Spustite gpt-oss-120b s llama.cpp
Pre jedného používateľa naraz je na tomto čipe rýchlejším enginom llama.cpp. Nasaďte DGX Spark 1× s obrazom DGX OS, otvorte terminál v prehliadači, zostavte llama.cpp pre GB10 (5 až 10 minút) a spustite model. Kroky zostavenia sú rovnaké ako v mojom návode k llama.cpp.
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # downloads about 65 GB the first time ./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \ --host 127.0.0.1 --port 30000
Keď log hlási, že server počúva, zmerajte si vlastnú rýchlosť z druhého terminálu. llama-server vracia časové údaje s každou odpoveďou:
curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
| python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'
Sťahovanie beží na hodinách, takže ho spustite ako prvé a čítajte, kým sa načítava. Ak sa chcete k serveru dostať zo svojho notebooku, použite SSH tunel s vlastným kľúčom, alebo ho spustite s --host 0.0.0.0 --api-key a dlhým náhodným kľúčom: každá inštancia má vlastnú verejnú IPv4 adresu. Pre viacerých používateľov naraz vLLM lepšie dávkuje; návod k vLLM obsahuje výpočty pamäte pre zjednotenú pamäť.
Obmedzenia, ktoré treba poznať vopred
- gpt-oss-120b som na svojej flotile nemeral. Jeho čísla vyššie sú prevzaté zo správ a vaše prompty dopadnú inak. Zmerajte si to skôr, než budete plánovať podľa nejakého čísla.
- Dlhé prompty sú na veľkých hustých modeloch pomalé. Môj beh 70B čítal prompt s 8 192 tokenmi rýchlosťou 391 tok/s, teda asi 21 sekúnd pred prvým tokenom.
- Kvantizácia znižuje kvalitu. 4-bitový model nie je model v plnej presnosti. Overte odpovede na vlastných promptoch.
- Spark je ARM64 s GPU sm_121. Enginy a balíky Pythonu pre neho potrebujú zostavenia pre aarch64 a obyčajný
pip install vllmsa môže nainštalovať bez problémov a potom sa nespustiť; návod k vLLM túto pascu vysvetľuje. - Beží v kontajneri. Na mnohých Sparkoch má vlastný démon Docker, takže kontajnery výrobcov pre arm64 bežia; ostatné spúšťajú obyčajný kontajner bez Dockeru, kde je cestou natívne zostavenie uvedené vyššie. Vybrať si nemôžete.
- Bez SLA a bez záloh. Modely stiahnuté mimo
/workspacesa pri opätovnom zostavení stratia a ukončenie vymaže všetko.
Cena a kde sú Sparky
0,79 $ za hodinu za jeden Spark, účtované po minútach z predplateného kreditu: 6,32 $ za osemhodinový deň. Prvé dobitie: zaplatíte 20 $, dostanete 30 $ kreditu. Zastavená inštancia si ponechá pracovný priestor a účtuje sa za 75 % hodinovej sadzby. Keď skončíte, inštanciu ukončite a účtovanie sa skončí; tým sa pracovný priestor vymaže. Ceny sú bez DPH, ak sa uplatňuje.
Moje vlastné Sparky sú v dátovom centre v Hradci Králové v Českej republike. Partnerské Sparky, ktoré vlastnia a vo svojich priestoroch hostujú partneri, sú v USA, Švédsku, Holandsku, na Slovensku a v Hongkongu; partner má k svojmu stroju fyzický prístup. Konzola pred nasadením zobrazí krajinu a či je v EHP. Každé umiestnenie ponúka obrazy DGX OS a Ubuntu použité vyššie.
Kto za tým stojí
GPUwerk je nový. Prevádzkujem ho ja, Samuel Seidel, prostredníctvom PRINT IT! SE, firmy so sídlom v Prahe. K 9. novembru 2026 spustilo od septembra 94 vývojárov 374 inštancií. Aktuálny stav je na status.gpuwerk.com a cez kontaktnú stránku sa ku mne dostanete priamo, ak si chcete pred prenájmom overiť model.
FAQ
Zvládne DGX Spark model 70B?
Áno. Llama 3.3 70B v AWQ 4-bit má asi 37 GiB váh a zmestí sa s rezervou, ale na jednom z mojich Sparkov generovala 6,0 tokenu za sekundu pri jednej požiadavke (vLLM 0.27.1, 2. septembra 2026). To sa hodí skôr na dávkové úlohy ako na chat.
Zmestí sa gpt-oss-120b na jeden DGX Spark?
Áno. Jeho váhy v MXFP4 majú spolu 65,2 GB a na token číta asi 5,1B parametrov. Správcovia llama.cpp uvádzajú 58,7 tok/s pre jednu požiadavku; Dendro Logic uvádza 33,5 na vLLM s dlhšími promptami a výstupom JSON. Na svojej flotile som ho nemeral.
Čo modely väčšie ako 128 GB?
Potrebujú dva prepojené Sparky. Zostavenie Qwen3-235B-A22B so 134 GB bežalo podľa správy na vývojárskom fóre NVIDIA asi 1,8 tok/s na jednom Sparku a asi 12,5 na dvoch. Dvojuzlový klaster GPUwerk stojí 1,79 $ za hodinu, keď ho konzola ponúka.
Koľko stojí vyskúšať veľký model?
0,79 $ za hodinu za jeden Spark, účtované po minútach z predplateného kreditu; prvé sťahovanie a zostavenie llama.cpp bežia už na tento čas. Prvé dobitie: zaplatíte 20 $, dostanete 30 $ kreditu, to je asi 37 hodín. Keď skončíte, inštanciu ukončite a účtovanie sa skončí.