DGX Spark/Veľké modely
Prípad použitia · Veľké modely

Spúšťajte modely triedy 70B až 120B v 128 GB zjednotenej pamäte

Samuel Seidel · Aktualizované 10. novembra 2026 · 7 min čítania

DGX Spark má 128 GB pamäte zdieľanej jeho CPU a GPU, takže modely, ktoré by sa nikdy nezmestili na grafickú kartu s 24 alebo 32 GB, sa načítajú v celku. Zmestiť sa však neznamená byť rýchly. Pamäť prenáša 273 GB/s a každý vygenerovaný token raz prečíta aktívne váhy modelu. Na jednom z mojich Sparkov generoval hustý Llama 3.3 70B 6,0 tokenu za sekundu pri jednej požiadavke. Model typu mixture-of-experts číta na token len časť svojich váh: gpt-oss-120b dosahuje podľa správ na rovnakom čipe 58,7 tok/s. Vyberte model podľa priepustnosti a potom si prenajmite Spark na toľko hodín, koľko potrebujete.

Prvé dobitie: zaplatíte 20 $, dostanete 30 $ kreditu, asi 37 hodín na jednom Sparku. Účtované po minútach z predplateného kreditu. Keď skončíte, inštanciu ukončite a účtovanie sa skončí.

Čo sa zmestí a ako rýchlo beží jedna požiadavka

Model a formátNačítané na tokenJedna požiadavkaZdroj
Qwen3-Coder 30B-A3B, AWQ 4-bitasi 3B parametrov80,9 tok/sMôj beh, vLLM 0.27.1, 2. 9. 2026 (surový log)
gpt-oss-120b, MXFP45,1B zo 117B58,7 tok/sUvádzané: výsledky llama.cpp na DGX Sparku, build 7941, 5. 2. 2026
gpt-oss-120b, MXFP45,1B zo 117B33,5 tok/sUvádzané: Dendro Logic, vLLM, prompty s 1 500 tokenmi a výstup JSON, 22. 4. 2026
Nemotron-3-Super-120B-A12B, NVFP412B zo 120Basi 24 tok/sUvádzané: fórum NVIDIA, vLLM s opravou CUTLASS, 29. 3. 2026
Llama 3.3 70B, AWQ 4-bitvšetkých 70B (hustý)6,0 tok/sMôj beh, vLLM 0.27.1, 2. 9. 2026 (surový log)
Nemotron Super 49B v1.5, NVFP4všetkých 49B (hustý)5,79 tok/sUvádzané: Dendro Logic, 22. 4. 2026
Qwen3-235B-A22B, UD-Q4_K_XL (134 GB)22B z 235Basi 1,8 tok/s; nezmestí saUvádzané: fórum NVIDIA, llama.cpp, 17. 12. 2025

Riadky „Uvádzané“ sú merania iných ľudí, ktoré som zhromaždil a 11. októbra 2026 overil podľa ich zdrojov pre stránku s benchmarkami; nereprodukoval som ich. Dva riadky gpt-oss-120b ukazujú, ako veľmi engine a záťaž menia výsledok jedného modelu na jednom čipe. Počty parametrov gpt-oss-120b sú z jeho karty modelu, cez kalkulačku pamäte.

Prečo je hustý 70B pomalý a 120B MoE nie

Vygenerovanie tokenu znamená raz načítať aktívne váhy z pamäte, takže strop je priepustnosť pamäte delená počtom bajtov načítaných na token:

tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token

Llama 3.3 70B, 4-bit:  about 37 GB per token  → about 7.4 tok/s   (measured 6.0)
gpt-oss-120b, MXFP4:   about 3 GB per token   → about 90 tok/s    (reported 58.7)

Skutočné enginy sa dostanú zhruba na polovicu až štyri pätiny stropu. Pod asi 10 tok/s pôsobí model v chatovom okne pomaly, a preto je hustý 70B na jednom Sparku dávkový model: so 128 súbežnými požiadavkami dosiahol môj beh 70B spolu 485 tok/s, počítajúc tokeny promptu aj vygenerované, ale každá požiadavka sa spomalila na 1,4 tok/s. Úplné krivky súbežnosti sú na stránke s benchmarkami.

Čo by som spustil ja

Spustite gpt-oss-120b s llama.cpp

Pre jedného používateľa naraz je na tomto čipe rýchlejším enginom llama.cpp. Nasaďte DGX Spark 1× s obrazom DGX OS, otvorte terminál v prehliadači, zostavte llama.cpp pre GB10 (5 až 10 minút) a spustite model. Kroky zostavenia sú rovnaké ako v mojom návode k llama.cpp.

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# downloads about 65 GB the first time
./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \
  --host 127.0.0.1 --port 30000

Keď log hlási, že server počúva, zmerajte si vlastnú rýchlosť z druhého terminálu. llama-server vracia časové údaje s každou odpoveďou:

curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
  | python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'

Sťahovanie beží na hodinách, takže ho spustite ako prvé a čítajte, kým sa načítava. Ak sa chcete k serveru dostať zo svojho notebooku, použite SSH tunel s vlastným kľúčom, alebo ho spustite s --host 0.0.0.0 --api-key a dlhým náhodným kľúčom: každá inštancia má vlastnú verejnú IPv4 adresu. Pre viacerých používateľov naraz vLLM lepšie dávkuje; návod k vLLM obsahuje výpočty pamäte pre zjednotenú pamäť.

Obmedzenia, ktoré treba poznať vopred

Cena a kde sú Sparky

0,79 $ za hodinu za jeden Spark, účtované po minútach z predplateného kreditu: 6,32 $ za osemhodinový deň. Prvé dobitie: zaplatíte 20 $, dostanete 30 $ kreditu. Zastavená inštancia si ponechá pracovný priestor a účtuje sa za 75 % hodinovej sadzby. Keď skončíte, inštanciu ukončite a účtovanie sa skončí; tým sa pracovný priestor vymaže. Ceny sú bez DPH, ak sa uplatňuje.

Moje vlastné Sparky sú v dátovom centre v Hradci Králové v Českej republike. Partnerské Sparky, ktoré vlastnia a vo svojich priestoroch hostujú partneri, sú v USA, Švédsku, Holandsku, na Slovensku a v Hongkongu; partner má k svojmu stroju fyzický prístup. Konzola pred nasadením zobrazí krajinu a či je v EHP. Každé umiestnenie ponúka obrazy DGX OS a Ubuntu použité vyššie.

Kto za tým stojí

GPUwerk je nový. Prevádzkujem ho ja, Samuel Seidel, prostredníctvom PRINT IT! SE, firmy so sídlom v Prahe. K 9. novembru 2026 spustilo od septembra 94 vývojárov 374 inštancií. Aktuálny stav je na status.gpuwerk.com a cez kontaktnú stránku sa ku mne dostanete priamo, ak si chcete pred prenájmom overiť model.

FAQ

Zvládne DGX Spark model 70B?

Áno. Llama 3.3 70B v AWQ 4-bit má asi 37 GiB váh a zmestí sa s rezervou, ale na jednom z mojich Sparkov generovala 6,0 tokenu za sekundu pri jednej požiadavke (vLLM 0.27.1, 2. septembra 2026). To sa hodí skôr na dávkové úlohy ako na chat.

Zmestí sa gpt-oss-120b na jeden DGX Spark?

Áno. Jeho váhy v MXFP4 majú spolu 65,2 GB a na token číta asi 5,1B parametrov. Správcovia llama.cpp uvádzajú 58,7 tok/s pre jednu požiadavku; Dendro Logic uvádza 33,5 na vLLM s dlhšími promptami a výstupom JSON. Na svojej flotile som ho nemeral.

Čo modely väčšie ako 128 GB?

Potrebujú dva prepojené Sparky. Zostavenie Qwen3-235B-A22B so 134 GB bežalo podľa správy na vývojárskom fóre NVIDIA asi 1,8 tok/s na jednom Sparku a asi 12,5 na dvoch. Dvojuzlový klaster GPUwerk stojí 1,79 $ za hodinu, keď ho konzola ponúka.

Koľko stojí vyskúšať veľký model?

0,79 $ za hodinu za jeden Spark, účtované po minútach z predplateného kreditu; prvé sťahovanie a zostavenie llama.cpp bežia už na tento čas. Prvé dobitie: zaplatíte 20 $, dostanete 30 $ kreditu, to je asi 37 hodín. Keď skončíte, inštanciu ukončite a účtovanie sa skončí.

Prvé dobitie: zaplatíte 20 $, dostanete 30 $ kreditu

Načítajte model 120B na vlastnom Sparku.

Vyhradený DGX Spark so 128 GB zjednotenej pamäte, 0,79 $/hod. účtované po minútach. Keď skončíte, inštanciu ukončite a účtovanie sa skončí.

Nasadiť teraz