DGX Spark/Suured mudelid
Kasutusjuhtum · Suured mudelid

Käita 70B kuni 120B-klassi mudeleid 128 GB ühismälus

Autor: Samuel Seidel · Uuendatud 10. novembril 2026 · 7 min lugemist

DGX Sparkil on 128 GB mälu, mida jagavad protsessor ja GPU, nii et mudelid, mis 24 või 32 GB graafikakaardile kunagi ei mahu, laaditakse ühes tükis. Mahtumine ei tähenda kiirust. Mälu liigutab 273 GB/s ja iga genereeritud token loeb mudeli aktiivsed kaalud ühe korra. Ühel minu Sparkil genereeris tihe Llama 3.3 70B ühe päringu puhul 6,0 tokenit sekundis. Ekspertide segu mudel loeb tokeni kohta ainult osa oma kaaludest: gpt-oss-120b kohta on samal kiibil teatatud 58,7 tok/s. Vali mudel ribalaiuse järgi, seejärel rendi Spark nii mitmeks tunniks, kui vajad.

Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti, umbes 37 tundi ühel Sparkil. Arveldatakse minutipõhiselt ettemakstud krediidist. Kui töö on tehtud, lõpeta eksemplar ja arveldus lõpeb.

Mis mahub ja kui kiiresti üks päring töötab

Mudel ja vormingLoetud tokeni kohtaÜks päringAllikas
Qwen3-Coder 30B-A3B, AWQ 4-bitineumbes 3B parameetrit80,9 tok/sMinu käitus, vLLM 0.27.1, 2. sept 2026 (toorlogi)
gpt-oss-120b, MXFP45,1B 117B-st58,7 tok/sTeatatud: llama.cpp DGX Sparki tulemused, build 7941, 5. veebr 2026
gpt-oss-120b, MXFP45,1B 117B-st33,5 tok/sTeatatud: Dendro Logic, vLLM, 1500-tokenilised päringud ja JSON-väljund, 22. apr 2026
Nemotron-3-Super-120B-A12B, NVFP412B 120B-stumbes 24 tok/sTeatatud: NVIDIA foorum, vLLM CUTLASS-i parandusega, 29. märts 2026
Llama 3.3 70B, AWQ 4-bitinekõik 70B (tihe)6,0 tok/sMinu käitus, vLLM 0.27.1, 2. sept 2026 (toorlogi)
Nemotron Super 49B v1.5, NVFP4kõik 49B (tihe)5,79 tok/sTeatatud: Dendro Logic, 22. apr 2026
Qwen3-235B-A22B, UD-Q4_K_XL (134 GB)22B 235B-stumbes 1,8 tok/s; ei mahuTeatatud: NVIDIA foorum, llama.cpp, 17. dets 2025

„Teatatud“ read on teiste inimeste mõõtmised, mille kogusin ja kontrollisin nende allikate järgi 11. oktoobril 2026 võrdlustestide lehe jaoks; ma pole neid taasesitanud. Kaks gpt-oss-120b rida näitavad, kui palju mootor ja töökoormus muudavad ühe mudeli tulemust ühel kiibil. gpt-oss-120b parameetrite arvud on pärit selle mudelikaardilt mälukalkulaatori kaudu.

Miks tihe 70B on aeglane ja 120B MoE mitte

Tokeni genereerimine tähendab aktiivsete kaalude ühekordset lugemist mälust, nii et lagi on mälu ribalaius jagatud tokeni kohta loetud baitidega:

tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token

Llama 3.3 70B, 4-bit:  about 37 GB per token  → about 7.4 tok/s   (measured 6.0)
gpt-oss-120b, MXFP4:   about 3 GB per token   → about 90 tok/s    (reported 58.7)

Päris mootorid jõuavad umbes poole kuni nelja viiendikuni laest. Alla umbes 10 tok/s tundub mudel vestlusaknas aeglane, mistõttu on tihe 70B ühel Sparkil pakettmudel: 128 samaaegse päringuga jõudis minu 70B käitus kokku 485 tok/s-ni, arvestades päringu- ja genereeritud tokeneid, kuid iga päring aeglustus 1,4 tok/s-ni. Täielikud samaaegsuse kõverad on võrdlustestide lehel.

Mida mina käitaksin

Käita gpt-oss-120b llama.cpp-ga

Ühe kasutaja jaoks korraga on llama.cpp sellel kiibil kiirem mootor. Juuruta DGX Spark 1× DGX OS-i tõmmisega, ava brauseriterminal, ehita llama.cpp GB10 jaoks (5 kuni 10 minutit) ja käivita mudel. Ehitussammud on samad mis minu llama.cpp juhendis.

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# downloads about 65 GB the first time
./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \
  --host 127.0.0.1 --port 30000

Kui logi ütleb, et server kuulab, mõõda teisest terminalist oma kiirust. llama-server tagastab iga vastusega oma ajastused:

curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
  | python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'

Allalaadimine läheb aja arvele, seega alusta sellega esimesena ja loe laadimise ajal. Serverini jõudmiseks sülearvutist kasuta SSH-tunnelit oma võtmega või käivita see parameetritega --host 0.0.0.0 --api-key ja pika juhusliku võtmega: igal eksemplaril on oma avalik IPv4-aadress. Mitme samaaegse kasutaja jaoks koondab vLLM päringuid paremini; vLLM-i juhendis on ühismälu arvutused.

Piirangud, mida enne teada

Hind ja kus Sparkid asuvad

0,79 $ tunnis ühe Sparki eest, arveldatakse minutipõhiselt ettemakstud krediidist: kaheksatunnine päev maksab 6,32 $. Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti. Peatatud eksemplar säilitab oma tööruumi ja selle eest arveldatakse 75% tunnihinnast. Kui töö on tehtud, lõpeta eksemplar ja arveldus lõpeb; see kustutab tööruumi. Hinnad ei sisalda käibemaksu, kui see kohaldub.

Minu enda Sparkid asuvad andmekeskuses Hradec Královés Tšehhi Vabariigis. Partnerite Sparkid, mis kuuluvad partneritele ja mida majutatakse nende ruumides, asuvad USA-s, Rootsis, Hollandis, Slovakkias ja Hongkongis; partneril on oma masinale füüsiline juurdepääs. Konsool näitab enne juurutamist riiki ja seda, kas see on EMP-s. Igas asukohas on saadaval ülal kasutatud DGX OS-i ja Ubuntu tõmmised.

Kes seda juhib

GPUwerk on uus. Seda juhin mina, Samuel Seidel, Prahas registreeritud ettevõtte PRINT IT! SE kaudu. 9. novembri 2026 seisuga on 94 arendajat alates septembrist käivitanud 374 eksemplari. Reaalajas olek on aadressil status.gpuwerk.com ja kontaktileht jõuab otse minuni, kui soovid enne rentimist mõnda mudelit kontrollida.

KKK

Kas DGX Spark suudab käitada 70B mudelit?

Jah. Llama 3.3 70B AWQ 4-bitisena on umbes 37 GiB kaalusid ja mahub varuga, kuid ühel minu Sparkil genereeris see ühe päringu puhul 6,0 tokenit sekundis (vLLM 0.27.1, 2. september 2026). See sobib pigem pakettöödeks kui vestluseks.

Kas gpt-oss-120b mahub ühele DGX Sparkile?

Jah. Mudeli MXFP4 kaalud on kokku 65,2 GB ja see loeb tokeni kohta umbes 5,1B parameetrit. llama.cpp hooldajad teatavad ühe päringu puhul 58,7 tok/s; Dendro Logic teatab vLLM-il pikemate päringute ja JSON-väljundiga 33,5. Ma pole seda oma pargis mõõtnud.

Aga mudelid, mis on suuremad kui 128 GB?

Need vajavad kahte ühendatud Sparki. 134 GB suurune Qwen3-235B-A22B versioon töötas NVIDIA arendajafoorumi aruande järgi ühel Sparkil umbes 1,8 tok/s ja kahel umbes 12,5 tok/s. GPUwerki kahe sõlmega klaster maksab 1,79 $ tunnis, kui konsool seda pakub.

Kui palju maksab suure mudeli proovimine?

0,79 $ tunnis ühe Sparki eest, arveldatakse minutipõhiselt ettemakstud krediidist; esimene allalaadimine ja llama.cpp ehitamine käivad samuti selle kella järgi. Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti, umbes 37 tundi. Kui töö on tehtud, lõpeta eksemplar ja arveldus lõpeb.

Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti

Laadi 120B mudel oma Sparkile.

Dedikeeritud DGX Spark 128 GB ühismäluga, 0,79 $/h, arveldatakse minutipõhiselt. Kui töö on tehtud, lõpeta eksemplar ja arveldus lõpeb.

Juuruta kohe