Käita 70B kuni 120B-klassi mudeleid 128 GB ühismälus
DGX Sparkil on 128 GB mälu, mida jagavad protsessor ja GPU, nii et mudelid, mis 24 või 32 GB graafikakaardile kunagi ei mahu, laaditakse ühes tükis. Mahtumine ei tähenda kiirust. Mälu liigutab 273 GB/s ja iga genereeritud token loeb mudeli aktiivsed kaalud ühe korra. Ühel minu Sparkil genereeris tihe Llama 3.3 70B ühe päringu puhul 6,0 tokenit sekundis. Ekspertide segu mudel loeb tokeni kohta ainult osa oma kaaludest: gpt-oss-120b kohta on samal kiibil teatatud 58,7 tok/s. Vali mudel ribalaiuse järgi, seejärel rendi Spark nii mitmeks tunniks, kui vajad.
Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti, umbes 37 tundi ühel Sparkil. Arveldatakse minutipõhiselt ettemakstud krediidist. Kui töö on tehtud, lõpeta eksemplar ja arveldus lõpeb.
Mis mahub ja kui kiiresti üks päring töötab
| Mudel ja vorming | Loetud tokeni kohta | Üks päring | Allikas |
|---|---|---|---|
| Qwen3-Coder 30B-A3B, AWQ 4-bitine | umbes 3B parameetrit | 80,9 tok/s | Minu käitus, vLLM 0.27.1, 2. sept 2026 (toorlogi) |
| gpt-oss-120b, MXFP4 | 5,1B 117B-st | 58,7 tok/s | Teatatud: llama.cpp DGX Sparki tulemused, build 7941, 5. veebr 2026 |
| gpt-oss-120b, MXFP4 | 5,1B 117B-st | 33,5 tok/s | Teatatud: Dendro Logic, vLLM, 1500-tokenilised päringud ja JSON-väljund, 22. apr 2026 |
| Nemotron-3-Super-120B-A12B, NVFP4 | 12B 120B-st | umbes 24 tok/s | Teatatud: NVIDIA foorum, vLLM CUTLASS-i parandusega, 29. märts 2026 |
| Llama 3.3 70B, AWQ 4-bitine | kõik 70B (tihe) | 6,0 tok/s | Minu käitus, vLLM 0.27.1, 2. sept 2026 (toorlogi) |
| Nemotron Super 49B v1.5, NVFP4 | kõik 49B (tihe) | 5,79 tok/s | Teatatud: Dendro Logic, 22. apr 2026 |
| Qwen3-235B-A22B, UD-Q4_K_XL (134 GB) | 22B 235B-st | umbes 1,8 tok/s; ei mahu | Teatatud: NVIDIA foorum, llama.cpp, 17. dets 2025 |
„Teatatud“ read on teiste inimeste mõõtmised, mille kogusin ja kontrollisin nende allikate järgi 11. oktoobril 2026 võrdlustestide lehe jaoks; ma pole neid taasesitanud. Kaks gpt-oss-120b rida näitavad, kui palju mootor ja töökoormus muudavad ühe mudeli tulemust ühel kiibil. gpt-oss-120b parameetrite arvud on pärit selle mudelikaardilt mälukalkulaatori kaudu.
Miks tihe 70B on aeglane ja 120B MoE mitte
Tokeni genereerimine tähendab aktiivsete kaalude ühekordset lugemist mälust, nii et lagi on mälu ribalaius jagatud tokeni kohta loetud baitidega:
tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token Llama 3.3 70B, 4-bit: about 37 GB per token → about 7.4 tok/s (measured 6.0) gpt-oss-120b, MXFP4: about 3 GB per token → about 90 tok/s (reported 58.7)
Päris mootorid jõuavad umbes poole kuni nelja viiendikuni laest. Alla umbes 10 tok/s tundub mudel vestlusaknas aeglane, mistõttu on tihe 70B ühel Sparkil pakettmudel: 128 samaaegse päringuga jõudis minu 70B käitus kokku 485 tok/s-ni, arvestades päringu- ja genereeritud tokeneid, kuid iga päring aeglustus 1,4 tok/s-ni. Täielikud samaaegsuse kõverad on võrdlustestide lehel.
Mida mina käitaksin
- 120B-klassi mudel, kellega saab vestelda: gpt-oss-120b MXFP4-vormingus. Kaalud on 65,2 GB, mis jätab ruumi pikale kontekstile, ja see loeb umbes 5B parameetrit tokeni kohta.
- Kiirus ennekõike: Qwen3 ekspertide segu mudel 4 bitiga, näiteks Qwen3-30B-A3B või Qwen3.6-35B-A3B. Need loevad tokeni kohta umbes 3B parameetrit.
- Tihe 70B: ainult pakettülesanneteks või siis, kui vajad just seda mudelit. Oota umbes 6 tok/s päringu kohta.
- Kvantige 4 bitini. MXFP4, NVFP4, AWQ või Q4_K_M poolitavad baidid tokeni kohta võrreldes FP8-ga ja ligikaudu kahekordistavad lae. Kvaliteedikulu erineb vormingute kaupa; kvantimise kiiruse juhend võrdleb neid sellel kiibil.
- Üle 128 GB: kaks ühendatud Sparki, 1,79 $ tunnis kahe sõlmega klastri eest, kui konsool seda pakub. Ülaltoodud Qwen3-235B aruanne läks ühel Sparkil umbes 1,8 tok/s-lt kahel umbes 12,5-ni. Kahe sõlme juhend käsitleb seda, mida sidumine annab.
Käita gpt-oss-120b llama.cpp-ga
Ühe kasutaja jaoks korraga on llama.cpp sellel kiibil kiirem mootor. Juuruta DGX Spark 1× DGX OS-i tõmmisega, ava brauseriterminal, ehita llama.cpp GB10 jaoks (5 kuni 10 minutit) ja käivita mudel. Ehitussammud on samad mis minu llama.cpp juhendis.
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # downloads about 65 GB the first time ./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \ --host 127.0.0.1 --port 30000
Kui logi ütleb, et server kuulab, mõõda teisest terminalist oma kiirust. llama-server tagastab iga vastusega oma ajastused:
curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
| python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'
Allalaadimine läheb aja arvele, seega alusta sellega esimesena ja loe laadimise ajal. Serverini jõudmiseks sülearvutist kasuta SSH-tunnelit oma võtmega või käivita see parameetritega --host 0.0.0.0 --api-key ja pika juhusliku võtmega: igal eksemplaril on oma avalik IPv4-aadress. Mitme samaaegse kasutaja jaoks koondab vLLM päringuid paremini; vLLM-i juhendis on ühismälu arvutused.
Piirangud, mida enne teada
- Ma pole gpt-oss-120b-d oma pargis mõõtnud. Ülaltoodud numbrid pärinevad teistelt ja sinu päringud jõuavad kuhugi mujale. Mõõda enne, kui mõne näitaja põhjal plaanid.
- Pikad päringud on suurtel tihedatel mudelitel aeglased. Minu 70B käitus luges 8192-tokenilise päringu kiirusega 391 tok/s, umbes 21 sekundit enne esimest tokenit.
- Kvantimine maksab kvaliteedis. 4-bitine mudel ei ole täistäpsusega mudel. Kontrolli vastuseid oma päringutel.
- Spark on ARM64 sm_121 GPU-ga. Mootorid ja Pythoni paketid vajavad selle jaoks aarch64 versioone ning lihtne
pip install vllmvõib edukalt paigalduda ja siis mitte käivituda; vLLM-i juhend selgitab seda lõksu. - See töötab konteineris. Paljudel Sparkidel on sellel oma Dockeri deemon, nii et arm64 müüjakonteinerid töötavad; teised käitavad lihtsat konteinerit ilma Dockerita, kus sobib ülaltoodud natiivne ehitus. Sa ei saa valida, kumba.
- SLA-d ega varukoopiaid pole. Väljaspool
/workspaceasuvad mudelite allalaadimised kaovad ümberehitamisel ja lõpetamine kustutab kõik.
Hind ja kus Sparkid asuvad
0,79 $ tunnis ühe Sparki eest, arveldatakse minutipõhiselt ettemakstud krediidist: kaheksatunnine päev maksab 6,32 $. Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti. Peatatud eksemplar säilitab oma tööruumi ja selle eest arveldatakse 75% tunnihinnast. Kui töö on tehtud, lõpeta eksemplar ja arveldus lõpeb; see kustutab tööruumi. Hinnad ei sisalda käibemaksu, kui see kohaldub.
Minu enda Sparkid asuvad andmekeskuses Hradec Královés Tšehhi Vabariigis. Partnerite Sparkid, mis kuuluvad partneritele ja mida majutatakse nende ruumides, asuvad USA-s, Rootsis, Hollandis, Slovakkias ja Hongkongis; partneril on oma masinale füüsiline juurdepääs. Konsool näitab enne juurutamist riiki ja seda, kas see on EMP-s. Igas asukohas on saadaval ülal kasutatud DGX OS-i ja Ubuntu tõmmised.
Kes seda juhib
GPUwerk on uus. Seda juhin mina, Samuel Seidel, Prahas registreeritud ettevõtte PRINT IT! SE kaudu. 9. novembri 2026 seisuga on 94 arendajat alates septembrist käivitanud 374 eksemplari. Reaalajas olek on aadressil status.gpuwerk.com ja kontaktileht jõuab otse minuni, kui soovid enne rentimist mõnda mudelit kontrollida.
KKK
Kas DGX Spark suudab käitada 70B mudelit?
Jah. Llama 3.3 70B AWQ 4-bitisena on umbes 37 GiB kaalusid ja mahub varuga, kuid ühel minu Sparkil genereeris see ühe päringu puhul 6,0 tokenit sekundis (vLLM 0.27.1, 2. september 2026). See sobib pigem pakettöödeks kui vestluseks.
Kas gpt-oss-120b mahub ühele DGX Sparkile?
Jah. Mudeli MXFP4 kaalud on kokku 65,2 GB ja see loeb tokeni kohta umbes 5,1B parameetrit. llama.cpp hooldajad teatavad ühe päringu puhul 58,7 tok/s; Dendro Logic teatab vLLM-il pikemate päringute ja JSON-väljundiga 33,5. Ma pole seda oma pargis mõõtnud.
Aga mudelid, mis on suuremad kui 128 GB?
Need vajavad kahte ühendatud Sparki. 134 GB suurune Qwen3-235B-A22B versioon töötas NVIDIA arendajafoorumi aruande järgi ühel Sparkil umbes 1,8 tok/s ja kahel umbes 12,5 tok/s. GPUwerki kahe sõlmega klaster maksab 1,79 $ tunnis, kui konsool seda pakub.
Kui palju maksab suure mudeli proovimine?
0,79 $ tunnis ühe Sparki eest, arveldatakse minutipõhiselt ettemakstud krediidist; esimene allalaadimine ja llama.cpp ehitamine käivad samuti selle kella järgi. Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti, umbes 37 tundi. Kui töö on tehtud, lõpeta eksemplar ja arveldus lõpeb.