Kör modeller i klassen 70B till 120B i 128 GB enhetligt minne
En DGX Spark har 128 GB minne som delas av CPU och GPU, så modeller som aldrig får plats på ett grafikkort med 24 eller 32 GB laddas i ett stycke. Att få plats är inte samma sak som att vara snabb. Minnet har en bandbredd på 273 GB/s, och varje genererad token läser modellens aktiva vikter en gång. På en av mina Sparks genererade en tät Llama 3.3 70B 6,0 tokens per sekund för en enda förfrågan. En mixture-of-experts-modell läser bara en del av sina vikter per token: gpt-oss-120b rapporteras ge 58,7 tok/s på samma chip. Välj modell efter bandbredden och hyr sedan en Spark för de timmar du behöver.
Första påfyllningen: betala 20 USD, få 30 USD i kredit, cirka 37 timmar på en Spark. Debiteras per minut från förbetald kredit. Avsluta när du är klar så upphör faktureringen.
Vad som får plats, och hur snabbt en förfrågan körs
| Modell och format | Läses per token | En förfrågan | Källa |
|---|---|---|---|
| Qwen3-Coder 30B-A3B, AWQ 4-bitars | cirka 3B parametrar | 80,9 tok/s | Min körning, vLLM 0.27.1, 2 sep 2026 (rålogg) |
| gpt-oss-120b, MXFP4 | 5,1B av 117B | 58,7 tok/s | Rapporterat: llama.cpp:s resultat för DGX Spark, build 7941, 5 feb 2026 |
| gpt-oss-120b, MXFP4 | 5,1B av 117B | 33,5 tok/s | Rapporterat: Dendro Logic, vLLM, prompter på 1 500 tokens och JSON-utdata, 22 apr 2026 |
| Nemotron-3-Super-120B-A12B, NVFP4 | 12B av 120B | cirka 24 tok/s | Rapporterat: NVIDIA:s forum, vLLM med en CUTLASS-fix, 29 mar 2026 |
| Llama 3.3 70B, AWQ 4-bitars | alla 70B (tät) | 6,0 tok/s | Min körning, vLLM 0.27.1, 2 sep 2026 (rålogg) |
| Nemotron Super 49B v1.5, NVFP4 | alla 49B (tät) | 5,79 tok/s | Rapporterat: Dendro Logic, 22 apr 2026 |
| Qwen3-235B-A22B, UD-Q4_K_XL (134 GB) | 22B av 235B | cirka 1,8 tok/s; får inte plats | Rapporterat: NVIDIA:s forum, llama.cpp, 17 dec 2025 |
Raderna ”Rapporterat” är andras mätningar, som jag samlade in och kontrollerade mot deras källor den 11 oktober 2026 för benchmarksidan; jag har inte återskapat dem. De två raderna för gpt-oss-120b visar hur mycket motor och arbetslast påverkar en modell på ett chip. Antalet parametrar för gpt-oss-120b kommer från dess modellkort, via minneskalkylatorn.
Varför en tät 70B är långsam och en 120B MoE inte är det
Att generera en token innebär att de aktiva vikterna läses ut ur minnet en gång, så taket är minnesbandbredden delat med antalet byte som läses per token:
tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token Llama 3.3 70B, 4-bit: about 37 GB per token → about 7.4 tok/s (measured 6.0) gpt-oss-120b, MXFP4: about 3 GB per token → about 90 tok/s (reported 58.7)
Riktiga motorer hamnar mellan ungefär hälften och fyra femtedelar av taket. Under cirka 10 tok/s känns en modell långsam i ett chattfönster, och därför är en tät 70B på en Spark en batchmodell: med 128 förfrågningar i farten nådde min körning med 70B totalt 485 tok/s, räknat med prompt- och genererade tokens, men varje förfrågan sjönk till 1,4 tok/s. De fullständiga samtidighetskurvorna finns på benchmarksidan.
Det här skulle jag köra
- En modell i 120B-klassen som du kan prata med: gpt-oss-120b i MXFP4. Vikterna är 65,2 GB, vilket lämnar utrymme för lång kontext, och den läser cirka 5B parametrar per token.
- Hastighet först: en Qwen3-mixture-of-experts-modell i 4 bitar, som Qwen3-30B-A3B eller Qwen3.6-35B-A3B. De läser cirka 3B parametrar per token.
- En tät 70B: bara för batchjobb, eller när du behöver exakt den modellen. Räkna med cirka 6 tok/s per förfrågan.
- Kvantisera till 4 bitar. MXFP4, NVFP4, AWQ eller Q4_K_M halverar antalet byte per token jämfört med FP8 och ungefär fördubblar taket. Kvalitetskostnaden skiljer sig mellan format; guiden om kvantiseringshastighet jämför dem på det här chipet.
- Över 128 GB: två länkade Sparks, för 1,79 USD i timmen för klustret med två noder när konsolen erbjuder det. Rapporten om Qwen3-235B ovan gick från cirka 1,8 tok/s på en Spark till cirka 12,5 på två. Guiden för två noder täcker vad parkopplingen ger.
Kör gpt-oss-120b med llama.cpp
För en användare i taget är llama.cpp den snabbare motorn på det här chipet. Driftsätt DGX Spark 1× med DGX OS-avbildningen, öppna webbterminalen, bygg llama.cpp för GB10 (5 till 10 minuter) och starta modellen. Byggstegen är desamma som i min llama.cpp-guide.
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # downloads about 65 GB the first time ./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \ --host 127.0.0.1 --port 30000
När loggen säger att servern lyssnar, mät din egen hastighet från en andra terminal. llama-server returnerar sina tidsvärden med varje svar:
curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
| python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'
Nedladdningen sker på betald tid, så starta den först och läs medan den laddas. För att nå servern från din laptop, använd en SSH-tunnel med din egen nyckel, eller starta den med --host 0.0.0.0 --api-key och en lång slumpmässig nyckel: varje instans har sin egen publika IPv4-adress. För flera användare samtidigt batchar vLLM bättre; vLLM-guiden har minnesberäkningen för enhetligt minne.
Begränsningar att känna till först
- Jag har inte mätt gpt-oss-120b i min maskinpark. Dess siffror ovan är rapporterade, och dina prompter kommer att landa någon annanstans. Mät innan du planerar utifrån en siffra.
- Långa prompter är långsamma på stora täta modeller. Min körning med 70B läste en prompt på 8 192 tokens i 391 tok/s, cirka 21 sekunder före första token.
- Kvantisering kostar kvalitet. En 4-bitarsmodell är inte samma som den med full precision. Kontrollera svaren på dina egna prompter.
- Sparken är ARM64 med en sm_121-GPU. Motorer och Python-paket behöver aarch64-versioner för den, och en vanlig
pip install vllmkan installeras utan problem och sedan inte starta; vLLM-guiden förklarar fällan. - Den körs i en container. På många Sparks har den en egen Docker-daemon, så arm64-containrar från leverantörer körs; de andra kör en enkel container utan Docker, där det inbyggda bygget ovan är vägen. Du kan inte välja vilken.
- Inget SLA och inga säkerhetskopior. Modellnedladdningar utanför
/workspacegår förlorade vid ett ombygge, och att avsluta raderar allt.
Pris och var Sparks finns
0,79 USD i timmen för en Spark, debiteras per minut från förbetald kredit: 6,32 USD för en åttatimmarsdag. Första påfyllningen: betala 20 USD, få 30 USD i kredit. En stoppad instans behåller sin arbetsyta och debiteras med 75 % av timpriset. Avsluta när du är klar så upphör faktureringen; då raderas arbetsytan. Priserna är exkl. moms där sådan tillkommer.
Mina egna Sparks står i ett datacenter i Hradec Králové i Tjeckien. Partners Sparks, som ägs och driftas av partner i deras egna lokaler, finns i USA, Sverige, Nederländerna, Slovakien och Hongkong; en partner har fysisk åtkomst till sin maskin. Konsolen visar landet, och om det är inom EES, innan du driftsätter. Alla platser erbjuder avbildningarna DGX OS och Ubuntu som används ovan.
Vem som driver detta
GPUwerk är nytt. Det drivs av mig, Samuel Seidel, genom PRINT IT! SE, ett företag registrerat i Prag. Per den 9 november 2026 har 94 utvecklare startat 374 instanser sedan september. Aktuell status finns på status.gpuwerk.com, och via kontaktsidan når du mig direkt om du vill kontrollera en modell innan du hyr.
Vanliga frågor
Kan en DGX Spark köra en 70B-modell?
Ja. Llama 3.3 70B i AWQ 4-bitars är cirka 37 GiB vikter och får plats med marginal, men den genererade 6,0 tokens per sekund för en enda förfrågan på en av mina Sparks (vLLM 0.27.1, 2 september 2026). Det passar batchjobb bättre än chatt.
Får gpt-oss-120b plats på en DGX Spark?
Ja. Dess MXFP4-vikter är totalt 65,2 GB, och den läser cirka 5,1B parametrar per token. llama.cpp-utvecklarna rapporterar 58,7 tok/s för en förfrågan; Dendro Logic rapporterar 33,5 på vLLM med längre prompter och JSON-utdata. Jag har inte mätt den i min maskinpark.
Hur är det med modeller större än 128 GB?
De behöver två länkade Sparks. En version av Qwen3-235B-A22B på 134 GB kördes i cirka 1,8 tok/s på en Spark och cirka 12,5 på två, i en rapport på NVIDIA:s utvecklarforum. GPUwerks kluster med två noder kostar 1,79 USD i timmen när konsolen erbjuder det.
Vad kostar det att prova en stor modell?
0,79 USD i timmen för en Spark, debiteras per minut från förbetald kredit; den första nedladdningen och llama.cpp-bygget körs på den tiden. Första påfyllningen: betala 20 USD, få 30 USD i kredit, cirka 37 timmar. Avsluta när du är klar så upphör faktureringen.