DGX Spark/Stora modeller
Användningsfall · Stora modeller

Kör modeller i klassen 70B till 120B i 128 GB enhetligt minne

Av Samuel Seidel · Uppdaterad 10 november 2026 · 7 min läsning

En DGX Spark har 128 GB minne som delas av CPU och GPU, så modeller som aldrig får plats på ett grafikkort med 24 eller 32 GB laddas i ett stycke. Att få plats är inte samma sak som att vara snabb. Minnet har en bandbredd på 273 GB/s, och varje genererad token läser modellens aktiva vikter en gång. På en av mina Sparks genererade en tät Llama 3.3 70B 6,0 tokens per sekund för en enda förfrågan. En mixture-of-experts-modell läser bara en del av sina vikter per token: gpt-oss-120b rapporteras ge 58,7 tok/s på samma chip. Välj modell efter bandbredden och hyr sedan en Spark för de timmar du behöver.

Första påfyllningen: betala 20 USD, få 30 USD i kredit, cirka 37 timmar på en Spark. Debiteras per minut från förbetald kredit. Avsluta när du är klar så upphör faktureringen.

Vad som får plats, och hur snabbt en förfrågan körs

Modell och formatLäses per tokenEn förfråganKälla
Qwen3-Coder 30B-A3B, AWQ 4-bitarscirka 3B parametrar80,9 tok/sMin körning, vLLM 0.27.1, 2 sep 2026 (rålogg)
gpt-oss-120b, MXFP45,1B av 117B58,7 tok/sRapporterat: llama.cpp:s resultat för DGX Spark, build 7941, 5 feb 2026
gpt-oss-120b, MXFP45,1B av 117B33,5 tok/sRapporterat: Dendro Logic, vLLM, prompter på 1 500 tokens och JSON-utdata, 22 apr 2026
Nemotron-3-Super-120B-A12B, NVFP412B av 120Bcirka 24 tok/sRapporterat: NVIDIA:s forum, vLLM med en CUTLASS-fix, 29 mar 2026
Llama 3.3 70B, AWQ 4-bitarsalla 70B (tät)6,0 tok/sMin körning, vLLM 0.27.1, 2 sep 2026 (rålogg)
Nemotron Super 49B v1.5, NVFP4alla 49B (tät)5,79 tok/sRapporterat: Dendro Logic, 22 apr 2026
Qwen3-235B-A22B, UD-Q4_K_XL (134 GB)22B av 235Bcirka 1,8 tok/s; får inte platsRapporterat: NVIDIA:s forum, llama.cpp, 17 dec 2025

Raderna ”Rapporterat” är andras mätningar, som jag samlade in och kontrollerade mot deras källor den 11 oktober 2026 för benchmarksidan; jag har inte återskapat dem. De två raderna för gpt-oss-120b visar hur mycket motor och arbetslast påverkar en modell på ett chip. Antalet parametrar för gpt-oss-120b kommer från dess modellkort, via minneskalkylatorn.

Varför en tät 70B är långsam och en 120B MoE inte är det

Att generera en token innebär att de aktiva vikterna läses ut ur minnet en gång, så taket är minnesbandbredden delat med antalet byte som läses per token:

tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token

Llama 3.3 70B, 4-bit:  about 37 GB per token  → about 7.4 tok/s   (measured 6.0)
gpt-oss-120b, MXFP4:   about 3 GB per token   → about 90 tok/s    (reported 58.7)

Riktiga motorer hamnar mellan ungefär hälften och fyra femtedelar av taket. Under cirka 10 tok/s känns en modell långsam i ett chattfönster, och därför är en tät 70B på en Spark en batchmodell: med 128 förfrågningar i farten nådde min körning med 70B totalt 485 tok/s, räknat med prompt- och genererade tokens, men varje förfrågan sjönk till 1,4 tok/s. De fullständiga samtidighetskurvorna finns på benchmarksidan.

Det här skulle jag köra

Kör gpt-oss-120b med llama.cpp

För en användare i taget är llama.cpp den snabbare motorn på det här chipet. Driftsätt DGX Spark 1× med DGX OS-avbildningen, öppna webbterminalen, bygg llama.cpp för GB10 (5 till 10 minuter) och starta modellen. Byggstegen är desamma som i min llama.cpp-guide.

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# downloads about 65 GB the first time
./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \
  --host 127.0.0.1 --port 30000

När loggen säger att servern lyssnar, mät din egen hastighet från en andra terminal. llama-server returnerar sina tidsvärden med varje svar:

curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
  | python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'

Nedladdningen sker på betald tid, så starta den först och läs medan den laddas. För att nå servern från din laptop, använd en SSH-tunnel med din egen nyckel, eller starta den med --host 0.0.0.0 --api-key och en lång slumpmässig nyckel: varje instans har sin egen publika IPv4-adress. För flera användare samtidigt batchar vLLM bättre; vLLM-guiden har minnesberäkningen för enhetligt minne.

Begränsningar att känna till först

Pris och var Sparks finns

0,79 USD i timmen för en Spark, debiteras per minut från förbetald kredit: 6,32 USD för en åttatimmarsdag. Första påfyllningen: betala 20 USD, få 30 USD i kredit. En stoppad instans behåller sin arbetsyta och debiteras med 75 % av timpriset. Avsluta när du är klar så upphör faktureringen; då raderas arbetsytan. Priserna är exkl. moms där sådan tillkommer.

Mina egna Sparks står i ett datacenter i Hradec Králové i Tjeckien. Partners Sparks, som ägs och driftas av partner i deras egna lokaler, finns i USA, Sverige, Nederländerna, Slovakien och Hongkong; en partner har fysisk åtkomst till sin maskin. Konsolen visar landet, och om det är inom EES, innan du driftsätter. Alla platser erbjuder avbildningarna DGX OS och Ubuntu som används ovan.

Vem som driver detta

GPUwerk är nytt. Det drivs av mig, Samuel Seidel, genom PRINT IT! SE, ett företag registrerat i Prag. Per den 9 november 2026 har 94 utvecklare startat 374 instanser sedan september. Aktuell status finns på status.gpuwerk.com, och via kontaktsidan når du mig direkt om du vill kontrollera en modell innan du hyr.

Vanliga frågor

Kan en DGX Spark köra en 70B-modell?

Ja. Llama 3.3 70B i AWQ 4-bitars är cirka 37 GiB vikter och får plats med marginal, men den genererade 6,0 tokens per sekund för en enda förfrågan på en av mina Sparks (vLLM 0.27.1, 2 september 2026). Det passar batchjobb bättre än chatt.

Får gpt-oss-120b plats på en DGX Spark?

Ja. Dess MXFP4-vikter är totalt 65,2 GB, och den läser cirka 5,1B parametrar per token. llama.cpp-utvecklarna rapporterar 58,7 tok/s för en förfrågan; Dendro Logic rapporterar 33,5 på vLLM med längre prompter och JSON-utdata. Jag har inte mätt den i min maskinpark.

Hur är det med modeller större än 128 GB?

De behöver två länkade Sparks. En version av Qwen3-235B-A22B på 134 GB kördes i cirka 1,8 tok/s på en Spark och cirka 12,5 på två, i en rapport på NVIDIA:s utvecklarforum. GPUwerks kluster med två noder kostar 1,79 USD i timmen när konsolen erbjuder det.

Vad kostar det att prova en stor modell?

0,79 USD i timmen för en Spark, debiteras per minut från förbetald kredit; den första nedladdningen och llama.cpp-bygget körs på den tiden. Första påfyllningen: betala 20 USD, få 30 USD i kredit, cirka 37 timmar. Avsluta när du är klar så upphör faktureringen.

Första påfyllningen: betala 20 USD, få 30 USD i kredit

Ladda en 120B-modell på en egen Spark.

En dedikerad DGX Spark med 128 GB enhetligt minne, 0,79 USD/h debiteras per minut. Avsluta när du är klar så upphör faktureringen.

Driftsätt nu