DGX Spark/Store modeller
Bruksområde · Store modeller

Kjør modeller i klassen 70B til 120B i 128 GB enhetlig minne

Av Samuel Seidel · Oppdatert 10. november 2026 · 7 min lesetid

En DGX Spark har 128 GB minne som deles av CPU og GPU, så modeller som aldri får plass på et grafikkort med 24 eller 32 GB, lastes i ett stykke. Å få plass er ikke det samme som å være rask. Minnet flytter 273 GB/s, og hvert generert token leser modellens aktive vekter én gang. På en av Spark-maskinene mine genererte en tett Llama 3.3 70B 6,0 tokens per sekund for én forespørsel. En mixture-of-experts-modell leser bare en del av vektene per token: gpt-oss-120b er rapportert til 58,7 tok/s på samme brikke. Velg modellen etter båndbredden, og lei deretter en Spark for de timene du trenger.

Første påfylling: betal 20 $, få 30 $ i kreditt, omtrent 37 timer på én Spark. Fakturert per minutt fra forhåndsbetalt kreditt. Avslutt når du er ferdig, så stopper faktureringen.

Hva som får plass, og hvor raskt én forespørsel kjører

Modell og formatLest per tokenÉn forespørselKilde
Qwen3-Coder 30B-A3B, AWQ 4-bitomtrent 3B parametere80,9 tok/sMin kjøring, vLLM 0.27.1, 2. sep. 2026 (rålogg)
gpt-oss-120b, MXFP45,1B av 117B58,7 tok/sRapportert: llama.cpp-resultater for DGX Spark, build 7941, 5. feb. 2026
gpt-oss-120b, MXFP45,1B av 117B33,5 tok/sRapportert: Dendro Logic, vLLM, prompter på 1 500 tokens og JSON-utdata, 22. apr. 2026
Nemotron-3-Super-120B-A12B, NVFP412B av 120Bomtrent 24 tok/sRapportert: NVIDIAs forum, vLLM med en CUTLASS-rettelse, 29. mar. 2026
Llama 3.3 70B, AWQ 4-bitalle 70B (tett)6,0 tok/sMin kjøring, vLLM 0.27.1, 2. sep. 2026 (rålogg)
Nemotron Super 49B v1.5, NVFP4alle 49B (tett)5,79 tok/sRapportert: Dendro Logic, 22. apr. 2026
Qwen3-235B-A22B, UD-Q4_K_XL (134 GB)22B av 235Bomtrent 1,8 tok/s; får ikke plassRapportert: NVIDIAs forum, llama.cpp, 17. des. 2025

Rader merket "Rapportert" er andres målinger, som jeg samlet og kontrollerte mot kildene deres 11. oktober 2026 for benchmarksiden; jeg har ikke reprodusert dem. De to radene for gpt-oss-120b viser hvor mye motor og arbeidslast flytter én modell på én brikke. Parameterantallet for gpt-oss-120b er fra modellkortet, via minnekalkulatoren.

Hvorfor en tett 70B er treg og en 120B MoE ikke er det

Å generere et token betyr å lese de aktive vektene ut av minnet én gang, så taket er minnebåndbredden delt på antall byte som leses per token:

tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token

Llama 3.3 70B, 4-bit:  about 37 GB per token  → about 7.4 tok/s   (measured 6.0)
gpt-oss-120b, MXFP4:   about 3 GB per token   → about 90 tok/s    (reported 58.7)

Ekte motorer havner mellom omtrent halvparten og fire femtedeler av taket. Under omtrent 10 tok/s føles en modell treg i et chattevindu, og derfor er en tett 70B på én Spark en batchmodell: med 128 forespørsler i gang nådde min 70B-kjøring 485 tok/s totalt, prompttokens og genererte tokens medregnet, men hver forespørsel sank til 1,4 tok/s. De fullstendige samtidighetskurvene står på benchmarksiden.

Hva jeg ville kjørt

Kjør gpt-oss-120b med llama.cpp

For én bruker om gangen er llama.cpp den raskeste motoren på denne brikken. Deploy DGX Spark 1× med DGX OS-imaget, åpne nettleserterminalen, bygg llama.cpp for GB10 (5 til 10 minutter) og start modellen. Byggetrinnene er de samme som i min llama.cpp-guide.

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# downloads about 65 GB the first time
./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \
  --host 127.0.0.1 --port 30000

Når loggen sier at serveren lytter, måler du din egen hastighet fra en ny terminal. llama-server returnerer tidsmålingene sine med hvert svar:

curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
  | python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'

Nedlastingen går på klokken, så start den først og les mens den laster. For å nå serveren fra den bærbare datamaskinen din bruker du en SSH-tunnel med din egen nøkkel, eller starter den med --host 0.0.0.0 --api-key og en lang tilfeldig nøkkel: hver instans har sin egen offentlige IPv4-adresse. For flere brukere samtidig batcher vLLM bedre; vLLM-guiden har minneregnestykket for enhetlig minne.

Begrensninger du bør kjenne til først

Pris og hvor Spark-maskinene står

0 $,79 i timen for én Spark, fakturert per minutt fra forhåndsbetalt kreditt: 6 $,32 for en åttetimers arbeidsdag. Første påfylling: betal 20 $, få 30 $ i kreditt. En stoppet instans beholder arbeidsområdet og faktureres med 75 % av timeprisen. Avslutt når du er ferdig, så stopper faktureringen; da slettes arbeidsområdet. Prisene er uten mva. der det gjelder.

Mine egne Spark-maskiner står i et datasenter i Hradec Králové i Tsjekkia. Partnermaskiner, som eies og driftes av partnere i deres egne lokaler, står i USA, Sverige, Nederland, Slovakia og Hongkong; en partner har fysisk tilgang til maskinen sin. Konsollen viser landet, og om det er i EØS, før du deployer. Alle lokasjoner tilbyr DGX OS- og Ubuntu-imagene som brukes ovenfor.

Hvem som driver dette

GPUwerk er nytt. Det drives av meg, Samuel Seidel, gjennom PRINT IT! SE, et selskap registrert i Praha. Per 9. november 2026 har 94 utviklere startet 374 instanser siden september. Status i sanntid finner du på status.gpuwerk.com, og kontaktsiden når meg direkte hvis du vil sjekke en modell før du leier.

Spørsmål og svar

Kan en DGX Spark kjøre en 70B-modell?

Ja. Llama 3.3 70B i AWQ 4-bit er omtrent 37 GiB med vekter og får plass med god margin, men den genererte 6,0 tokens per sekund for én forespørsel på en av Spark-maskinene mine (vLLM 0.27.1, 2. september 2026). Det passer bedre for batchjobber enn for chat.

Får gpt-oss-120b plass på én DGX Spark?

Ja. MXFP4-vektene er på 65,2 GB totalt, og den leser omtrent 5,1B parametere per token. Vedlikeholderne av llama.cpp rapporterer 58,7 tok/s for én forespørsel; Dendro Logic rapporterer 33,5 på vLLM med lengre prompter og JSON-utdata. Jeg har ikke målt den på flåten min.

Hva med modeller større enn 128 GB?

De trenger to koblede Spark-maskiner. En Qwen3-235B-A22B-build på 134 GB kjørte med omtrent 1,8 tok/s på én Spark og omtrent 12,5 på to, ifølge en rapport på NVIDIAs utviklerforum. GPUwerks klynge med to noder koster 1 $,79 i timen når konsollen tilbyr den.

Hva koster det å prøve en stor modell?

0 $,79 i timen for én Spark, fakturert per minutt fra forhåndsbetalt kreditt; den første nedlastingen og llama.cpp-byggingen går på den klokken. Første påfylling: betal 20 $, få 30 $ i kreditt, omtrent 37 timer. Avslutt når du er ferdig, så stopper faktureringen.

Første påfylling: betal 20 $, få 30 $ i kreditt

Last inn en 120B-modell på en Spark du har for deg selv.

En dedikert DGX Spark med 128 GB enhetlig minne, 0 $,79/h fakturert per minutt. Avslutt når du er ferdig, så stopper faktureringen.

Deploy nå