Kjør modeller i klassen 70B til 120B i 128 GB enhetlig minne
En DGX Spark har 128 GB minne som deles av CPU og GPU, så modeller som aldri får plass på et grafikkort med 24 eller 32 GB, lastes i ett stykke. Å få plass er ikke det samme som å være rask. Minnet flytter 273 GB/s, og hvert generert token leser modellens aktive vekter én gang. På en av Spark-maskinene mine genererte en tett Llama 3.3 70B 6,0 tokens per sekund for én forespørsel. En mixture-of-experts-modell leser bare en del av vektene per token: gpt-oss-120b er rapportert til 58,7 tok/s på samme brikke. Velg modellen etter båndbredden, og lei deretter en Spark for de timene du trenger.
Første påfylling: betal 20 $, få 30 $ i kreditt, omtrent 37 timer på én Spark. Fakturert per minutt fra forhåndsbetalt kreditt. Avslutt når du er ferdig, så stopper faktureringen.
Hva som får plass, og hvor raskt én forespørsel kjører
| Modell og format | Lest per token | Én forespørsel | Kilde |
|---|---|---|---|
| Qwen3-Coder 30B-A3B, AWQ 4-bit | omtrent 3B parametere | 80,9 tok/s | Min kjøring, vLLM 0.27.1, 2. sep. 2026 (rålogg) |
| gpt-oss-120b, MXFP4 | 5,1B av 117B | 58,7 tok/s | Rapportert: llama.cpp-resultater for DGX Spark, build 7941, 5. feb. 2026 |
| gpt-oss-120b, MXFP4 | 5,1B av 117B | 33,5 tok/s | Rapportert: Dendro Logic, vLLM, prompter på 1 500 tokens og JSON-utdata, 22. apr. 2026 |
| Nemotron-3-Super-120B-A12B, NVFP4 | 12B av 120B | omtrent 24 tok/s | Rapportert: NVIDIAs forum, vLLM med en CUTLASS-rettelse, 29. mar. 2026 |
| Llama 3.3 70B, AWQ 4-bit | alle 70B (tett) | 6,0 tok/s | Min kjøring, vLLM 0.27.1, 2. sep. 2026 (rålogg) |
| Nemotron Super 49B v1.5, NVFP4 | alle 49B (tett) | 5,79 tok/s | Rapportert: Dendro Logic, 22. apr. 2026 |
| Qwen3-235B-A22B, UD-Q4_K_XL (134 GB) | 22B av 235B | omtrent 1,8 tok/s; får ikke plass | Rapportert: NVIDIAs forum, llama.cpp, 17. des. 2025 |
Rader merket "Rapportert" er andres målinger, som jeg samlet og kontrollerte mot kildene deres 11. oktober 2026 for benchmarksiden; jeg har ikke reprodusert dem. De to radene for gpt-oss-120b viser hvor mye motor og arbeidslast flytter én modell på én brikke. Parameterantallet for gpt-oss-120b er fra modellkortet, via minnekalkulatoren.
Hvorfor en tett 70B er treg og en 120B MoE ikke er det
Å generere et token betyr å lese de aktive vektene ut av minnet én gang, så taket er minnebåndbredden delt på antall byte som leses per token:
tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token Llama 3.3 70B, 4-bit: about 37 GB per token → about 7.4 tok/s (measured 6.0) gpt-oss-120b, MXFP4: about 3 GB per token → about 90 tok/s (reported 58.7)
Ekte motorer havner mellom omtrent halvparten og fire femtedeler av taket. Under omtrent 10 tok/s føles en modell treg i et chattevindu, og derfor er en tett 70B på én Spark en batchmodell: med 128 forespørsler i gang nådde min 70B-kjøring 485 tok/s totalt, prompttokens og genererte tokens medregnet, men hver forespørsel sank til 1,4 tok/s. De fullstendige samtidighetskurvene står på benchmarksiden.
Hva jeg ville kjørt
- En modell i 120B-klassen du kan snakke med: gpt-oss-120b i MXFP4. Vektene er på 65,2 GB, noe som gir plass til lang kontekst, og den leser omtrent 5B parametere per token.
- Hastighet først: en Qwen3 mixture-of-experts-modell i 4 bit, som Qwen3-30B-A3B eller Qwen3.6-35B-A3B. Disse leser omtrent 3B parametere per token.
- En tett 70B-modell: bare for batchjobber, eller når du trenger akkurat den modellen. Regn med omtrent 6 tok/s per forespørsel.
- Kvantiser til 4 bit. MXFP4, NVFP4, AWQ eller Q4_K_M halverer antall byte per token mot FP8 og omtrent dobler taket. Kvalitetskostnaden varierer med formatet; guiden om kvantiseringshastighet sammenligner dem på denne brikken.
- Over 128 GB: to koblede Spark-maskiner, for 1 $,79 i timen for klyngen med to noder når konsollen tilbyr den. Qwen3-235B-rapporten ovenfor gikk fra omtrent 1,8 tok/s på én Spark til omtrent 12,5 på to. Guiden om to noder dekker hva sammenkoblingen gir.
Kjør gpt-oss-120b med llama.cpp
For én bruker om gangen er llama.cpp den raskeste motoren på denne brikken. Deploy DGX Spark 1× med DGX OS-imaget, åpne nettleserterminalen, bygg llama.cpp for GB10 (5 til 10 minutter) og start modellen. Byggetrinnene er de samme som i min llama.cpp-guide.
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # downloads about 65 GB the first time ./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \ --host 127.0.0.1 --port 30000
Når loggen sier at serveren lytter, måler du din egen hastighet fra en ny terminal. llama-server returnerer tidsmålingene sine med hvert svar:
curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
| python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'
Nedlastingen går på klokken, så start den først og les mens den laster. For å nå serveren fra den bærbare datamaskinen din bruker du en SSH-tunnel med din egen nøkkel, eller starter den med --host 0.0.0.0 --api-key og en lang tilfeldig nøkkel: hver instans har sin egen offentlige IPv4-adresse. For flere brukere samtidig batcher vLLM bedre; vLLM-guiden har minneregnestykket for enhetlig minne.
Begrensninger du bør kjenne til først
- Jeg har ikke målt gpt-oss-120b på flåten min. Tallene ovenfor er rapporterte, og promptene dine vil havne et annet sted. Mål før du planlegger rundt et tall.
- Lange prompter er trege på store tette modeller. Min 70B-kjøring leste en prompt på 8 192 tokens med 391 tok/s, omtrent 21 sekunder før første token.
- Kvantisering koster kvalitet. En 4-bits modell er ikke den samme som den med full presisjon. Sjekk svarene på dine egne prompter.
- Spark-maskinen er ARM64 med en sm_121-GPU. Motorer og Python-pakker trenger aarch64-builds for den, og en vanlig
pip install vllmkan installeres uten problemer og så ikke starte; vLLM-guiden forklarer fellen. - Den kjører i en container. På mange Spark-maskiner har den sin egen Docker-daemon, så arm64-containere fra leverandører kjører; de andre kjører en enkel container uten Docker, der den native builden ovenfor er veien å gå. Du kan ikke velge hvilken.
- Ingen SLA og ingen sikkerhetskopier. Modellnedlastinger utenfor
/workspacegår tapt ved gjenoppbygging, og avslutning sletter alt.
Pris og hvor Spark-maskinene står
0 $,79 i timen for én Spark, fakturert per minutt fra forhåndsbetalt kreditt: 6 $,32 for en åttetimers arbeidsdag. Første påfylling: betal 20 $, få 30 $ i kreditt. En stoppet instans beholder arbeidsområdet og faktureres med 75 % av timeprisen. Avslutt når du er ferdig, så stopper faktureringen; da slettes arbeidsområdet. Prisene er uten mva. der det gjelder.
Mine egne Spark-maskiner står i et datasenter i Hradec Králové i Tsjekkia. Partnermaskiner, som eies og driftes av partnere i deres egne lokaler, står i USA, Sverige, Nederland, Slovakia og Hongkong; en partner har fysisk tilgang til maskinen sin. Konsollen viser landet, og om det er i EØS, før du deployer. Alle lokasjoner tilbyr DGX OS- og Ubuntu-imagene som brukes ovenfor.
Hvem som driver dette
GPUwerk er nytt. Det drives av meg, Samuel Seidel, gjennom PRINT IT! SE, et selskap registrert i Praha. Per 9. november 2026 har 94 utviklere startet 374 instanser siden september. Status i sanntid finner du på status.gpuwerk.com, og kontaktsiden når meg direkte hvis du vil sjekke en modell før du leier.
Spørsmål og svar
Kan en DGX Spark kjøre en 70B-modell?
Ja. Llama 3.3 70B i AWQ 4-bit er omtrent 37 GiB med vekter og får plass med god margin, men den genererte 6,0 tokens per sekund for én forespørsel på en av Spark-maskinene mine (vLLM 0.27.1, 2. september 2026). Det passer bedre for batchjobber enn for chat.
Får gpt-oss-120b plass på én DGX Spark?
Ja. MXFP4-vektene er på 65,2 GB totalt, og den leser omtrent 5,1B parametere per token. Vedlikeholderne av llama.cpp rapporterer 58,7 tok/s for én forespørsel; Dendro Logic rapporterer 33,5 på vLLM med lengre prompter og JSON-utdata. Jeg har ikke målt den på flåten min.
Hva med modeller større enn 128 GB?
De trenger to koblede Spark-maskiner. En Qwen3-235B-A22B-build på 134 GB kjørte med omtrent 1,8 tok/s på én Spark og omtrent 12,5 på to, ifølge en rapport på NVIDIAs utviklerforum. GPUwerks klynge med to noder koster 1 $,79 i timen når konsollen tilbyr den.
Hva koster det å prøve en stor modell?
0 $,79 i timen for én Spark, fakturert per minutt fra forhåndsbetalt kreditt; den første nedlastingen og llama.cpp-byggingen går på den klokken. Første påfylling: betal 20 $, få 30 $ i kreditt, omtrent 37 timer. Avslutt når du er ferdig, så stopper faktureringen.