Kør modeller i 70B- til 120B-klassen i 128 GB unified memory
En DGX Spark har 128 GB hukommelse, som deles af CPU og GPU, så modeller, der aldrig kan være på et grafikkort med 24 eller 32 GB, indlæses i ét stykke. At passe er ikke det samme som at være hurtig. Hukommelsen flytter 273 GB/s, og hvert genereret token læser modellens aktive vægte én gang. På en af mine Sparks genererede en tæt Llama 3.3 70B 6,0 tokens i sekundet for en enkelt forespørgsel. En mixture-of-experts-model læser kun en del af sine vægte pr. token: gpt-oss-120b er rapporteret til 58,7 tok/s på samme chip. Vælg modellen efter båndbredden, og lej derefter en Spark i de timer, du har brug for.
Første optankning: betal 20 $, få 30 $ i kredit, cirka 37 timer på én Spark. Faktureret pr. minut fra forudbetalt kredit. Afslut, når du er færdig, så ophører faktureringen.
Hvad passer, og hvor hurtigt kører én forespørgsel
| Model og format | Læst pr. token | Én forespørgsel | Kilde |
|---|---|---|---|
| Qwen3-Coder 30B-A3B, AWQ 4-bit | cirka 3B parametre | 80,9 tok/s | Min kørsel, vLLM 0.27.1, 2. sep. 2026 (rå log) |
| gpt-oss-120b, MXFP4 | 5,1B af 117B | 58,7 tok/s | Rapporteret: llama.cpp DGX Spark-resultater, build 7941, 5. feb. 2026 |
| gpt-oss-120b, MXFP4 | 5,1B af 117B | 33,5 tok/s | Rapporteret: Dendro Logic, vLLM, prompts på 1.500 tokens og JSON-output, 22. apr. 2026 |
| Nemotron-3-Super-120B-A12B, NVFP4 | 12B af 120B | cirka 24 tok/s | Rapporteret: NVIDIAs forum, vLLM med en CUTLASS-rettelse, 29. mar. 2026 |
| Llama 3.3 70B, AWQ 4-bit | alle 70B (tæt) | 6,0 tok/s | Min kørsel, vLLM 0.27.1, 2. sep. 2026 (rå log) |
| Nemotron Super 49B v1.5, NVFP4 | alle 49B (tæt) | 5,79 tok/s | Rapporteret: Dendro Logic, 22. apr. 2026 |
| Qwen3-235B-A22B, UD-Q4_K_XL (134 GB) | 22B af 235B | cirka 1,8 tok/s; passer ikke | Rapporteret: NVIDIAs forum, llama.cpp, 17. dec. 2025 |
"Rapporteret"-rækker er andres målinger, som jeg samlede og tjekkede mod deres kilder den 11. oktober 2026 til benchmarksiden; jeg har ikke gentaget dem. De to rækker for gpt-oss-120b viser, hvor meget engine og workload flytter én model på én chip. Parameterantal for gpt-oss-120b er fra modelkortet via hukommelsesberegneren.
Hvorfor en tæt 70B er langsom, og en 120B MoE ikke er
At generere et token betyder at læse de aktive vægte ud af hukommelsen én gang, så loftet er hukommelsesbåndbredden divideret med de bytes, der læses pr. token:
tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token Llama 3.3 70B, 4-bit: about 37 GB per token → about 7.4 tok/s (measured 6.0) gpt-oss-120b, MXFP4: about 3 GB per token → about 90 tok/s (reported 58.7)
Rigtige engines lander mellem omkring halvdelen og fire femtedele af loftet. Under cirka 10 tok/s føles en model langsom i et chatvindue, og derfor er en tæt 70B på én Spark en batchmodel: med 128 forespørgsler i gang nåede min 70B-kørsel 485 tok/s i alt, medregnet prompt- og genererede tokens, men hver forespørgsel faldt til 1,4 tok/s. De fulde samtidighedskurver står på benchmarksiden.
Hvad jeg ville køre
- En model i 120B-klassen, du kan tale med: gpt-oss-120b i MXFP4. Vægtene fylder 65,2 GB, hvilket giver plads til en lang kontekst, og den læser cirka 5B parametre pr. token.
- Hastighed først: en Qwen3 mixture-of-experts-model ved 4 bit, f.eks. Qwen3-30B-A3B eller Qwen3.6-35B-A3B. De læser cirka 3B parametre pr. token.
- En tæt 70B-model: kun til batchjob, eller når du har brug for netop den model. Regn med cirka 6 tok/s pr. forespørgsel.
- Kvantiser til 4 bit. MXFP4, NVFP4, AWQ eller Q4_K_M halverer antallet af bytes pr. token i forhold til FP8 og fordobler omtrent loftet. Kvalitetstabet varierer efter format; guiden om kvantiseringshastighed sammenligner dem på denne chip.
- Over 128 GB: to forbundne Sparks til 1 $,79 i timen for klyngen med to noder, når konsollen tilbyder den. Qwen3-235B-rapporten ovenfor gik fra cirka 1,8 tok/s på én Spark til cirka 12,5 på to. Guiden til to noder beskriver, hvad parring giver.
Kør gpt-oss-120b med llama.cpp
For én bruger ad gangen er llama.cpp den hurtigste engine på denne chip. Udrul DGX Spark 1× med DGX OS-imaget, åbn browserterminalen, byg llama.cpp til GB10 (5 til 10 minutter), og start modellen. Byggetrinene er de samme som i min llama.cpp-guide.
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # downloads about 65 GB the first time ./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \ --host 127.0.0.1 --port 30000
Når loggen siger, at serveren lytter, kan du måle din egen hastighed fra en ekstra terminal. llama-server returnerer sine tider med hvert svar:
curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
| python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'
Downloaden kører på uret, så start den først, og læs videre, mens den indlæses. For at nå serveren fra din laptop kan du bruge en SSH-tunnel med din egen nøgle eller starte den med --host 0.0.0.0 --api-key og en lang tilfældig nøgle: hver instans har sin egen offentlige IPv4-adresse. Til flere brugere samtidig batcher vLLM bedre; vLLM-guiden har hukommelsesregnestykket for unified memory.
Begrænsninger, du skal kende først
- Jeg har ikke målt gpt-oss-120b på min flåde. Dens tal ovenfor er rapporterede, og dine prompts vil lande et andet sted. Mål selv, før du planlægger efter et tal.
- Lange prompts er langsomme på store tætte modeller. Min 70B-kørsel læste en prompt på 8.192 tokens ved 391 tok/s, cirka 21 sekunder før første token.
- Kvantisering koster kvalitet. En 4-bit-model er ikke den samme som den i fuld præcision. Tjek svarene på dine egne prompts.
- Din Spark er ARM64 med en sm_121-GPU. Engines og Python-pakker skal have aarch64-builds til den, og en almindelig
pip install vllmkan installere fint og så ikke starte; vLLM-guiden forklarer fælden. - Den kører i en container. På mange Sparks har den sin egen Docker-daemon, så arm64-containere fra leverandører kører; de andre kører en almindelig container uden Docker, hvor det native build ovenfor er vejen frem. Du kan ikke vælge hvilken.
- Ingen SLA og ingen backup. Modeldownloads uden for
/workspacegår tabt ved en genopbygning, og afslutning sletter alt.
Pris, og hvor Sparks står
0 $,79 i timen for én Spark, faktureret pr. minut fra forudbetalt kredit: 6 $,32 for en arbejdsdag på otte timer. Første optankning: betal 20 $, få 30 $ i kredit. En stoppet instans beholder sit workspace og faktureres med 75 % af timeprisen. Afslut, når du er færdig, så ophører faktureringen; det sletter workspacet. Priserne er ekskl. moms, hvor det er relevant.
Mine egne Sparks står i et datacenter i Hradec Králové i Tjekkiet. Partner-Sparks, der ejes og hostes af partnere i deres egne lokaler, står i USA, Sverige, Nederlandene, Slovakiet og Hongkong; en partner har fysisk adgang til sin maskine. Konsollen viser landet, og om det er i EØS, før du udruller. Alle placeringer tilbyder de DGX OS- og Ubuntu-images, der bruges ovenfor.
Hvem driver dette
GPUwerk er ny. Den drives af mig, Samuel Seidel, gennem PRINT IT! SE, en virksomhed registreret i Prag. Pr. 9. november 2026 har 94 udviklere startet 374 instanser siden september. Aktuel status står på status.gpuwerk.com, og kontaktsiden når direkte frem til mig, hvis du vil tjekke en model, før du lejer.
FAQ
Kan en DGX Spark køre en 70B-model?
Ja. Llama 3.3 70B i AWQ 4-bit er cirka 37 GiB vægte og passer med plads til overs, men den genererede 6,0 tokens i sekundet for en enkelt forespørgsel på en af mine Sparks (vLLM 0.27.1, 2. september 2026). Det egner sig bedre til batchjob end til chat.
Passer gpt-oss-120b på én DGX Spark?
Ja. Dens MXFP4-vægte fylder i alt 65,2 GB, og den læser cirka 5,1B parametre pr. token. llama.cpp-vedligeholderne rapporterer 58,7 tok/s for én forespørgsel; Dendro Logic rapporterer 33,5 på vLLM med længere prompts og JSON-output. Jeg har ikke målt den på min flåde.
Hvad med modeller større end 128 GB?
De kræver to forbundne Sparks. Et Qwen3-235B-A22B-build på 134 GB kørte med cirka 1,8 tok/s på én Spark og cirka 12,5 på to i en rapport på NVIDIAs udviklerforum. GPUwerks klynge med to noder koster 1 $,79 i timen, når konsollen tilbyder den.
Hvad koster det at prøve en stor model?
0 $,79 i timen for én Spark, faktureret pr. minut fra forudbetalt kredit; den første download og llama.cpp-buildet kører på den tid. Første optankning: betal 20 $, få 30 $ i kredit, cirka 37 timer. Afslut, når du er færdig, så ophører faktureringen.