DGX Spark/Dideli modeliai
Naudojimo atvejis · Dideli modeliai

Paleiskite 70B–120B klasės modelius 128 GB bendros atminties

Autorius Samuel Seidel · Atnaujinta 2026 m. lapkričio 10 d. · 7 min. skaitymo

DGX Spark turi 128 GB atminties, kuria dalijasi CPU ir GPU, todėl modeliai, kurie niekada netilptų į 24 ar 32 GB vaizdo plokštę, įkeliami vientisai. Tilpti dar nereiškia veikti greitai. Atmintis perduoda 273 GB/s, o kiekvienas sugeneruotas tokenas vieną kartą nuskaito aktyvius modelio svorius. Viename iš mano Spark tankus Llama 3.3 70B vienai užklausai generavo 6,0 tokeno per sekundę. Ekspertų mišinio (MoE) modelis kiekvienam tokenui nuskaito tik dalį savo svorių: pranešama, kad gpt-oss-120b tame pačiame luste pasiekia 58,7 tok/s. Pasirinkite modelį pagal pralaidumą, tada išsinuomokite Spark tiek valandų, kiek reikia.

Pirmasis papildymas: sumokėkite 20 USD, gaukite 30 USD kredito, tai apie 37 valandos viename DGX Spark įrenginyje. Apmokestinama už minutę iš išankstinio kredito. Baigę darbą nutraukite egzempliorių, ir mokestis nebeskaičiuojamas.

Kas telpa ir kaip greitai veikia viena užklausa

Modelis ir formatasNuskaitoma vienam tokenuiViena užklausaŠaltinis
Qwen3-Coder 30B-A3B, AWQ 4 bitųapie 3B parametrų80,9 tok/sMano paleidimas, vLLM 0.27.1, 2026 m. rugsėjo 2 d. (neapdorotas žurnalas)
gpt-oss-120b, MXFP45,1B iš 117B58,7 tok/sPranešta: llama.cpp DGX Spark rezultatai, versija 7941, 2026 m. vasario 5 d.
gpt-oss-120b, MXFP45,1B iš 117B33,5 tok/sPranešta: Dendro Logic, vLLM, 1 500 tokenų užklausos ir JSON išvestis, 2026 m. balandžio 22 d.
Nemotron-3-Super-120B-A12B, NVFP412B iš 120Bapie 24 tok/sPranešta: NVIDIA forumas, vLLM su CUTLASS pataisa, 2026 m. kovo 29 d.
Llama 3.3 70B, AWQ 4 bitųvisi 70B (tankus)6,0 tok/sMano paleidimas, vLLM 0.27.1, 2026 m. rugsėjo 2 d. (neapdorotas žurnalas)
Nemotron Super 49B v1.5, NVFP4visi 49B (tankus)5,79 tok/sPranešta: Dendro Logic, 2026 m. balandžio 22 d.
Qwen3-235B-A22B, UD-Q4_K_XL (134 GB)22B iš 235Bapie 1,8 tok/s; netelpaPranešta: NVIDIA forumas, llama.cpp, 2025 m. gruodžio 17 d.

Eilutės „Pranešta“ – kitų žmonių matavimai, kuriuos surinkau ir patikrinau pagal jų šaltinius 2026 m. spalio 11 d. lyginamųjų testų puslapiui; jų neatkartojau. Dvi gpt-oss-120b eilutės rodo, kaip stipriai variklis ir darbo krūvis keičia vieno modelio rezultatus tame pačiame luste. gpt-oss-120b parametrų skaičiai paimti iš jo modelio kortelės, per atminties skaičiuoklę.

Kodėl tankus 70B lėtas, o 120B MoE – ne

Tokeno generavimas reiškia vieną kartą nuskaityti aktyvius svorius iš atminties, todėl riba yra atminties pralaidumas, padalytas iš baitų, nuskaitomų kiekvienam tokenui:

tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token

Llama 3.3 70B, 4-bit:  about 37 GB per token  → about 7.4 tok/s   (measured 6.0)
gpt-oss-120b, MXFP4:   about 3 GB per token   → about 90 tok/s    (reported 58.7)

Tikri varikliai pasiekia nuo maždaug pusės iki keturių penktadalių ribos. Mažiau nei maždaug 10 tok/s pokalbių lange modelis atrodo lėtas, todėl tankus 70B viename Spark yra paketinis modelis: esant 128 vykdomoms užklausoms mano 70B paleidimas iš viso pasiekė 485 tok/s, skaičiuojant užklausos ir sugeneruotus tokenus, bet kiekviena užklausa sulėtėjo iki 1,4 tok/s. Visos lygiagretumo kreivės pateiktos lyginamųjų testų puslapyje.

Ką paleisčiau

Paleiskite gpt-oss-120b su llama.cpp

Vienam naudotojui vienu metu šiame luste greitesnis variklis yra llama.cpp. Paleiskite DGX Spark 1× su DGX OS atvaizdu, atidarykite naršyklės terminalą, sukompiliuokite llama.cpp GB10 (5–10 minučių) ir paleiskite modelį. Kompiliavimo žingsniai tokie patys kaip mano llama.cpp vadove.

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# downloads about 65 GB the first time
./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \
  --host 127.0.0.1 --port 30000

Kai žurnale parašyta, kad serveris klauso, išmatuokite savo greitį iš antro terminalo. llama-server su kiekvienu atsakymu grąžina laiko matavimus:

curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
  | python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'

Atsisiuntimas vyksta apmokamu laiku, todėl pradėkite jį pirmiausia ir skaitykite, kol jis kraunasi. Kad pasiektumėte serverį iš nešiojamojo kompiuterio, naudokite SSH tunelį su savo raktu arba paleiskite jį su --host 0.0.0.0 --api-key ir ilgu atsitiktiniu raktu: kiekvienas egzempliorius turi savo viešą IPv4 adresą. Keliems naudotojams vienu metu vLLM grupuoja geriau; vLLM vadove pateikti atminties skaičiavimai bendrai atminčiai.

Apribojimai, kuriuos verta žinoti iš anksto

Kaina ir kur yra Spark

0,79 USD per valandą už vieną Spark, apmokestinama už minutę iš išankstinio kredito: 6,32 USD už aštuonių valandų darbo dieną. Pirmasis papildymas: sumokėkite 20 USD, gaukite 30 USD kredito. Sustabdytas egzempliorius išlaiko darbo sritį ir apmokestinamas 75% valandinio tarifo. Baigę darbą nutraukite egzempliorių, ir mokestis nebeskaičiuojamas; kartu ištrinama darbo sritis. Kainos nurodytos be PVM, kai jis taikomas.

Mano nuosavi Spark yra duomenų centre Hradec Králové, Čekijoje. Partnerių Spark, kurie priklauso partneriams ir yra talpinami jų patalpose, yra JAV, Švedijoje, Nyderlanduose, Slovakijoje ir Honkonge; partneris turi fizinę prieigą prie savo įrenginio. Prieš paleidžiant konsolė rodo šalį ir ar ji yra EEE. Kiekvienoje vietoje siūlomi aukščiau naudoti DGX OS ir Ubuntu atvaizdai.

Kas tai valdo

GPUwerk yra nauja. Jai vadovauju aš, Samuel Seidel, per PRINT IT! SE – Prahoje registruotą įmonę. 2026 m. lapkričio 9 d. duomenimis, nuo rugsėjo 94 kūrėjai paleido 374 egzempliorius. Būsena realiuoju laiku skelbiama status.gpuwerk.com, o per kontaktų puslapį galite susisiekti tiesiogiai su manimi, jei prieš nuomodamiesi norite patikrinti modelį.

DUK

Ar DGX Spark gali paleisti 70B modelį?

Taip. Llama 3.3 70B AWQ 4 bitų formatu užima apie 37 GiB svorių ir telpa su atsarga, bet viename iš mano Spark vienai užklausai generavo 6,0 tokeno per sekundę (vLLM 0.27.1, 2026 m. rugsėjo 2 d.). Tai labiau tinka paketinėms užduotims nei pokalbiams.

Ar gpt-oss-120b telpa į vieno DGX Spark atmintį?

Taip. Jo MXFP4 svoriai iš viso užima 65,2 GB, o kiekvienam tokenui jis nuskaito apie 5,1B parametrų. llama.cpp prižiūrėtojai vienai užklausai praneša 58,7 tok/s; Dendro Logic praneša 33,5 su vLLM, ilgesnėmis užklausomis ir JSON išvestimi. Savo parke jo nesu išmatavęs.

O kaip modeliai, didesni nei 128 GB?

Jiems reikia dviejų sujungtų Spark įrenginių. NVIDIA kūrėjų forumo pranešime 134 GB Qwen3-235B-A22B versija viename Spark veikė apie 1,8 tok/s, o dviejuose – apie 12,5. GPUwerk dviejų mazgų klasteris kainuoja 1,79 USD per valandą, kai konsolė jį siūlo.

Kiek kainuoja išbandyti didelį modelį?

0,79 USD per valandą už vieną Spark, apmokestinama už minutę iš išankstinio kredito; pirmasis atsisiuntimas ir llama.cpp kompiliavimas taip pat skaičiuojami į tą patį laiką. Pirmasis papildymas: sumokėkite 20 USD, gaukite 30 USD kredito, tai maždaug 37 valandos. Baigę darbą nutraukite egzempliorių, ir mokestis nebeskaičiuojamas.

Pirmasis papildymas: sumokėkite 20 USD, gaukite 30 USD kredito

Įkelkite 120B modelį į savo Spark.

Dedikuotas DGX Spark su 128 GB bendros atminties, 0,79 USD/val., apmokestinama už minutę. Baigę darbą nutraukite egzempliorių, ir mokestis nebeskaičiuojamas.

Paleisti dabar