Paleiskite 70B–120B klasės modelius 128 GB bendros atminties
DGX Spark turi 128 GB atminties, kuria dalijasi CPU ir GPU, todėl modeliai, kurie niekada netilptų į 24 ar 32 GB vaizdo plokštę, įkeliami vientisai. Tilpti dar nereiškia veikti greitai. Atmintis perduoda 273 GB/s, o kiekvienas sugeneruotas tokenas vieną kartą nuskaito aktyvius modelio svorius. Viename iš mano Spark tankus Llama 3.3 70B vienai užklausai generavo 6,0 tokeno per sekundę. Ekspertų mišinio (MoE) modelis kiekvienam tokenui nuskaito tik dalį savo svorių: pranešama, kad gpt-oss-120b tame pačiame luste pasiekia 58,7 tok/s. Pasirinkite modelį pagal pralaidumą, tada išsinuomokite Spark tiek valandų, kiek reikia.
Pirmasis papildymas: sumokėkite 20 USD, gaukite 30 USD kredito, tai apie 37 valandos viename DGX Spark įrenginyje. Apmokestinama už minutę iš išankstinio kredito. Baigę darbą nutraukite egzempliorių, ir mokestis nebeskaičiuojamas.
Kas telpa ir kaip greitai veikia viena užklausa
| Modelis ir formatas | Nuskaitoma vienam tokenui | Viena užklausa | Šaltinis |
|---|---|---|---|
| Qwen3-Coder 30B-A3B, AWQ 4 bitų | apie 3B parametrų | 80,9 tok/s | Mano paleidimas, vLLM 0.27.1, 2026 m. rugsėjo 2 d. (neapdorotas žurnalas) |
| gpt-oss-120b, MXFP4 | 5,1B iš 117B | 58,7 tok/s | Pranešta: llama.cpp DGX Spark rezultatai, versija 7941, 2026 m. vasario 5 d. |
| gpt-oss-120b, MXFP4 | 5,1B iš 117B | 33,5 tok/s | Pranešta: Dendro Logic, vLLM, 1 500 tokenų užklausos ir JSON išvestis, 2026 m. balandžio 22 d. |
| Nemotron-3-Super-120B-A12B, NVFP4 | 12B iš 120B | apie 24 tok/s | Pranešta: NVIDIA forumas, vLLM su CUTLASS pataisa, 2026 m. kovo 29 d. |
| Llama 3.3 70B, AWQ 4 bitų | visi 70B (tankus) | 6,0 tok/s | Mano paleidimas, vLLM 0.27.1, 2026 m. rugsėjo 2 d. (neapdorotas žurnalas) |
| Nemotron Super 49B v1.5, NVFP4 | visi 49B (tankus) | 5,79 tok/s | Pranešta: Dendro Logic, 2026 m. balandžio 22 d. |
| Qwen3-235B-A22B, UD-Q4_K_XL (134 GB) | 22B iš 235B | apie 1,8 tok/s; netelpa | Pranešta: NVIDIA forumas, llama.cpp, 2025 m. gruodžio 17 d. |
Eilutės „Pranešta“ – kitų žmonių matavimai, kuriuos surinkau ir patikrinau pagal jų šaltinius 2026 m. spalio 11 d. lyginamųjų testų puslapiui; jų neatkartojau. Dvi gpt-oss-120b eilutės rodo, kaip stipriai variklis ir darbo krūvis keičia vieno modelio rezultatus tame pačiame luste. gpt-oss-120b parametrų skaičiai paimti iš jo modelio kortelės, per atminties skaičiuoklę.
Kodėl tankus 70B lėtas, o 120B MoE – ne
Tokeno generavimas reiškia vieną kartą nuskaityti aktyvius svorius iš atminties, todėl riba yra atminties pralaidumas, padalytas iš baitų, nuskaitomų kiekvienam tokenui:
tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token Llama 3.3 70B, 4-bit: about 37 GB per token → about 7.4 tok/s (measured 6.0) gpt-oss-120b, MXFP4: about 3 GB per token → about 90 tok/s (reported 58.7)
Tikri varikliai pasiekia nuo maždaug pusės iki keturių penktadalių ribos. Mažiau nei maždaug 10 tok/s pokalbių lange modelis atrodo lėtas, todėl tankus 70B viename Spark yra paketinis modelis: esant 128 vykdomoms užklausoms mano 70B paleidimas iš viso pasiekė 485 tok/s, skaičiuojant užklausos ir sugeneruotus tokenus, bet kiekviena užklausa sulėtėjo iki 1,4 tok/s. Visos lygiagretumo kreivės pateiktos lyginamųjų testų puslapyje.
Ką paleisčiau
- 120B klasės modelis, su kuriuo galite kalbėtis: gpt-oss-120b MXFP4 formatu. Svoriai užima 65,2 GB, todėl lieka vietos ilgam kontekstui, o kiekvienam tokenui nuskaitoma apie 5B parametrų.
- Pirmiausia greitis: Qwen3 ekspertų mišinio modelis 4 bitų formatu, pavyzdžiui, Qwen3-30B-A3B arba Qwen3.6-35B-A3B. Jie kiekvienam tokenui nuskaito apie 3B parametrų.
- Tankus 70B: tik paketinėms užduotims arba kai jums reikia būtent to modelio. Tikėkitės apie 6 tok/s vienai užklausai.
- Kvantuokite iki 4 bitų. MXFP4, NVFP4, AWQ arba Q4_K_M perpus sumažina baitus vienam tokenui palyginti su FP8 ir maždaug dvigubai padidina ribą. Kokybės kaina skiriasi pagal formatą; kvantavimo greičio vadove jie palyginti šiame luste.
- Daugiau nei 128 GB: du sujungti Spark, už 1,79 USD per valandą dviejų mazgų klasteriui, kai konsolė jį siūlo. Aukščiau minėtame Qwen3-235B pranešime greitis padidėjo nuo maždaug 1,8 tok/s viename Spark iki maždaug 12,5 dviejuose. Dviejų mazgų vadove aprašyta, ką duoda pora.
Paleiskite gpt-oss-120b su llama.cpp
Vienam naudotojui vienu metu šiame luste greitesnis variklis yra llama.cpp. Paleiskite DGX Spark 1× su DGX OS atvaizdu, atidarykite naršyklės terminalą, sukompiliuokite llama.cpp GB10 (5–10 minučių) ir paleiskite modelį. Kompiliavimo žingsniai tokie patys kaip mano llama.cpp vadove.
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # downloads about 65 GB the first time ./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \ --host 127.0.0.1 --port 30000
Kai žurnale parašyta, kad serveris klauso, išmatuokite savo greitį iš antro terminalo. llama-server su kiekvienu atsakymu grąžina laiko matavimus:
curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
| python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'
Atsisiuntimas vyksta apmokamu laiku, todėl pradėkite jį pirmiausia ir skaitykite, kol jis kraunasi. Kad pasiektumėte serverį iš nešiojamojo kompiuterio, naudokite SSH tunelį su savo raktu arba paleiskite jį su --host 0.0.0.0 --api-key ir ilgu atsitiktiniu raktu: kiekvienas egzempliorius turi savo viešą IPv4 adresą. Keliems naudotojams vienu metu vLLM grupuoja geriau; vLLM vadove pateikti atminties skaičiavimai bendrai atminčiai.
Apribojimai, kuriuos verta žinoti iš anksto
- gpt-oss-120b savo parke nesu išmatavęs. Aukščiau pateikti jo skaičiai – iš kitų šaltinių, o su jūsų užklausomis rezultatai bus kitokie. Išmatuokite prieš planuodami pagal kokį nors skaičių.
- Ilgos užklausos dideliuose tankiuose modeliuose apdorojamos lėtai. Mano 70B paleidime 8 192 tokenų užklausa buvo nuskaityta 391 tok/s greičiu, apie 21 sekundę iki pirmojo tokeno.
- Kvantavimas kainuoja kokybę. 4 bitų modelis nėra viso tikslumo modelis. Tikrinkite atsakymus su savo užklausomis.
- Spark yra ARM64 su sm_121 GPU. Varikliams ir Python paketams reikia aarch64 versijų, o paprastas
pip install vllmgali įsidiegti be klaidų, bet nepasileisti; vLLM vadove paaiškinti šie spąstai. - Jis veikia konteineryje. Daugelyje Spark jis turi savo Docker tarnybą, todėl veikia arm64 gamintojų konteineriai; kituose veikia paprastas konteineris be Docker, kuriame tinka aukščiau aprašytas natyvus kompiliavimas. Pasirinkti negalite.
- Jokio SLA ir jokių atsarginių kopijų. Modelių atsisiuntimai už
/workspaceribų prarandami perkūrus, o nutraukus ištrinama viskas.
Kaina ir kur yra Spark
0,79 USD per valandą už vieną Spark, apmokestinama už minutę iš išankstinio kredito: 6,32 USD už aštuonių valandų darbo dieną. Pirmasis papildymas: sumokėkite 20 USD, gaukite 30 USD kredito. Sustabdytas egzempliorius išlaiko darbo sritį ir apmokestinamas 75% valandinio tarifo. Baigę darbą nutraukite egzempliorių, ir mokestis nebeskaičiuojamas; kartu ištrinama darbo sritis. Kainos nurodytos be PVM, kai jis taikomas.
Mano nuosavi Spark yra duomenų centre Hradec Králové, Čekijoje. Partnerių Spark, kurie priklauso partneriams ir yra talpinami jų patalpose, yra JAV, Švedijoje, Nyderlanduose, Slovakijoje ir Honkonge; partneris turi fizinę prieigą prie savo įrenginio. Prieš paleidžiant konsolė rodo šalį ir ar ji yra EEE. Kiekvienoje vietoje siūlomi aukščiau naudoti DGX OS ir Ubuntu atvaizdai.
Kas tai valdo
GPUwerk yra nauja. Jai vadovauju aš, Samuel Seidel, per PRINT IT! SE – Prahoje registruotą įmonę. 2026 m. lapkričio 9 d. duomenimis, nuo rugsėjo 94 kūrėjai paleido 374 egzempliorius. Būsena realiuoju laiku skelbiama status.gpuwerk.com, o per kontaktų puslapį galite susisiekti tiesiogiai su manimi, jei prieš nuomodamiesi norite patikrinti modelį.
DUK
Ar DGX Spark gali paleisti 70B modelį?
Taip. Llama 3.3 70B AWQ 4 bitų formatu užima apie 37 GiB svorių ir telpa su atsarga, bet viename iš mano Spark vienai užklausai generavo 6,0 tokeno per sekundę (vLLM 0.27.1, 2026 m. rugsėjo 2 d.). Tai labiau tinka paketinėms užduotims nei pokalbiams.
Ar gpt-oss-120b telpa į vieno DGX Spark atmintį?
Taip. Jo MXFP4 svoriai iš viso užima 65,2 GB, o kiekvienam tokenui jis nuskaito apie 5,1B parametrų. llama.cpp prižiūrėtojai vienai užklausai praneša 58,7 tok/s; Dendro Logic praneša 33,5 su vLLM, ilgesnėmis užklausomis ir JSON išvestimi. Savo parke jo nesu išmatavęs.
O kaip modeliai, didesni nei 128 GB?
Jiems reikia dviejų sujungtų Spark įrenginių. NVIDIA kūrėjų forumo pranešime 134 GB Qwen3-235B-A22B versija viename Spark veikė apie 1,8 tok/s, o dviejuose – apie 12,5. GPUwerk dviejų mazgų klasteris kainuoja 1,79 USD per valandą, kai konsolė jį siūlo.
Kiek kainuoja išbandyti didelį modelį?
0,79 USD per valandą už vieną Spark, apmokestinama už minutę iš išankstinio kredito; pirmasis atsisiuntimas ir llama.cpp kompiliavimas taip pat skaičiuojami į tą patį laiką. Pirmasis papildymas: sumokėkite 20 USD, gaukite 30 USD kredito, tai maždaug 37 valandos. Baigę darbą nutraukite egzempliorių, ir mokestis nebeskaičiuojamas.