Darbiniet 70B līdz 120B klases modeļus 128 GB vienotajā atmiņā
DGX Spark ir 128 GB atmiņas, ko koplieto tā CPU un GPU, tāpēc modeļi, kas nekad neietilpst 24 vai 32 GB grafiskajā kartē, tiek ielādēti vienā gabalā. Ietilpt nenozīmē būt ātram. Atmiņa pārvieto 273 GB/s, un katrs ģenerētais tokens vienreiz nolasa modeļa aktīvos svarus. Vienā no maniem Spark blīvs Llama 3.3 70B vienam pieprasījumam ģenerēja 6,0 tokenus sekundē. Ekspertu maisījuma (MoE) modelis katram tokenam nolasa tikai daļu savu svaru: par gpt-oss-120b tajā pašā mikroshēmā ziņots 58,7 tok/s. Izvēlieties modeli atbilstoši joslas platumam, tad nomājiet Spark uz tik stundām, cik jums vajag.
Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā, aptuveni 37 stundas vienā Spark. Maksa par katru minūti no priekšapmaksas kredīta. Izbeidziet instanci, kad esat pabeiguši, un maksas aprēķins beidzas.
Kas ietilpst un cik ātri tiek izpildīts viens pieprasījums
| Modelis un formāts | Nolasīts uz tokenu | Viens pieprasījums | Avots |
|---|---|---|---|
| Qwen3-Coder 30B-A3B, AWQ 4 bitu | aptuveni 3B parametri | 80,9 tok/s | Mans mērījums, vLLM 0.27.1, 2026. gada 2. sept. (neapstrādāts žurnāls) |
| gpt-oss-120b, MXFP4 | 5,1B of 117B | 58,7 tok/s | Ziņots: llama.cpp DGX Spark rezultāti, build 7941, 2026. gada 5. febr. |
| gpt-oss-120b, MXFP4 | 5,1B of 117B | 33,5 tok/s | Ziņots: Dendro Logic, vLLM, 1500 tokenu prompti un JSON izvade, 2026. gada 22. apr. |
| Nemotron-3-Super-120B-A12B, NVFP4 | 12B of 120B | aptuveni 24 tok/s | Ziņots: NVIDIA forums, vLLM ar CUTLASS labojumu, 2026. gada 29. marts |
| Llama 3.3 70B, AWQ 4 bitu | visi 70B (blīvs) | 6,0 tok/s | Mans mērījums, vLLM 0.27.1, 2026. gada 2. sept. (neapstrādāts žurnāls) |
| Nemotron Super 49B v1.5, NVFP4 | visi 49B (blīvs) | 5,79 tok/s | Ziņots: Dendro Logic, 2026. gada 22. apr. |
| Qwen3-235B-A22B, UD-Q4_K_XL (134 GB) | 22B of 235B | aptuveni 1,8 tok/s; neietilpst | Ziņots: NVIDIA forums, llama.cpp, 2025. gada 17. dec. |
"Ziņots" rindas ir citu cilvēku mērījumi, ko es apkopoju un 2026. gada 11. oktobrī pārbaudīju pēc to avotiem etalontestu lapai; es tos neesmu atkārtojis. Divas gpt-oss-120b rindas parāda, cik ļoti dzinējs un darba slodze maina viena modeļa rezultātu uz vienas mikroshēmas. gpt-oss-120b parametru skaits ņemts no tā modeļa kartītes, izmantojot atmiņas kalkulatoru.
Kāpēc blīvs 70B ir lēns, bet 120B MoE nav
Tokena ģenerēšana nozīmē vienreiz nolasīt aktīvos svarus no atmiņas, tāpēc maksimums ir atmiņas joslas platums, dalīts ar katram tokenam nolasītajiem baitiem:
tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token Llama 3.3 70B, 4-bit: about 37 GB per token → about 7.4 tok/s (measured 6.0) gpt-oss-120b, MXFP4: about 3 GB per token → about 90 tok/s (reported 58.7)
Reālie dzinēji sasniedz aptuveni pusi līdz četras piektdaļas no maksimuma. Zem aptuveni 10 tok/s modelis tērzēšanas logā šķiet lēns, tāpēc blīvs 70B vienā Spark ir pakešu modelis: ar 128 vienlaicīgiem pieprasījumiem mans 70B mērījums kopā sasniedza 485 tok/s, skaitot prompta un ģenerētos tokenus, bet katrs pieprasījums palēninājās līdz 1,4 tok/s. Pilnas vienlaicīguma līknes ir etalontestu lapā.
Ko es darbinātu
- 120B klases modelis, ar kuru var sarunāties: gpt-oss-120b formātā MXFP4. Svari aizņem 65,2 GB, kas atstāj vietu garam kontekstam, un tas katram tokenam nolasa aptuveni 5B parametrus.
- Vispirms ātrums: Qwen3 ekspertu maisījuma modelis ar 4 bitiem, piemēram, Qwen3-30B-A3B vai Qwen3.6-35B-A3B. Tie katram tokenam nolasa aptuveni 3B parametrus.
- Blīvs 70B modelis: tikai pakešuzdevumiem vai tad, ja jums vajag tieši šo modeli. Rēķinieties ar aptuveni 6 tok/s vienam pieprasījumam.
- Kvantējiet līdz 4 bitiem. MXFP4, NVFP4, AWQ vai Q4_K_M uz pusi samazina baitus uz tokenu salīdzinājumā ar FP8 un aptuveni divkāršo maksimumu. Kvalitātes zudumi atšķiras atkarībā no formāta; kvantēšanas ātruma ceļvedis tos salīdzina uz šīs mikroshēmas.
- Virs 128 GB: divi savienoti Spark par 1,79 $ stundā par divu mezglu klasteri, kad konsole to piedāvā. Iepriekš minētais Qwen3-235B ziņojums pieauga no aptuveni 1,8 tok/s vienā Spark līdz aptuveni 12,5 divos. Divu mezglu ceļvedis apraksta, ko dod savienošana pārī.
Darbiniet gpt-oss-120b ar llama.cpp
Vienam lietotājam vienlaikus llama.cpp šajā mikroshēmā ir ātrākais dzinējs. Izvietojiet DGX Spark 1× ar DGX OS attēlu, atveriet pārlūka termināli, kompilējiet llama.cpp priekš GB10 (5 līdz 10 minūtes) un palaidiet modeli. Kompilēšanas soļi ir tādi paši kā manā llama.cpp ceļvedī.
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # downloads about 65 GB the first time ./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \ --host 127.0.0.1 --port 30000
Kad žurnālā redzams, ka serveris klausās, izmēriet savu ātrumu no otra termināļa. llama-server ar katru atbildi atgriež savus laika rādītājus:
curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
| python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'
Lejupielāde notiek par maksas laiku, tāpēc sāciet to vispirms un lasiet, kamēr tā ielādējas. Lai sasniegtu serveri no klēpjdatora, izmantojiet SSH tuneli ar savu atslēgu vai palaidiet to ar --host 0.0.0.0 --api-key un garu nejaušu atslēgu: katrai instancei ir sava publiskā IPv4 adrese. Vairākiem lietotājiem vienlaikus vLLM labāk apvieno pieprasījumus paketēs; vLLM ceļvedī ir atmiņas aprēķini vienotajai atmiņai.
Ierobežojumi, kas jāzina vispirms
- Es neesmu izmērījis gpt-oss-120b savā flotē. Tā augstāk norādītie skaitļi ir ziņoti, un jūsu promptu rezultāti būs citādi. Izmēriet, pirms balstāt plānus uz kādu skaitli.
- Gari prompti uz lieliem blīviem modeļiem ir lēni. Mans 70B mērījums nolasīja 8192 tokenu promptu ar 391 tok/s, aptuveni 21 sekundi pirms pirmā tokena.
- Kvantēšana maksā kvalitāti. 4 bitu modelis nav pilnas precizitātes modelis. Pārbaudiet atbildes ar saviem promptiem.
- Spark ir ARM64 ar sm_121 GPU. Dzinējiem un Python pakotnēm tam vajag aarch64 versijas, un vienkāršs
pip install vllmvar veiksmīgi instalēties un pēc tam nestartēt; vLLM ceļvedis izskaidro šo slazdu. - Tas darbojas konteinerā. Daudzos Spark tam ir savs Docker dēmons, tāpēc arm64 ražotāju konteineri darbojas; pārējie darbina vienkāršu konteineru bez Docker, kur ceļš ir iepriekš aprakstītā vietējā kompilēšana. Jūs nevarat izvēlēties, kuru.
- Nav SLA un nav dublējumu. Modeļu lejupielādes ārpus
/workspacepārbūves laikā tiek zaudētas, un izbeigšana dzēš visu.
Cena un kur atrodas Spark
0,79 $ stundā par vienu Spark, maksa par katru minūti no priekšapmaksas kredīta: 6,32 $ par astoņu stundu darba dienu. Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā. Apturēta instance saglabā savu darbvietu, un par to tiek iekasēti 75% no stundas likmes. Izbeidziet instanci, kad esat pabeiguši, un maksas aprēķins beidzas; tas dzēš darbvietu. Cenas norādītas bez PVN, ja tas piemērojams.
Mani Spark atrodas datu centrā Hradecā Krālovē, Čehijā. Partneru Spark, kas pieder partneriem un ko tie mitina savās telpās, atrodas ASV, Zviedrijā, Nīderlandē, Slovākijā un Honkongā; partnerim ir fiziska piekļuve savai iekārtai. Konsole pirms izvietošanas parāda valsti un to, vai tā ir EEZ. Katrā atrašanās vietā ir pieejami iepriekš izmantotie DGX OS un Ubuntu attēli.
Kas to vada
GPUwerk ir jauns. To vadu es, Samuel Seidel, caur PRINT IT! SE, Prāgā reģistrētu uzņēmumu. Uz 2026. gada 9. novembri 94 izstrādātāji kopš septembra ir palaiduši 374 instances. Aktuālais statuss ir status.gpuwerk.com, un caur kontaktu lapu varat sazināties tieši ar mani, ja vēlaties pārbaudīt modeli pirms nomas.
BUJ
Vai DGX Spark var darbināt 70B modeli?
Jā. Llama 3.3 70B formātā AWQ 4 bitu ir aptuveni 37 GiB svaru un ietilpst ar rezervi, taču vienā no maniem Spark tas vienam pieprasījumam ģenerēja 6,0 tokenus sekundē (vLLM 0.27.1, 2026. gada 2. septembris). Tas vairāk der pakešuzdevumiem nekā tērzēšanai.
Vai gpt-oss-120b ietilpst vienā DGX Spark?
Jā. Tā MXFP4 svari kopā aizņem 65,2 GB, un tas katram tokenam nolasa aptuveni 5,1B parametrus. llama.cpp uzturētāji ziņo par 58,7 tok/s vienam pieprasījumam; Dendro Logic ziņo par 33,5 ar vLLM ar garākiem promptiem un JSON izvadi. Es to neesmu mērījis savā flotē.
Kā ar modeļiem, kas lielāki par 128 GB?
Tiem vajag divus savienotus Spark. Qwen3-235B-A22B 134 GB versija darbojās ar aptuveni 1,8 tok/s vienā Spark un aptuveni 12,5 divos, saskaņā ar ziņojumu NVIDIA izstrādātāju forumā. GPUwerk divu mezglu klasteris maksā 1,79 $ stundā, kad konsole to piedāvā.
Cik izmaksā izmēģināt lielu modeli?
0,79 $ stundā par vienu Spark, maksa par katru minūti no priekšapmaksas kredīta; pirmā lejupielāde un llama.cpp kompilēšana notiek par šo pašu maksu. Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā, aptuveni 37 stundas. Izbeidziet instanci, kad esat pabeiguši, un maksas aprēķins beidzas.