DGX Spark/Lieli modeļi
Lietojuma gadījums · Lieli modeļi

Darbiniet 70B līdz 120B klases modeļus 128 GB vienotajā atmiņā

Autors: Samuel Seidel · Atjaunināts 2026. gada 10. novembrī · 7 min lasīšanai

DGX Spark ir 128 GB atmiņas, ko koplieto tā CPU un GPU, tāpēc modeļi, kas nekad neietilpst 24 vai 32 GB grafiskajā kartē, tiek ielādēti vienā gabalā. Ietilpt nenozīmē būt ātram. Atmiņa pārvieto 273 GB/s, un katrs ģenerētais tokens vienreiz nolasa modeļa aktīvos svarus. Vienā no maniem Spark blīvs Llama 3.3 70B vienam pieprasījumam ģenerēja 6,0 tokenus sekundē. Ekspertu maisījuma (MoE) modelis katram tokenam nolasa tikai daļu savu svaru: par gpt-oss-120b tajā pašā mikroshēmā ziņots 58,7 tok/s. Izvēlieties modeli atbilstoši joslas platumam, tad nomājiet Spark uz tik stundām, cik jums vajag.

Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā, aptuveni 37 stundas vienā Spark. Maksa par katru minūti no priekšapmaksas kredīta. Izbeidziet instanci, kad esat pabeiguši, un maksas aprēķins beidzas.

Kas ietilpst un cik ātri tiek izpildīts viens pieprasījums

Modelis un formātsNolasīts uz tokenuViens pieprasījumsAvots
Qwen3-Coder 30B-A3B, AWQ 4 bituaptuveni 3B parametri80,9 tok/sMans mērījums, vLLM 0.27.1, 2026. gada 2. sept. (neapstrādāts žurnāls)
gpt-oss-120b, MXFP45,1B of 117B58,7 tok/sZiņots: llama.cpp DGX Spark rezultāti, build 7941, 2026. gada 5. febr.
gpt-oss-120b, MXFP45,1B of 117B33,5 tok/sZiņots: Dendro Logic, vLLM, 1500 tokenu prompti un JSON izvade, 2026. gada 22. apr.
Nemotron-3-Super-120B-A12B, NVFP412B of 120Baptuveni 24 tok/sZiņots: NVIDIA forums, vLLM ar CUTLASS labojumu, 2026. gada 29. marts
Llama 3.3 70B, AWQ 4 bituvisi 70B (blīvs)6,0 tok/sMans mērījums, vLLM 0.27.1, 2026. gada 2. sept. (neapstrādāts žurnāls)
Nemotron Super 49B v1.5, NVFP4visi 49B (blīvs)5,79 tok/sZiņots: Dendro Logic, 2026. gada 22. apr.
Qwen3-235B-A22B, UD-Q4_K_XL (134 GB)22B of 235Baptuveni 1,8 tok/s; neietilpstZiņots: NVIDIA forums, llama.cpp, 2025. gada 17. dec.

"Ziņots" rindas ir citu cilvēku mērījumi, ko es apkopoju un 2026. gada 11. oktobrī pārbaudīju pēc to avotiem etalontestu lapai; es tos neesmu atkārtojis. Divas gpt-oss-120b rindas parāda, cik ļoti dzinējs un darba slodze maina viena modeļa rezultātu uz vienas mikroshēmas. gpt-oss-120b parametru skaits ņemts no tā modeļa kartītes, izmantojot atmiņas kalkulatoru.

Kāpēc blīvs 70B ir lēns, bet 120B MoE nav

Tokena ģenerēšana nozīmē vienreiz nolasīt aktīvos svarus no atmiņas, tāpēc maksimums ir atmiņas joslas platums, dalīts ar katram tokenam nolasītajiem baitiem:

tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token

Llama 3.3 70B, 4-bit:  about 37 GB per token  → about 7.4 tok/s   (measured 6.0)
gpt-oss-120b, MXFP4:   about 3 GB per token   → about 90 tok/s    (reported 58.7)

Reālie dzinēji sasniedz aptuveni pusi līdz četras piektdaļas no maksimuma. Zem aptuveni 10 tok/s modelis tērzēšanas logā šķiet lēns, tāpēc blīvs 70B vienā Spark ir pakešu modelis: ar 128 vienlaicīgiem pieprasījumiem mans 70B mērījums kopā sasniedza 485 tok/s, skaitot prompta un ģenerētos tokenus, bet katrs pieprasījums palēninājās līdz 1,4 tok/s. Pilnas vienlaicīguma līknes ir etalontestu lapā.

Ko es darbinātu

Darbiniet gpt-oss-120b ar llama.cpp

Vienam lietotājam vienlaikus llama.cpp šajā mikroshēmā ir ātrākais dzinējs. Izvietojiet DGX Spark 1× ar DGX OS attēlu, atveriet pārlūka termināli, kompilējiet llama.cpp priekš GB10 (5 līdz 10 minūtes) un palaidiet modeli. Kompilēšanas soļi ir tādi paši kā manā llama.cpp ceļvedī.

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# downloads about 65 GB the first time
./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \
  --host 127.0.0.1 --port 30000

Kad žurnālā redzams, ka serveris klausās, izmēriet savu ātrumu no otra termināļa. llama-server ar katru atbildi atgriež savus laika rādītājus:

curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
  | python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'

Lejupielāde notiek par maksas laiku, tāpēc sāciet to vispirms un lasiet, kamēr tā ielādējas. Lai sasniegtu serveri no klēpjdatora, izmantojiet SSH tuneli ar savu atslēgu vai palaidiet to ar --host 0.0.0.0 --api-key un garu nejaušu atslēgu: katrai instancei ir sava publiskā IPv4 adrese. Vairākiem lietotājiem vienlaikus vLLM labāk apvieno pieprasījumus paketēs; vLLM ceļvedī ir atmiņas aprēķini vienotajai atmiņai.

Ierobežojumi, kas jāzina vispirms

Cena un kur atrodas Spark

0,79 $ stundā par vienu Spark, maksa par katru minūti no priekšapmaksas kredīta: 6,32 $ par astoņu stundu darba dienu. Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā. Apturēta instance saglabā savu darbvietu, un par to tiek iekasēti 75% no stundas likmes. Izbeidziet instanci, kad esat pabeiguši, un maksas aprēķins beidzas; tas dzēš darbvietu. Cenas norādītas bez PVN, ja tas piemērojams.

Mani Spark atrodas datu centrā Hradecā Krālovē, Čehijā. Partneru Spark, kas pieder partneriem un ko tie mitina savās telpās, atrodas ASV, Zviedrijā, Nīderlandē, Slovākijā un Honkongā; partnerim ir fiziska piekļuve savai iekārtai. Konsole pirms izvietošanas parāda valsti un to, vai tā ir EEZ. Katrā atrašanās vietā ir pieejami iepriekš izmantotie DGX OS un Ubuntu attēli.

Kas to vada

GPUwerk ir jauns. To vadu es, Samuel Seidel, caur PRINT IT! SE, Prāgā reģistrētu uzņēmumu. Uz 2026. gada 9. novembri 94 izstrādātāji kopš septembra ir palaiduši 374 instances. Aktuālais statuss ir status.gpuwerk.com, un caur kontaktu lapu varat sazināties tieši ar mani, ja vēlaties pārbaudīt modeli pirms nomas.

BUJ

Vai DGX Spark var darbināt 70B modeli?

Jā. Llama 3.3 70B formātā AWQ 4 bitu ir aptuveni 37 GiB svaru un ietilpst ar rezervi, taču vienā no maniem Spark tas vienam pieprasījumam ģenerēja 6,0 tokenus sekundē (vLLM 0.27.1, 2026. gada 2. septembris). Tas vairāk der pakešuzdevumiem nekā tērzēšanai.

Vai gpt-oss-120b ietilpst vienā DGX Spark?

Jā. Tā MXFP4 svari kopā aizņem 65,2 GB, un tas katram tokenam nolasa aptuveni 5,1B parametrus. llama.cpp uzturētāji ziņo par 58,7 tok/s vienam pieprasījumam; Dendro Logic ziņo par 33,5 ar vLLM ar garākiem promptiem un JSON izvadi. Es to neesmu mērījis savā flotē.

Kā ar modeļiem, kas lielāki par 128 GB?

Tiem vajag divus savienotus Spark. Qwen3-235B-A22B 134 GB versija darbojās ar aptuveni 1,8 tok/s vienā Spark un aptuveni 12,5 divos, saskaņā ar ziņojumu NVIDIA izstrādātāju forumā. GPUwerk divu mezglu klasteris maksā 1,79 $ stundā, kad konsole to piedāvā.

Cik izmaksā izmēģināt lielu modeli?

0,79 $ stundā par vienu Spark, maksa par katru minūti no priekšapmaksas kredīta; pirmā lejupielāde un llama.cpp kompilēšana notiek par šo pašu maksu. Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā, aptuveni 37 stundas. Izbeidziet instanci, kad esat pabeiguši, un maksas aprēķins beidzas.

Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā

Ielādējiet 120B modeli savā Spark.

Atsevišķs DGX Spark ar 128 GB vienoto atmiņu, 0,79 $/h, maksa par katru minūti. Izbeidziet instanci, kad esat pabeiguši, un maksas aprēķins beidzas.

Izvietot tagad