Rulați modele din clasa 70B până la 120B în 128 GB de memorie unificată
Un DGX Spark are 128 GB de memorie partajată de CPU și GPU, așa că modelele care nu încap niciodată pe o placă grafică de 24 sau 32 GB se încarcă dintr-o bucată. A încăpea nu înseamnă a fi rapid. Memoria transferă 273 GB/s, iar fiecare token generat citește o dată ponderile active ale modelului. Pe unul dintre Spark-urile mele, un Llama 3.3 70B dens a generat 6,0 tokeni pe secundă pentru o singură cerere. Un model mixture-of-experts citește doar o parte din ponderi per token: gpt-oss-120b este raportat la 58,7 tok/s pe același cip. Alegeți modelul în funcție de lățimea de bandă, apoi închiriați un Spark pentru orele de care aveți nevoie.
Prima reîncărcare: plătiți 20 $, primiți 30 $ credit, aproximativ 37 de ore pe un Spark. Facturat pe minut din credit preplătit. Terminați instanța când nu mai aveți nevoie de ea, iar facturarea se oprește.
Ce încape și cât de repede rulează o cerere
| Model și format | Citit per token | O cerere | Sursă |
|---|---|---|---|
| Qwen3-Coder 30B-A3B, AWQ pe 4 biți | aproximativ 3B parametri | 80,9 tok/s | Rularea mea, vLLM 0.27.1, 2 sept. 2026 (log brut) |
| gpt-oss-120b, MXFP4 | 5,1B din 117B | 58,7 tok/s | Raportat: rezultatele llama.cpp pe DGX Spark, build 7941, 5 feb. 2026 |
| gpt-oss-120b, MXFP4 | 5,1B din 117B | 33,5 tok/s | Raportat: Dendro Logic, vLLM, prompturi de 1.500 de tokeni și ieșire JSON, 22 apr. 2026 |
| Nemotron-3-Super-120B-A12B, NVFP4 | 12B din 120B | aproximativ 24 tok/s | Raportat: forumul NVIDIA, vLLM cu o corecție CUTLASS, 29 mar. 2026 |
| Llama 3.3 70B, AWQ pe 4 biți | toți cei 70B (dens) | 6,0 tok/s | Rularea mea, vLLM 0.27.1, 2 sept. 2026 (log brut) |
| Nemotron Super 49B v1.5, NVFP4 | toți cei 49B (dens) | 5,79 tok/s | Raportat: Dendro Logic, 22 apr. 2026 |
| Qwen3-235B-A22B, UD-Q4_K_XL (134 GB) | 22B din 235B | aproximativ 1,8 tok/s; nu încape | Raportat: forumul NVIDIA, llama.cpp, 17 dec. 2025 |
Rândurile „Raportat” sunt măsurătorile altor persoane, pe care le-am adunat și verificat cu sursele lor pe 11 octombrie 2026 pentru pagina de benchmark-uri; nu le-am reprodus. Cele două rânduri gpt-oss-120b arată cât de mult schimbă motorul și workload-ul un model pe același cip. Numărul de parametri pentru gpt-oss-120b provine din fișa modelului, prin calculatorul de memorie.
De ce un 70B dens este lent, iar un MoE de 120B nu
Generarea unui token înseamnă citirea o dată a ponderilor active din memorie, deci plafonul este lățimea de bandă a memoriei împărțită la octeții citiți per token:
tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token Llama 3.3 70B, 4-bit: about 37 GB per token → about 7.4 tok/s (measured 6.0) gpt-oss-120b, MXFP4: about 3 GB per token → about 90 tok/s (reported 58.7)
Motoarele reale ajung între aproximativ jumătate și patru cincimi din plafon. Sub aproximativ 10 tok/s, un model pare lent într-o fereastră de chat, motiv pentru care un 70B dens pe un Spark este un model pentru procesare în loturi: cu 128 de cereri în curs, rularea mea cu 70B a ajuns la 485 tok/s în total, numărând tokenii din prompt și cei generați, dar fiecare cerere a încetinit la 1,4 tok/s. Curbele complete de concurență sunt pe pagina de benchmark-uri.
Ce aș rula eu
- Un model din clasa 120B cu care puteți conversa: gpt-oss-120b în MXFP4. Ponderile au 65,2 GB, ceea ce lasă loc pentru un context lung, iar modelul citește aproximativ 5B parametri per token.
- Viteza pe primul loc: un model mixture-of-experts Qwen3 pe 4 biți, precum Qwen3-30B-A3B sau Qwen3.6-35B-A3B. Acestea citesc aproximativ 3B parametri per token.
- Un 70B dens: doar pentru joburi batch sau când aveți nevoie exact de acel model. Așteptați-vă la aproximativ 6 tok/s per cerere.
- Cuantizați la 4 biți. MXFP4, NVFP4, AWQ sau Q4_K_M înjumătățesc octeții per token față de FP8 și aproximativ dublează plafonul. Costurile de calitate diferă de la un format la altul; ghidul despre viteza cuantizărilor le compară pe acest cip.
- Peste 128 GB: două Spark-uri legate, la 1,79 $ pe oră pentru clusterul cu două noduri, când consola îl oferă. Raportul Qwen3-235B de mai sus a trecut de la aproximativ 1,8 tok/s pe un Spark la aproximativ 12,5 pe două. Ghidul pentru două noduri explică ce aduce asocierea.
Rulați gpt-oss-120b cu llama.cpp
Pentru un singur utilizator odată, llama.cpp este motorul mai rapid pe acest cip. Lansați DGX Spark 1× cu imaginea DGX OS, deschideți terminalul din browser, construiți llama.cpp pentru GB10 (5 până la 10 minute) și porniți modelul. Pașii de build sunt aceiași ca în ghidul meu llama.cpp.
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # downloads about 65 GB the first time ./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \ --host 127.0.0.1 --port 30000
Când logul spune că serverul ascultă, măsurați-vă viteza dintr-un al doilea terminal. llama-server returnează timpii cu fiecare răspuns:
curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
| python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'
Descărcarea rulează pe ceas, așa că porniți-o prima și citiți cât se încarcă. Pentru a accesa serverul de pe laptop, folosiți un tunel SSH cu propria cheie sau porniți-l cu --host 0.0.0.0 --api-key și o cheie lungă aleatorie: fiecare instanță are propria adresă IPv4 publică. Pentru mai mulți utilizatori simultan, vLLM face batching mai bine; ghidul vLLM are calculul memoriei pentru memoria unificată.
Limite de știut dinainte
- Nu am măsurat gpt-oss-120b pe flota mea. Cifrele lui de mai sus sunt raportate, iar prompturile dvs. vor ajunge în altă parte. Măsurați înainte să vă bazați pe o cifră.
- Prompturile lungi sunt lente pe modelele dense mari. Rularea mea cu 70B a citit un prompt de 8.192 de tokeni la 391 tok/s, aproximativ 21 de secunde până la primul token.
- Cuantizarea costă calitate. Un model pe 4 biți nu este cel cu precizie completă. Verificați răspunsurile pe propriile prompturi.
- Spark-ul este ARM64, cu un GPU sm_121. Motoarele și pachetele Python au nevoie de build-uri aarch64 pentru el, iar un simplu
pip install vllmse poate instala fără probleme și apoi să nu pornească; ghidul vLLM explică această capcană. - Rulează într-un container. Pe multe Spark-uri are propriul daemon Docker, deci containerele arm64 ale producătorilor rulează; celelalte rulează un container simplu fără Docker, unde build-ul nativ de mai sus este calea. Nu puteți alege care.
- Fără SLA și fără backupuri. Modelele descărcate în afara
/workspacese pierd la o reconstruire, iar terminarea șterge totul.
Prețul și unde se află Spark-urile
0,79 $ pe oră pentru un Spark, facturat pe minut din credit preplătit: 6,32 $ pentru o zi de opt ore. Prima reîncărcare: plătiți 20 $, primiți 30 $ credit. O instanță oprită își păstrează spațiul de lucru și se facturează cu 75% din tariful orar. Terminați instanța când nu mai aveți nevoie de ea, iar facturarea se oprește; asta șterge spațiul de lucru. Prețurile nu includ TVA, unde se aplică.
Spark-urile mele sunt într-un centru de date din Hradec Králové, Republica Cehă. Spark-urile partenerilor, deținute și găzduite de parteneri la propriile sedii, sunt în SUA, Suedia, Țările de Jos, Slovacia și Hong Kong; un partener are acces fizic la mașina lui. Consola arată țara și dacă este în SEE înainte să lansați. Fiecare locație oferă imaginile DGX OS și Ubuntu folosite mai sus.
Cine conduce asta
GPUwerk este nou. Îl conduc eu, Samuel Seidel, prin PRINT IT! SE, o firmă înregistrată la Praga. La 9 noiembrie 2026, 94 de dezvoltatori au pornit 374 de instanțe din septembrie. Starea în timp real este pe status.gpuwerk.com, iar pagina de contact ajunge direct la mine dacă doriți să verificați un model înainte de a închiria.
Întrebări frecvente
Poate un DGX Spark să ruleze un model de 70B?
Da. Llama 3.3 70B în AWQ pe 4 biți are aproximativ 37 GiB de ponderi și încape cu loc de rezervă, dar a generat 6,0 tokeni pe secundă pentru o singură cerere pe unul dintre Spark-urile mele (vLLM 0.27.1, 2 septembrie 2026). Se potrivește mai bine joburilor batch decât chatului.
Încape gpt-oss-120b pe un singur DGX Spark?
Da. Ponderile sale MXFP4 au în total 65,2 GB și citește aproximativ 5,1B parametri per token. Mentenanții llama.cpp raportează 58,7 tok/s pentru o cerere; Dendro Logic raportează 33,5 pe vLLM cu prompturi mai lungi și ieșire JSON. Nu l-am măsurat pe flota mea.
Ce se întâmplă cu modelele mai mari de 128 GB?
Au nevoie de două Spark-uri legate. Un build Qwen3-235B-A22B de 134 GB a rulat la aproximativ 1,8 tok/s pe un Spark și aproximativ 12,5 pe două, conform unui raport de pe forumul pentru dezvoltatori NVIDIA. Clusterul GPUwerk cu două noduri costă 1,79 $ pe oră când consola îl oferă.
Cât costă încercarea unui model mare?
0,79 $ pe oră pentru un Spark, facturat pe minut din credit preplătit; prima descărcare și compilarea llama.cpp rulează tot pe acest ceas. Prima reîncărcare: plătiți 20 $, primiți 30 $ credit, cam 37 de ore. Terminați instanța când nu mai aveți nevoie de ea, iar facturarea se oprește.