70B–120B kategóriájú modellek futtatása 128 GB egységes memóriában
A DGX Spark 128 GB memóriával rendelkezik, amelyen a CPU és a GPU osztozik, így azok a modellek is egy darabban betöltődnek, amelyek sosem férnének el egy 24 vagy 32 GB-os grafikus kártyán. Az, hogy elfér, még nem jelenti azt, hogy gyors. A memória 273 GB/s-ot mozgat, és minden generált token egyszer beolvassa a modell aktív súlyait. Az egyik Sparkomon egy sűrű Llama 3.3 70B egyetlen kérésre másodpercenként 6,0 tokent generált. A mixture-of-experts modell tokenenként a súlyainak csak egy szeletét olvassa be: a gpt-oss-120b ugyanezen a chipen a jelentések szerint 58,7 tok/s-ot ér el. Válassza a modellt a sávszélességhez, aztán béreljen Sparkot annyi órára, amennyire szüksége van.
Első feltöltés: fizessen 20 USD-t, kapjon 30 USD kreditet, ez körülbelül 37 óra egy Sparkon. Percalapú számlázás az előre fizetett kreditből. Ha végzett, szüntesse meg a példányt, és a számlázás véget ér.
Mi fér el, és milyen gyorsan fut egy kérés
| Modell és formátum | Tokenenként beolvasva | Egy kérés | Forrás |
|---|---|---|---|
| Qwen3-Coder 30B-A3B, AWQ 4 bites | körülbelül 3B paraméter | 80,9 tok/s | Saját futtatásom, vLLM 0.27.1, 2026. szept. 2. (nyers napló) |
| gpt-oss-120b, MXFP4 | 5,1B a 117B-ből | 58,7 tok/s | Jelentett: llama.cpp DGX Spark-eredmények, 7941-es build, 2026. feb. 5. |
| gpt-oss-120b, MXFP4 | 5,1B a 117B-ből | 33,5 tok/s | Jelentett: Dendro Logic, vLLM, 1500 tokenes promptok és JSON-kimenet, 2026. ápr. 22. |
| Nemotron-3-Super-120B-A12B, NVFP4 | 12B a 120B-ből | körülbelül 24 tok/s | Jelentett: NVIDIA fórum, vLLM CUTLASS-javítással, 2026. márc. 29. |
| Llama 3.3 70B, AWQ 4 bites | mind a 70B (sűrű) | 6,0 tok/s | Saját futtatásom, vLLM 0.27.1, 2026. szept. 2. (nyers napló) |
| Nemotron Super 49B v1.5, NVFP4 | mind a 49B (sűrű) | 5,79 tok/s | Jelentett: Dendro Logic, 2026. ápr. 22. |
| Qwen3-235B-A22B, UD-Q4_K_XL (134 GB) | 22B a 235B-ből | körülbelül 1,8 tok/s; nem fér el | Jelentett: NVIDIA fórum, llama.cpp, 2025. dec. 17. |
A „Jelentett” sorok mások mérései, amelyeket 2026. október 11-én gyűjtöttem össze és vetettem össze a forrásaikkal a benchmarkoldalhoz; nem reprodukáltam őket. A két gpt-oss-120b sor megmutatja, mennyit változtat a motor és a munkaterhelés egy modellen egy chipen. A gpt-oss-120b paraméterszámai a modellkártyájáról származnak, a memóriakalkulátoron keresztül.
Miért lassú egy sűrű 70B, és miért nem egy 120B-s MoE
Egy token generálása azt jelenti, hogy az aktív súlyokat egyszer kiolvassuk a memóriából, így a plafon a memória-sávszélesség osztva a tokenenként beolvasott bájtokkal:
tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token Llama 3.3 70B, 4-bit: about 37 GB per token → about 7.4 tok/s (measured 6.0) gpt-oss-120b, MXFP4: about 3 GB per token → about 90 tok/s (reported 58.7)
A valódi motorok a plafon nagyjából fele és négyötöde között teljesítenek. Körülbelül 10 tok/s alatt egy modell lassúnak érződik egy csevegőablakban, ezért egy sűrű 70B egy Sparkon kötegelt modell: 128 párhuzamos kéréssel a 70B-s futtatásom összesen 485 tok/s-ot ért el a prompt- és a generált tokeneket együtt számolva, de kérésenként 1,4 tok/s-ra lassult. A teljes párhuzamossági görbék a benchmarkoldalon találhatók.
Mit futtatnék
- Egy 120B kategóriájú modell, amellyel beszélgethet: gpt-oss-120b MXFP4-ben. A súlyok 65,2 GB-ot tesznek ki, ami helyet hagy a hosszú kontextusnak, és tokenenként körülbelül 5B paramétert olvas be.
- Elsőként a sebesség: egy Qwen3 mixture-of-experts modell 4 biten, például a Qwen3-30B-A3B vagy a Qwen3.6-35B-A3B. Ezek tokenenként körülbelül 3B paramétert olvasnak be.
- Egy sűrű (dense) 70B: csak kötegelt feladatokhoz, vagy ha pont arra a modellre van szüksége. Kérésenként körülbelül 6 tok/s-ra számítson.
- Kvantáljon 4 bitre. Az MXFP4, NVFP4, AWQ vagy Q4_K_M az FP8-hoz képest felére csökkenti a tokenenkénti bájtokat, és nagyjából megduplázza a plafont. A minőségi veszteség formátumonként eltér; a kvantálási sebesség útmutatója ezen a chipen hasonlítja össze őket.
- 128 GB felett: két összekapcsolt Spark, a kétcsomópontos klaszterért óránként 1,79 USD-ért, ha a konzol kínálja. A fenti Qwen3-235B-jelentés egy Sparkon körülbelül 1,8 tok/s-ról kettőn körülbelül 12,5-re nőtt. A kétcsomópontos útmutató leírja, mit nyer a párosítással.
gpt-oss-120b futtatása llama.cpp-vel
Egyszerre egy felhasználónak ezen a chipen a llama.cpp a gyorsabb motor. Indítson egy DGX Spark 1× példányt a DGX OS lemezképpel, nyissa meg a böngészős terminált, fordítsa le a llama.cpp-t a GB10-re (5–10 perc), és indítsa el a modellt. A fordítási lépések ugyanazok, mint a llama.cpp útmutatómban.
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # downloads about 65 GB the first time ./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \ --host 127.0.0.1 --port 30000
Amikor a napló szerint a szerver figyel, egy második terminálból mérje le a saját sebességét. A llama-server minden válasszal visszaadja az időzítéseit:
curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
| python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'
A letöltés ideje is számít, ezért indítsa el először, és olvasson, amíg töltődik. Ha a laptopjáról szeretné elérni a szervert, használjon SSH-alagutat a saját kulcsával, vagy indítsa --host 0.0.0.0 --api-key kapcsolókkal és egy hosszú, véletlenszerű kulccsal: minden példánynak saját nyilvános IPv4-címe van. Több egyidejű felhasználóhoz a vLLM jobban kötegel; a vLLM-útmutató tartalmazza az egységes memóriára vonatkozó memóriaszámítást.
Korlátok, amelyeket előre érdemes tudni
- A gpt-oss-120b-t nem mértem a flottámon. A fenti számai jelentettek, és az Ön promptjai máshol fognak landolni. Mérjen, mielőtt egy számra tervezne.
- A hosszú promptok lassúak a nagy sűrű modelleken. A 70B-s futtatásom egy 8192 tokenes promptot 391 tok/s-mal olvasott be, ez körülbelül 21 másodperc az első tokenig.
- A kvantálás minőségbe kerül. Egy 4 bites modell nem azonos a teljes pontosságúval. Ellenőrizze a válaszokat a saját promptjain.
- A Spark ARM64-es, sm_121-es GPU-val. A motoroknak és Python-csomagoknak aarch64-es build kell hozzá, és egy egyszerű
pip install vllmhibátlanul települhet, aztán mégsem indul el; a vLLM-útmutató elmagyarázza ezt a csapdát. - Konténerben fut. Sok Sparkon saját Docker-démonja van, így az arm64-es gyártói konténerek futnak; a többin egyszerű konténer fut Docker nélkül, ott a fenti natív fordítás az út. Ezt nem lehet megválasztani.
- Nincs SLA és nincs biztonsági mentés. A
/workspacekönyvtáron kívülre letöltött modellek újraépítéskor elvesznek, a megszüntetés pedig mindent töröl.
Ár, és hol vannak a Sparkok
0,79 USD óránként egy Sparkért, percalapú számlázással az előre fizetett kreditből: egy nyolcórás nap 6,32 USD. Első feltöltés: fizessen 20 USD-t, kapjon 30 USD kreditet. A leállított példány megtartja a munkaterületét, és az óradíj 75%-ával számlázzuk. Ha végzett, szüntesse meg a példányt, és a számlázás véget ér; ez törli a munkaterületet. Az árak adott esetben ÁFA nélkül értendők.
A saját Sparkjaim egy Hradec Králové-i adatközpontban vannak, Csehországban. A partnerek által birtokolt és saját telephelyükön üzemeltetett partner-Sparkok az USA-ban, Svédországban, Hollandiában, Szlovákiában és Hongkongban vannak; a partnernek fizikai hozzáférése van a gépéhez. A konzol az indítás előtt mutatja az országot, és hogy az EGT-n belül van-e. Minden helyszínen elérhetők a fent használt DGX OS és Ubuntu lemezképek.
Ki üzemelteti ezt
A GPUwerk új. Én, Samuel Seidel üzemeltetem a prágai bejegyzésű PRINT IT! SE cégen keresztül. 2026. november 9-ig 94 fejlesztő 374 példányt indított szeptember óta. Az élő állapot a status.gpuwerk.com oldalon látható, és a kapcsolati oldalon közvetlenül engem ér el, ha bérlés előtt ellenőrizni szeretne egy modellt.
GYIK
Futtathat egy DGX Spark 70B-s modellt?
Igen. A Llama 3.3 70B AWQ 4 biten körülbelül 37 GiB súly, és bőven elfér, de az egyik Sparkomon egyetlen kérésre másodpercenként 6,0 tokent generált (vLLM 0.27.1, 2026. szeptember 2.). Ez inkább kötegelt feladatokhoz való, mint csevegéshez.
Elfér a gpt-oss-120b egyetlen DGX Sparkon?
Igen. MXFP4 súlyai összesen 65,2 GB-ot tesznek ki, és tokenenként körülbelül 5,1B paramétert olvas be. A llama.cpp karbantartói egy kérésre 58,7 tok/s-ot jelentenek; a Dendro Logic vLLM-en hosszabb promptokkal és JSON-kimenettel 33,5-öt. A flottámon nem mértem.
Mi a helyzet a 128 GB-nál nagyobb modellekkel?
Ezekhez két összekapcsolt Spark kell. Egy 134 GB-os Qwen3-235B-A22B build egy Sparkon körülbelül 1,8 tok/s-mal, kettőn körülbelül 12,5-tel futott egy NVIDIA fejlesztői fórumon közzétett jelentés szerint. A GPUwerk kétcsomópontos klasztere 1,79 USD óránként, ha a konzol kínálja.
Mennyibe kerül egy nagy modell kipróbálása?
0,79 USD óránként egy Sparkért, percalapú számlázással az előre fizetett kreditből; az első letöltés és a llama.cpp fordítása is ebbe az időbe számít. Első feltöltés: fizessen 20 USD-t, kapjon 30 USD kreditet, ez körülbelül 37 óra. Ha végzett, szüntesse meg a példányt, és a számlázás véget ér.