Rith samhlacha den aicme 70B go 120B i 128 GB de chuimhne aontaithe
Tá 128 GB cuimhne ag DGX Spark a roinneann a LAP agus a GPU, mar sin lódáiltear d'aon iarraidh samhlacha nach n-oirfeadh riamh ar chárta grafaice 24 nó 32 GB. Ní hionann oiriúint agus luas. Bogann an chuimhne 273 GB/s, agus léann gach token a ghintear meáchain ghníomhacha na samhla uair amháin. Ar cheann de mo Sparks, ghin Llama 3.3 70B dlúth 6.0 token sa soicind d'iarratas aonair. Ní léann samhail mheascán saineolaithe ach slisne dá meáchain in aghaidh an token: tuairiscítear gpt-oss-120b ag 58.7 tok/s ar an sliseanna céanna. Roghnaigh an tsamhail don bhandaleithead, ansin faigh Spark ar cíos do na huaireanta a theastaíonn uait.
An chéad bhreisiú: íoc $20, faigh $30 de chreidmheas, thart ar 37 uair an chloig ar Spark amháin. Billeáilte in aghaidh an nóiméid ó chreidmheas réamhíoctha. Foirceann é nuair atá tú críochnaithe agus cuirtear deireadh leis an mbilleáil.
Cad a oireann, agus cé chomh tapa a ritheann iarratas amháin
| Samhail agus formáid | Léite in aghaidh an token | Iarratas amháin | Foinse |
|---|---|---|---|
| Qwen3-Coder 30B-A3B, AWQ 4-ghiotán | timpeall 3B paraiméadar | 80.9 tok/s | Mo rith, vLLM 0.27.1, 2 MFómh 2026 (loga amh) |
| gpt-oss-120b, MXFP4 | 5.1B as 117B | 58.7 tok/s | Tuairiscithe: torthaí DGX Spark llama.cpp, tógáil 7941, 5 Feabh 2026 |
| gpt-oss-120b, MXFP4 | 5.1B as 117B | 33.5 tok/s | Tuairiscithe: Dendro Logic, vLLM, leideanna 1,500 token agus aschur JSON, 22 Aib 2026 |
| Nemotron-3-Super-120B-A12B, NVFP4 | 12B as 120B | timpeall 24 tok/s | Tuairiscithe: fóram NVIDIA, vLLM le ceartú CUTLASS, 29 Márta 2026 |
| Llama 3.3 70B, AWQ 4-ghiotán | na 70B ar fad (dlúth) | 6.0 tok/s | Mo rith, vLLM 0.27.1, 2 MFómh 2026 (loga amh) |
| Nemotron Super 49B v1.5, NVFP4 | na 49B ar fad (dlúth) | 5.79 tok/s | Tuairiscithe: Dendro Logic, 22 Aib 2026 |
| Qwen3-235B-A22B, UD-Q4_K_XL (134 GB) | 22B as 235B | timpeall 1.8 tok/s; ní oireann | Tuairiscithe: fóram NVIDIA, llama.cpp, 17 Noll 2025 |
Is tomhais daoine eile iad na línte "Tuairiscithe", a bhailigh mé agus a sheiceáil mé i gcoinne a bhfoinsí ar an 11 Deireadh Fómhair 2026 don leathanach tagarmharcanna; níor atáirg mé iad. Taispeánann an dá líne gpt-oss-120b cé chomh fada a bhogann inneall agus ualach oibre samhail amháin ar slis amháin. Tagann líon na bparaiméadar do gpt-oss-120b óna chárta samhla, tríd an áireamhán cuimhne.
Cén fáth a bhfuil 70B dlúth mall agus nach bhfuil MoE 120B
Ciallaíonn token a ghiniúint na meáchain ghníomhacha a léamh amach as an gcuimhne uair amháin, agus mar sin is é an uasteorainn an bandaleithead cuimhne roinnte ar na bearta a léitear in aghaidh an token:
tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token Llama 3.3 70B, 4-bit: about 37 GB per token → about 7.4 tok/s (measured 6.0) gpt-oss-120b, MXFP4: about 3 GB per token → about 90 tok/s (reported 58.7)
Tagann fíor-innill i dtír idir thart ar leath agus ceithre chúigiú den uasteorainn. Faoi bhun thart ar 10 tok/s mothaíonn samhail mall i bhfuinneog chomhrá, agus sin an fáth gur samhail bhaisce í 70B dlúth ar Spark amháin: le 128 iarratas ar siúl shroich mo rith 70B 485 tok/s san iomlán, ag comhaireamh token leide agus ginte, ach mhoilligh gach iarratas go 1.4 tok/s. Tá na cuair chomhthráthachta iomlána ar an leathanach tagarmharcanna.
Cad a rithfinn
- Samhail d'aicme 120B ar féidir leat labhairt léi: gpt-oss-120b in MXFP4. Is é 65.2 GB na meáchain, rud a fhágann spás do chomhthéacs fada, agus léann sé timpeall 5B paraiméadar in aghaidh an token.
- An luas ar dtús: samhail mheasctha-saineolaithe Qwen3 ag 4 ghiotán, ar nós Qwen3-30B-A3B nó Qwen3.6-35B-A3B. Léann siad seo thart ar 3B paraiméadar in aghaidh an token.
- 70B dlúth: do jabanna baisce amháin, nó nuair a theastaíonn an tsamhail áirithe sin uait. Bí ag súil le timpeall 6 tok/s in aghaidh an iarratais.
- Cainníochtaigh go 4 ghiotán. Laghdaíonn MXFP4, NVFP4, AWQ nó Q4_K_M na bearta in aghaidh an token faoina leath seachas FP8 agus dúblaíonn siad an uasteorainn go garbh. Scarann costais chaighdeáin ó fhormáid go formáid; cuireann an treoir ar luas cainníochtaithe i gcomparáid iad ar an slis seo.
- Os cionn 128 GB: dhá Spark nasctha, ar $1.79 san uair don bhraisle dhá nód nuair a thairgeann an consól é. Chuaigh an tuairisc Qwen3-235B thuas ó thart ar 1.8 tok/s ar Spark amháin go thart ar 12.5 ar dhá cheann. Clúdaíonn an treoir dhá nód cad a thugann an péireáil.
Rith gpt-oss-120b le llama.cpp
D'úsáideoir amháin ag an am, is é llama.cpp an inneall is tapúla ar an slis seo. Imscar DGX Spark 1× leis an íomhá DGX OS, oscail an teirminéal brabhsálaí, tóg llama.cpp don GB10 (5 go 10 nóiméad) agus tosaigh an tsamhail. Is iad na céimeanna tógála céanna atá i mo threoir llama.cpp.
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # downloads about 65 GB the first time ./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \ --host 127.0.0.1 --port 30000
Nuair a deir an loga go bhfuil an freastalaí ag éisteacht, tomhais do luas féin ó dhara teirminéal. Tugann llama-server a chuid amanna ar ais le gach freagra:
curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
| python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'
Ritheann an íoslódáil ar an gclog, agus mar sin tosaigh í ar dtús agus léigh fad atá sí ag luchtú. Chun an freastalaí a shroicheadh ó do ríomhaire glúine, bain úsáid as tollán SSH le d'eochair féin, nó tosaigh é le --host 0.0.0.0 --api-key agus eochair fhada randamach: tá a sheoladh IPv4 poiblí féin ag gach ásc. Do roinnt úsáideoirí ag an am, baisceálann vLLM níos fearr; tá áireamh cuimhne na cuimhne aontaithe sa treoir vLLM.
Teorainneacha ar fiú a bheith ar eolas ar dtús
- Níor thomhais mé gpt-oss-120b ar mo fhlít. Tá na huimhreacha thuas tuairiscithe, agus tiocfaidh do chuid leideanna i dtír áit éigin eile. Tomhais sula bpleanálann tú timpeall ar fhigiúr.
- Bíonn leideanna fada mall ar shamhlacha móra dlútha. Léigh mo rith 70B leid 8,192 token ar 391 tok/s, thart ar 21 soicind sular tháinig an chéad token.
- Cosnaíonn an cainníochtú caighdeán. Ní hionann samhail 4-ghiotán agus an ceann lánbheachtais. Seiceáil na freagraí ar do chuid leideanna féin.
- Is ARM64 é an Spark le GPU sm_121. Tá tógálacha aarch64 de dhíth ar innill agus ar phacáistí Python dó, agus is féidir le
pip install vllmsimplí suiteáil go breá agus gan tosú ansin; míníonn an treoir vLLM an gaiste. - Ritheann sé i gcoimeádán. Ar go leor Sparks tá a dheamhan Docker féin aige, agus mar sin ritheann coimeádáin díoltóirí arm64; ritheann na cinn eile coimeádán simplí gan Docker, áit arb í an tógáil dhúchasach thuas an bealach. Ní féidir leat a rogha a dhéanamh.
- Gan SLA agus gan chúltacaí. Cailltear íoslódálacha samhlacha lasmuigh de
/workspacenuair a athdhéantar é, agus scriosann foirceannadh gach rud.
Praghas agus cá bhfuil na Sparks
$0.79 san uair do Spark amháin, billeáilte in aghaidh an nóiméid ó chreidmheas réamhíoctha: $6.32 do lá ocht n-uaire. An chéad bhreisiú: íoc $20, faigh $30 de chreidmheas. Coinníonn ásc stadta a spás oibre agus billeáiltear é ag 75% den ráta in aghaidh na huaire. Foirceann é nuair a bheidh tú réidh agus tagann deireadh leis an mbilleáil; scriosann sé sin an spás oibre. Ní áirítear CBL sna praghsanna nuair is infheidhme.
Tá mo Sparks féin in ionad sonraí in Hradec Králové, Poblacht na Seice. Tá Sparks comhpháirtithe, faoi úinéireacht agus faoi óstáil comhpháirtithe ar a n-áitreabh féin, sna Stáit Aontaithe, sa tSualainn, san Ísiltír, sa tSlóvaic agus i Hong Cong; tá rochtain fhisiciúil ag comhpháirtí ar a mheaisín. Taispeánann an consól an tír, agus cé acu an bhfuil sé sa LEE, sula n-imscarann tú. Tairgeann gach suíomh na híomhánna DGX OS agus Ubuntu a úsáidtear thuas.
Cé a ritheann é seo
Tá GPUwerk nua. Ritheann mise é, Samuel Seidel, trí PRINT IT! SE, comhlacht atá cláraithe i bPrág. Amhail an 9 Samhain 2026, thosaigh 94 forbróir 374 ásc ó Mheán Fómhair. Tá an stádas beo ar status.gpuwerk.com, agus sroicheann an leathanach teagmhála go díreach mé más mian leat samhail a sheiceáil sula bhfaigheann tú ar cíos é.
CCanna
An féidir le DGX Spark samhail 70B a rith?
Oireann. Tá Llama 3.3 70B in AWQ 4-ghiotán thart ar 37 GiB de mheáchain agus oireann sé le spás le spáráil, ach ghin sé 6.0 token sa soicind d'iarratas aonair ar cheann de mo Sparks (vLLM 0.27.1, 2 Meán Fómhair 2026). Oireann sin do phoist bhaisce níos fearr ná do chomhrá.
An oireann gpt-oss-120b ar DGX Spark amháin?
Oireann. Is 65.2 GB iad a mheáchain MXFP4 san iomlán, agus léann sé thart ar 5.1B paraiméadar in aghaidh an token. Tuairiscíonn cothaitheoirí llama.cpp 58.7 tok/s d'iarratas amháin; tuairiscíonn Dendro Logic 33.5 ar vLLM le leideanna níos faide agus aschur JSON. Níor thomhais mé ar mo fhlít é.
Cad faoi shamhlacha atá níos mó ná 128 GB?
Tá dhá Spark nasctha de dhíth orthu. Rith tógáil Qwen3-235B-A22B de 134 GB ar thart ar 1.8 tok/s ar Spark amháin agus ar thart ar 12.5 ar dhá cheann, i dtuairisc ar fhóram forbróirí NVIDIA. Tá braisle dhá nód GPUwerk ar $1.79 san uair nuair a thairgeann an consól é.
Cé mhéad a chosnaíonn sé samhail mhór a thriail?
$0.79 san uair do Spark amháin, billeáilte in aghaidh an nóiméid ó chreidmheas réamhíoctha; ritheann an chéad íoslódáil agus tógáil llama.cpp ar an gclog sin. An chéad bhreisiú: íoc $20, faigh $30 de chreidmheas, timpeall 37 uair an chloig. Foirceann é nuair a bheidh tú réidh agus tagann deireadh leis an mbilleáil.