DGX Spark/Samhlacha móra
Cás úsáide · Samhlacha móra

Rith samhlacha den aicme 70B go 120B i 128 GB de chuimhne aontaithe

Le Samuel Seidel · Nuashonraithe 10 Samhain 2026 · 7 nóiméad léitheoireachta

Tá 128 GB cuimhne ag DGX Spark a roinneann a LAP agus a GPU, mar sin lódáiltear d'aon iarraidh samhlacha nach n-oirfeadh riamh ar chárta grafaice 24 nó 32 GB. Ní hionann oiriúint agus luas. Bogann an chuimhne 273 GB/s, agus léann gach token a ghintear meáchain ghníomhacha na samhla uair amháin. Ar cheann de mo Sparks, ghin Llama 3.3 70B dlúth 6.0 token sa soicind d'iarratas aonair. Ní léann samhail mheascán saineolaithe ach slisne dá meáchain in aghaidh an token: tuairiscítear gpt-oss-120b ag 58.7 tok/s ar an sliseanna céanna. Roghnaigh an tsamhail don bhandaleithead, ansin faigh Spark ar cíos do na huaireanta a theastaíonn uait.

An chéad bhreisiú: íoc $20, faigh $30 de chreidmheas, thart ar 37 uair an chloig ar Spark amháin. Billeáilte in aghaidh an nóiméid ó chreidmheas réamhíoctha. Foirceann é nuair atá tú críochnaithe agus cuirtear deireadh leis an mbilleáil.

Cad a oireann, agus cé chomh tapa a ritheann iarratas amháin

Samhail agus formáidLéite in aghaidh an tokenIarratas amháinFoinse
Qwen3-Coder 30B-A3B, AWQ 4-ghiotántimpeall 3B paraiméadar80.9 tok/sMo rith, vLLM 0.27.1, 2 MFómh 2026 (loga amh)
gpt-oss-120b, MXFP45.1B as 117B58.7 tok/sTuairiscithe: torthaí DGX Spark llama.cpp, tógáil 7941, 5 Feabh 2026
gpt-oss-120b, MXFP45.1B as 117B33.5 tok/sTuairiscithe: Dendro Logic, vLLM, leideanna 1,500 token agus aschur JSON, 22 Aib 2026
Nemotron-3-Super-120B-A12B, NVFP412B as 120Btimpeall 24 tok/sTuairiscithe: fóram NVIDIA, vLLM le ceartú CUTLASS, 29 Márta 2026
Llama 3.3 70B, AWQ 4-ghiotánna 70B ar fad (dlúth)6.0 tok/sMo rith, vLLM 0.27.1, 2 MFómh 2026 (loga amh)
Nemotron Super 49B v1.5, NVFP4na 49B ar fad (dlúth)5.79 tok/sTuairiscithe: Dendro Logic, 22 Aib 2026
Qwen3-235B-A22B, UD-Q4_K_XL (134 GB)22B as 235Btimpeall 1.8 tok/s; ní oireannTuairiscithe: fóram NVIDIA, llama.cpp, 17 Noll 2025

Is tomhais daoine eile iad na línte "Tuairiscithe", a bhailigh mé agus a sheiceáil mé i gcoinne a bhfoinsí ar an 11 Deireadh Fómhair 2026 don leathanach tagarmharcanna; níor atáirg mé iad. Taispeánann an dá líne gpt-oss-120b cé chomh fada a bhogann inneall agus ualach oibre samhail amháin ar slis amháin. Tagann líon na bparaiméadar do gpt-oss-120b óna chárta samhla, tríd an áireamhán cuimhne.

Cén fáth a bhfuil 70B dlúth mall agus nach bhfuil MoE 120B

Ciallaíonn token a ghiniúint na meáchain ghníomhacha a léamh amach as an gcuimhne uair amháin, agus mar sin is é an uasteorainn an bandaleithead cuimhne roinnte ar na bearta a léitear in aghaidh an token:

tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token

Llama 3.3 70B, 4-bit:  about 37 GB per token  → about 7.4 tok/s   (measured 6.0)
gpt-oss-120b, MXFP4:   about 3 GB per token   → about 90 tok/s    (reported 58.7)

Tagann fíor-innill i dtír idir thart ar leath agus ceithre chúigiú den uasteorainn. Faoi bhun thart ar 10 tok/s mothaíonn samhail mall i bhfuinneog chomhrá, agus sin an fáth gur samhail bhaisce í 70B dlúth ar Spark amháin: le 128 iarratas ar siúl shroich mo rith 70B 485 tok/s san iomlán, ag comhaireamh token leide agus ginte, ach mhoilligh gach iarratas go 1.4 tok/s. Tá na cuair chomhthráthachta iomlána ar an leathanach tagarmharcanna.

Cad a rithfinn

Rith gpt-oss-120b le llama.cpp

D'úsáideoir amháin ag an am, is é llama.cpp an inneall is tapúla ar an slis seo. Imscar DGX Spark 1× leis an íomhá DGX OS, oscail an teirminéal brabhsálaí, tóg llama.cpp don GB10 (5 go 10 nóiméad) agus tosaigh an tsamhail. Is iad na céimeanna tógála céanna atá i mo threoir llama.cpp.

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# downloads about 65 GB the first time
./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \
  --host 127.0.0.1 --port 30000

Nuair a deir an loga go bhfuil an freastalaí ag éisteacht, tomhais do luas féin ó dhara teirminéal. Tugann llama-server a chuid amanna ar ais le gach freagra:

curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
  | python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'

Ritheann an íoslódáil ar an gclog, agus mar sin tosaigh í ar dtús agus léigh fad atá sí ag luchtú. Chun an freastalaí a shroicheadh ó do ríomhaire glúine, bain úsáid as tollán SSH le d'eochair féin, nó tosaigh é le --host 0.0.0.0 --api-key agus eochair fhada randamach: tá a sheoladh IPv4 poiblí féin ag gach ásc. Do roinnt úsáideoirí ag an am, baisceálann vLLM níos fearr; tá áireamh cuimhne na cuimhne aontaithe sa treoir vLLM.

Teorainneacha ar fiú a bheith ar eolas ar dtús

Praghas agus cá bhfuil na Sparks

$0.79 san uair do Spark amháin, billeáilte in aghaidh an nóiméid ó chreidmheas réamhíoctha: $6.32 do lá ocht n-uaire. An chéad bhreisiú: íoc $20, faigh $30 de chreidmheas. Coinníonn ásc stadta a spás oibre agus billeáiltear é ag 75% den ráta in aghaidh na huaire. Foirceann é nuair a bheidh tú réidh agus tagann deireadh leis an mbilleáil; scriosann sé sin an spás oibre. Ní áirítear CBL sna praghsanna nuair is infheidhme.

Tá mo Sparks féin in ionad sonraí in Hradec Králové, Poblacht na Seice. Tá Sparks comhpháirtithe, faoi úinéireacht agus faoi óstáil comhpháirtithe ar a n-áitreabh féin, sna Stáit Aontaithe, sa tSualainn, san Ísiltír, sa tSlóvaic agus i Hong Cong; tá rochtain fhisiciúil ag comhpháirtí ar a mheaisín. Taispeánann an consól an tír, agus cé acu an bhfuil sé sa LEE, sula n-imscarann tú. Tairgeann gach suíomh na híomhánna DGX OS agus Ubuntu a úsáidtear thuas.

Cé a ritheann é seo

Tá GPUwerk nua. Ritheann mise é, Samuel Seidel, trí PRINT IT! SE, comhlacht atá cláraithe i bPrág. Amhail an 9 Samhain 2026, thosaigh 94 forbróir 374 ásc ó Mheán Fómhair. Tá an stádas beo ar status.gpuwerk.com, agus sroicheann an leathanach teagmhála go díreach mé más mian leat samhail a sheiceáil sula bhfaigheann tú ar cíos é.

CCanna

An féidir le DGX Spark samhail 70B a rith?

Oireann. Tá Llama 3.3 70B in AWQ 4-ghiotán thart ar 37 GiB de mheáchain agus oireann sé le spás le spáráil, ach ghin sé 6.0 token sa soicind d'iarratas aonair ar cheann de mo Sparks (vLLM 0.27.1, 2 Meán Fómhair 2026). Oireann sin do phoist bhaisce níos fearr ná do chomhrá.

An oireann gpt-oss-120b ar DGX Spark amháin?

Oireann. Is 65.2 GB iad a mheáchain MXFP4 san iomlán, agus léann sé thart ar 5.1B paraiméadar in aghaidh an token. Tuairiscíonn cothaitheoirí llama.cpp 58.7 tok/s d'iarratas amháin; tuairiscíonn Dendro Logic 33.5 ar vLLM le leideanna níos faide agus aschur JSON. Níor thomhais mé ar mo fhlít é.

Cad faoi shamhlacha atá níos mó ná 128 GB?

Tá dhá Spark nasctha de dhíth orthu. Rith tógáil Qwen3-235B-A22B de 134 GB ar thart ar 1.8 tok/s ar Spark amháin agus ar thart ar 12.5 ar dhá cheann, i dtuairisc ar fhóram forbróirí NVIDIA. Tá braisle dhá nód GPUwerk ar $1.79 san uair nuair a thairgeann an consól é.

Cé mhéad a chosnaíonn sé samhail mhór a thriail?

$0.79 san uair do Spark amháin, billeáilte in aghaidh an nóiméid ó chreidmheas réamhíoctha; ritheann an chéad íoslódáil agus tógáil llama.cpp ar an gclog sin. An chéad bhreisiú: íoc $20, faigh $30 de chreidmheas, timpeall 37 uair an chloig. Foirceann é nuair a bheidh tú réidh agus tagann deireadh leis an mbilleáil.

An chéad bhreisiú: íoc $20, faigh $30 de chreidmheas

Luchtaigh samhail 120B ar Spark de do chuid féin.

DGX Spark tiomnaithe le 128 GB de chuimhne aontaithe, $0.79/h billeáilte in aghaidh an nóiméid. Foirceann é nuair a bheidh tú réidh agus tagann deireadh leis an mbilleáil.

Imscar anois