An oireann sé ar DGX Spark? Áireamhán cuimhne LLM
Teastaíonn timpeall 37 GiB de mheáchain ó shamhail 70B ag 4-ghiotán, rud a fhágann timpeall 84 GiB de 121.6 GiB cuimhne aontaithe inrochtana DGX Spark do thaisce KV agus forchostas; ag FP16 (timpeall 140 GB) ní oireann an tsamhail chéanna. Oireann gpt-oss-120b freisin: is é 65.2 GB (60.8 GiB) iomlán a mheáchan MXFP4, rud a fhágann timpeall 61 GiB. Cuir isteach do shamhail féin thíos; tá na foirmlí agus a dteorainneacha i ndiaidh an áireamháin. Ritheann mé GPUwerk, a ligeann DGX Sparks ar cíos, mar sin bíodh sé sin san áireamh agat agus tú ag meá an chuir i láthair.
Dhá fhreagra oibrithe
| Samhail | Meáchain | Fágtha as 121.6 GiB | Breith |
|---|---|---|---|
| Llama 3.3 70B, AWQ 4-ghiotán | timpeall 37 GiB (loga GPUwerk) | timpeall 84 GiB, timpeall 82 GiB tar éis 8,192 token KV d'úsáideoir amháin | Oireann. Fágann an chuimhne spás d'fhoireann; ní fhágann an luas (thomhais GPUwerk 6.0 tok/s d'úsáideoir aonair) |
| gpt-oss-120b, MXFP4 | 65.2 GB (60.8 GiB), stór Hugging Face | timpeall 61 GiB roimh KV agus forchostas | Oireann. Idir na línte 40 agus 75 GB, agus mar sin oireann cúpla úsáideoir má fhanann an taisce KV beag |
Tá na meáchain Llama 37 GiB, an 6.0 tok/s agus an figiúr 121.6 GiB ó dhoiciméad vLLM, ó leathanach Llama 3.3 70B agus ó leathanach tagarmharcanna GPUwerk. Is é méid gpt-oss-120b suim na gcomhad safetensors MXFP4 in openai/gpt-oss-120b ar Hugging Face, seiceáilte 2026-10-11; tuairiscíonn llama.cpp an GGUF MXFP4 mar 59.02 GiB i bplé #16578. Níor thomhais GPUwerk lorg cuimhne gpt-oss-120b. Is í m'uimhríocht féin an dealú agus méid KV.
Níl oiriúnú ach leath den scéal: gineann 70B dlúth a oireann go furasta thart ar 6 thocán sa soicind d'iarratas amháin fós, mar léann gach token a chuid meáchan ar fad. Cuireann cé na samhlacha móra a ritheann sách tapa ar Spark amháin samhlacha dlútha agus samhlacha measctha-saineolaithe i gcomparáid le luasanna tomhaiste agus tuairiscithe.
Áireamhán
Ritheann gach rud i do bhrabhsálaí agus ní stórálaítear ná ní sheoltar aon rud. Roghnaigh réamhshocrú nó clóscríobh do chuid uimhreacha féin. Taispeánfar na torthaí faoin bhfoirm agus nuashonróidh siad agus tú ag clóscríobh.
Is é mo thoimhde an réamhshocrú forchostais 4 GiB, bunaithe ar an "cúpla gigibheart" atá ar leathanach na samhlacha do ghníomhachtuithe agus don chomhthéacs CUDA. Scálaíonn an rogha 64 GB an 121.6 GiB a bhreathnaigh GPUwerk faoina leath; níor rith GPUwerk an leagan sin. Glacann mód dhá nód leis go roinntear na meáchain agus KV go cothrom.
Conas a oibríonn an meastachán
Trí fhoirmle, gnáthuimhríocht ar fad:
- Meáchain (GB) = paraiméadair iomlána i mbilliúin x bearta in aghaidh an pharaiméadair. Tá samhail 70B thart ar 140 GB ag FP16, 70 GB ag FP8 agus 37 GB ag 4-ghiotán, na figiúirí céanna atá ar leathanach na samhlacha.
- Taisce KV (bearta) = 2 x cisil x cinn KV x toise ceann x bearta in aghaidh an luacha x tokens x seichimh. Is é an 2 eochair amháin agus luach amháin in aghaidh an chinn.
- Uasteorainn díchódaithe (tok/s) = 273 GB/s roinnte ar na GB de mheáchain pharaiméadar gníomhach a léitear in aghaidh an token. Uasteorainn uimhríochta atá ann, ní luas ionchais. Cuireann leathanach tagarmharcanna GPUwerk fíor-innill ag thart ar 50 go 80% de, agus taispeánann sé cár thit rití GPUwerk féin.
Is meáin iad na bearta in aghaidh an pharaiméadair, ní luachanna cruinne. Is é 2 FP16 agus is é 1 FP8. Titeann na formáidí 4-ghiotán (INT4, AWQ, NVFP4, MXFP4) idir 0.5 agus 0.56 nuair a áirítear na scálaí, agus is é 0.56 réamhshocrú an leathanaigh seo. Tá GGUF 2-ghiotán timpeall 0.3. Measann cainníochtuithe dinimiciúla GGUF leithid giotán éagsúla, mar sin is fearr méideanna comhad foilsithe ná foirmle ar bith.
Leanann an bhreith riail ordóige leathanach na samhlacha. Fágann faoi bhun thart ar 40 GB de mheáchain in aghaidh an nóid spás chun freastal ar fhoireann, is samhail d'úsáideoir aonair aon rud os cionn thart ar 75 GB, agus ciallaíonn spás diúltach nach n-oireann sé. Is é mo léamh féin ar an riail sin an banda 40 go 75 GB eatarthu: oireann sé, ach socraíonn an taisce KV cé mhéad úsáideoir a oireann. Tá méideanna taisce KV do 22 samhail reatha, oibrithe ó gach config.json, in méid na taisce KV de réir samhla.
An fhoirmle a sheiceáil de réir logaí GPUwerk
Logáil rití vLLM GPUwerk cé mhéad token KV a d'oir ag úsáid cuimhne GPU 0.85. Is iad na logaí an fhírinne bhunúsach; níl ar an bhfoirmle ach teacht gar dóibh.
| Samhail | KV in aghaidh an token | Tokens KV logáilte ag 0.85 | Méid KV de réir foirmle | Cros-seiceáil |
|---|---|---|---|---|
| Llama 3.3 70B AWQ | 327,680 beart (80 ciseal, 8 gceann KV, 128 toise, FP16) | 207,120 | 63.2 GiB | 37 GiB meáchain + 63.2 GiB KV = 100.2 GiB, i gcomparáid le buiséad 0.85 x 121.6 = 103.4 GiB. Is forchostas an innill an 3.2 GiB atá fágtha. |
| Qwen3-Coder 30B-A3B AWQ | 98,304 beart (48 ciseal, 4 cheann KV, 128 toise, FP16) | 924,912 | 84.7 GiB | Fágann sin 18.7 GiB den bhuiséad 103.4 GiB do mheáchain agus d'fhorchostas. Tugann paraiméadair x 0.56 thart ar 16 GiB de mheáchain, rud atá comhsheasmhach. |
Tokens KV agus an figiúr 37 GiB: leathanaigh agus logaí Llama 3.3 70B agus Qwen3-Coder 30B-A3B GPUwerk. Líon na gciseal, na gceann agus na dtoisí: comhaid config.json na samhlacha ar Hugging Face (scáthán Llama 3.3 70B, Qwen3-Coder, gpt-oss-120b), seiceáilte 2026-10-11. Is í m'uimhríocht féin na suimeanna cros-seiceála.
Rud amháin faoi aonaid: roinneann leathanach tagarmharcanna GPUwerk agus an leathanach Llama 3.3 70B 273 GB/s ar 37 chun uasteorainn 7.4 tok/s a fháil, ag caitheamh leis an 37 GiB logáilte mar 37 GB. Tiontaithe (is é 37 GiB ná 39.7 GB), is é 6.9 tok/s an uasteorainn, agus úsáideann an t-áireamhán an figiúr sin. I gcoinne 6.9, is thart ar 87% den uasteorainn é an 6.0 tok/s tomhaiste, beagán os cionn an bhanda 50 go 80%.
Cén fáth a bhfuil cuimhne aontaithe difriúil
Tá a VRAM féin ag GPU scoite, agus oireann an tsamhail ansin nó doirtear thar nasc mall PCIe í. Tá linn amháin de 128 GB LPDDR5x ag an DGX Spark a roinneann an LAP agus an GPU. Taispeánann logaí GPUwerk go bhfuil timpeall 121.6 GiB di inrochtana, agus caithfidh sé sin an córas oibriúcháin, Docker, taisce na leathanach agus aon phróiseas eile a chlúdach chomh maith le do mheáchain agus do thaisce KV.
Liostaíonn nótaí eisiúna DGX Spark NVIDIA (seiceáilte 2026-10-11) cuimhne atá curtha i leataobh don taispeáint mar rud inchoigeartaithe san eisiúint ó Iúil 2026: 2 GB de réir réamhshocraithe, 4 GB tríd an BIOS. Má ritheann tú scáileán, seiceáil cad a thuairiscíonn do chóras féin le free -h sula socraíonn tú méid samhla go dtí an gigibheart deireanach. Ritheann GPUwerk a Sparks gan babhtáil freisin ó phas cruaite cuimhne ar an 9 Meán Fómhair 2026, agus mar sin is earráid easpa cuimhne é rith amach, ní moilliú.
Is í an linn an chúis freisin gurb é an bandaleithead seachas an cumas a chuireann teorainn leis an luas: cothaíonn 273 GB/s gach token, agus mar sin léann samhail 70B dlúth thart ar 37 GiB in aghaidh an token fad a léann samhail mheasctha-saineolaithe le 3B gníomhach faoi bhun 2 GB. Féach an leathanach sonraíochtaí don liosta crua-earraí iomlán.
Do GPU scoite nó do Mac, déanann FitLocally an cineál céanna seiceála oiriúnachta do thart ar 110 múnla oscailte thar chártaí grafaicí, Macanna agus mion-ríomhairí. Is suíomh ar leith é a fhoilsím.
Samhlacha nach n-oireann ar aon Spark amháin
Cuimsíonn an t-áireamhán dhá shampla a theipeann. Tá an dá cheann bunaithe ar leathanaigh chomhbhailitheoirí, ní ar chártaí samhlacha ná ar fhigiúirí GPUwerk féin, agus mar sin caith leis na méideanna mar rud táscach.
| Samhail | An mhéid a úsáideadh | Foinse (comhbhailitheoir) | Cén fáth a dteipeann air |
|---|---|---|---|
| DeepSeek V4.1-Flash, Q2_K | 324 GB (763.2B paraiméadar) | llmrun.dev | Timpeall 2.5 oiread 121.6 GiB Spark amháin (130.6 GB), agus níos mó ná mar a choinníonn dhá Spark le chéile (timpeall 261 GB) |
| Kimi K3, 4-ghiotán | timpeall 1,570 GB (2.8T paraiméadar x 0.56) | slash-digital.io | 12 oiread acmhainn Spark amháin |
Seiceáilte 2026-10-11. Is é méid 4-ghiotán Kimi mo iolrúchán féin, ní cainníochtú foilsithe.
Dhá Spark, agus an leagan 64 GB
Tugann dhá Spark nasctha dhá linn 121.6 GiB duit, ní 256 GB do shamhail amháin. Roinneann an t-áireamhán na meáchain agus KV go cothrom agus seiceálann sé gach nód, rud atá dóchasach mar is annamh a bhíonn fíor-roinnte cothrom go hiomlán. Le haghaidh socraithe, féach an treoir braisle dhá nód. Chun samhail a thriail ar fhíor-chrua-earraí sula gceannaíonn tú, míníonn an leathanach conas é a fháil ar cíos cíos in aghaidh an nóiméid.
Liostaíonn leathanach táirge NVIDIA leagan 64 GB a dhíoltar trí chomhpháirtithe OEM (féach an leathanach sonraíochtaí), agus clúdaíonn tuairisc The Register ón 2 Deireadh Fómhair 2026 an fógra, lena n-áirítear an bandaleithead 273 GB/s nár athraigh (seiceáilte 2026-10-11). Níor rith GPUwerk ceann, agus mar sin níl san fhigiúr 60.8 GiB atá san áireamhán ach leath de 121.6 agus faic eile. Ag an méid sin, d'fhágfadh an sampla 70B 4-ghiotán (37 GiB) thart ar 24 GiB roimh fhorchostas agus KV. Oibríonn an treoir 64 GB vs 128 GB trí cé na samhlacha reatha a oireann ar gach ceann acu.
CCanna
Cé mhéad cuimhne atá de dhíth ar shamhail 70B?
Is iad na meáchain na paraiméadair faoi na bearta in aghaidh an pharaiméadair: thart ar 140 GB ag FP16, 70 GB ag FP8 agus 37 GB ag 4-ghiotán, mar a leagann leathanach na samhlacha amach. Ar DGX Spark le thart ar 121.6 GiB inrochtana, ní oireann FP16, oireann FP8 (70 GB) ach suíonn sé díreach faoin líne 75 GB áit a n-éiríonn sé ina samhail d'úsáideoir aonair, agus fágann 4-ghiotán thart ar 84 GiB roimh an taisce KV. Cuireann Llama 3.3 70B 327,680 beart de thaisce KV in aghaidh an token leis ag FP16, agus mar sin is thart ar 2.7 GB iad 8,192 token do sheicheamh amháin.
An oireann gpt-oss-120b ar DGX Spark?
Oireann. Is 65.2 GB (60.8 GiB) iad na meáchain MXFP4 i stórlann Hugging Face OpenAI san iomlán, rud a fhágann thart ar 61 GiB den 121.6 GiB de chuimhne inrochtana don taisce KV agus don fhorchostas. Níor thomhais GPUwerk lorg ná luas na samhla seo. Is tuairisc tríú páirtí é an thart ar 60 tok/s a luaitear go minic dó faoi llama.cpp (tg32 ar chomhthéacs folamh, ag titim go thart ar 40 tok/s ag 32,768 token comhthéacs), ní tomhas ó GPUwerk.
Cad í an chuimhne aontaithe do LLManna?
Tá linn amháin de 128 GB LPDDR5x ag an DGX Spark a úsáideann an LAP agus an GPU araon, agus mar sin níl aon VRAM ar leith ann. Tarraingíonn na meáchain, an taisce KV, an córas oibriúcháin, Docker agus an taisce leathanach as an linn chéanna, agus níl i samhail atá 'rómhór don VRAM' ach ceann atá rómhór don mhéid atá fágtha den linn sin. Ciallaíonn sé freisin gurb é 273 GB/s de bhandaleithead, ní cumas, a shocraíonn luas an díchódaithe.
An gciallaíonn dhá Spark 256 GB do shamhail amháin?
Ní chiallaíonn. Is dhá linn 121.6 GiB ar leith iad dhá Spark nasctha atá ceangailte le nasc líonra, ní linn amháin 256 GB. Caithfear samhail a roinnt eatarthu, mar shampla le comhthreomhaireacht teinseora nó píblíne, agus tá a sciar féin de na meáchain, den taisce KV agus den fhorchostas de dhíth ar gach nód fós. Seiceálann an leathanach seo an oiriúint in aghaidh an nóid agus ní dhéanann sé aon mhaíomh luais dhá nód; tá an t-aon phéire a thomhais GPUwerk’, Qwen3-32B le comhthreomhaireacht teinseora, ar an leathanach tagarmharcanna. Clúdaíonn an treoir braisle dhá nód an socrú.
Cé chomh cruinn atá an t-áireamhán seo?
Meastachán atá ann, ní figiúr cruinn. Fágann sé ar lár maoláin inneall, graif CUDA, meiteashonraí cainníochtaithe thar an meán bearta in aghaidh an pharaiméadair, agus leithdháileadh a bhaineann go sonrach le hinneall, mar an linn KV réamh-mhéadaithe atá ag vLLM. I gcás Llama 3.3 70B AWQ, aontaíonn an meastachán agus logaí tagarmhairc GPUwerk laistigh de thart ar 3 GiB, agus is iad na logaí an fhírinne bhunúsach. Tástáil fíorualach sula ngeallann tú cumraíocht.