DGX Spark/Kalkulačka pamäte
Kalkulačka

Zmestí sa to na DGX Sparku? Kalkulačka pamäte LLM

Samuel Seidel · Publikované 11. októbra 2026 · 6 min čítania

Model 70B v 4 bitoch potrebuje asi 37 GiB váh, čo z 121,6 GiB adresovateľnej zjednotenej pamäte DGX Sparku necháva asi 84 GiB pre KV cache a réžiu; v FP16 (asi 140 GB) sa ten istý model nezmestí. Zmestí sa aj gpt-oss-120b: jeho váhy v MXFP4 majú spolu 65,2 GB (60,8 GiB) a zostane asi 61 GiB. Nižšie zadajte vlastný model; vzorce a ich obmedzenia nasledujú za kalkulačkou. Prevádzkujem GPUwerk, ktorý prenajíma DGX Spark, takže to pri čítaní zohľadnite.

Dve vypočítané odpovede

ModelVáhyZostáva zo 121,6 GiBVerdikt
Llama 3.3 70B, AWQ 4-bitasi 37 GiB (log GPUwerk)asi 84 GiB, asi 82 GiB po 8 192 tokenoch KV pre jedného používateľaZmestí sa. Pamäť nechá miesto pre tím, rýchlosť nie (GPUwerk nameral 6,0 tok/s pre jedného používateľa)
gpt-oss-120b, MXFP465,2 GB (60,8 GiB), repozitár Hugging Faceasi 61 GiB pred KV a réžiouZmestí sa. Medzi hranicami 40 a 75 GB, takže pár používateľov sa zmestí, ak KV cache zostane malá

37 GiB váh Llama, 6,0 tok/s a údaj 121,6 GiB pochádzajú z dokumentácie k vLLM, stránky Llama 3.3 70B a stránky s benchmarkami GPUwerk. Veľkosť gpt-oss-120b je súčet súborov safetensors v MXFP4 v openai/gpt-oss-120b na Hugging Face, overené 2026-10-11; llama.cpp uvádza GGUF v MXFP4 ako 59,02 GiB v diskusii #16578. GPUwerk pamäťovú stopu gpt-oss-120b nemeral. Odčítanie a veľkosť KV sú môj výpočet.

Zmestiť sa je len polovica: hustý 70B, ktorý sa ľahko zmestí, stále generuje asi 6 tokenov za sekundu na jednu požiadavku, pretože každý token číta všetky jeho váhy. Stránka Ktoré veľké modely bežia na jednom Sparku dosť rýchlo porovnáva husté modely a modely typu mixture-of-experts s nameranými a uvádzanými rýchlosťami.

Kalkulačka

Všetko beží vo vašom prehliadači a nič sa neukladá ani neodosiela. Vyberte predvoľbu alebo zadajte vlastné čísla. Výsledky sa zobrazia pod formulárom a aktualizujú sa počas písania.

Model

Zadajte vlastné údaje.

KV cache
Stroj
Zadajte model vyššie a uvidíte odhad. Bez JavaScriptu použite vzorce nižšie alebo dve vypočítané odpovede vyššie.

Predvolená réžia 4 GiB je môj predpoklad, založený na údaji „a few gigabytes“ pre aktivácie a kontext CUDA zo stránky modelov. Možnosť 64 GB škáluje pozorovaných 121,6 GiB v GPUwerk na polovicu; GPUwerk tento variant nespúšťal. Režim dvoch uzlov predpokladá rovnomerné rozdelenie váh aj KV.

Ako funguje odhad

Tri vzorce, všetko obyčajná aritmetika:

Bajty na parameter sú priemery, nie presné hodnoty. FP16 má 2 a FP8 má 1. 4-bitové formáty (INT4, AWQ, NVFP4, MXFP4) vychádzajú po započítaní škál medzi 0,5 a 0,56 a táto stránka predvolene používa 0,56. 2-bitový GGUF má asi 0,3. Dynamické kvantizácie GGUF kombinujú rôzne bitové šírky, takže zverejnené veľkosti súborov sú presnejšie ako akýkoľvek vzorec.

Verdikt sa riadi orientačným pravidlom zo stránky modelov. Menej ako asi 40 GB váh na uzol necháva miesto na obsluhu tímu, viac ako asi 75 GB je model pre jedného používateľa a záporná rezerva znamená, že sa nezmestí. Pásmo 40 až 75 GB medzi nimi je môj výklad tohto pravidla: zmestí sa, ale o počte používateľov rozhoduje KV cache. Veľkosti KV cache pre 22 aktuálnych modelov, vypočítané z každého config.json, sú v článku veľkosť KV cache podľa modelu.

Overenie vzorca na logoch GPUwerk

Behy vLLM v GPUwerk zaznamenali, koľko KV tokenov sa zmestí pri využití pamäte GPU 0,85. Logy sú zdrojom pravdy; vzorec sa k nim musí len priblížiť.

ModelKV na tokenZaznamenané KV tokeny pri 0,85Veľkosť KV podľa vzorcaKrížová kontrola
Llama 3.3 70B AWQ327 680 bajtov (80 vrstiev, 8 KV hláv, rozmer 128, FP16)207 12063,2 GiB37 GiB váh + 63,2 GiB KV = 100,2 GiB oproti rozpočtu 0,85 x 121,6 = 103,4 GiB. Zvyšných 3,2 GiB je réžia enginu.
Qwen3-Coder 30B-A3B AWQ98 304 bajtov (48 vrstiev, 4 KV hlavy, rozmer 128, FP16)924 91284,7 GiBZ rozpočtu 103,4 GiB zostáva 18,7 GiB pre váhy a réžiu. Parametre x 0,56 dávajú asi 16 GiB váh, čo sedí.

KV tokeny a údaj 37 GiB: stránky a logy GPUwerk pre Llama 3.3 70B a Qwen3-Coder 30B-A3B. Počty vrstiev, hláv a rozmery: súbory config.json modelov na Hugging Face (zrkadlo Llama 3.3 70B, Qwen3-Coder, gpt-oss-120b), overené 2026-10-11. Súčty krížovej kontroly sú môj výpočet.

Jedna nezrovnalosť v jednotkách: stránka s benchmarkami GPUwerk a stránka Llama 3.3 70B delia 273 GB/s číslom 37 a dostávajú strop 7,4 tok/s, pričom zaznamenaných 37 GiB berú ako 37 GB. Po prepočte (37 GiB je 39,7 GB) je strop 6,9 tok/s a kalkulačka používa túto hodnotu. Oproti 6,9 je nameraných 6,0 tok/s asi 87 % stropu, trochu nad pásmom 50 až 80 %.

Čím je zjednotená pamäť iná

Samostatná GPU má vlastnú VRAM a model sa tam buď zmestí, alebo pretečie cez pomalé spojenie PCIe. DGX Spark má jednu spoločnú 128 GB pamäť LPDDR5x, ktorú zdieľajú CPU a GPU. Logy GPUwerk ukazujú, že adresovateľných je z nej asi 121,6 GiB, a to musí pokryť operačný systém, Docker, page cache a ďalšie procesy, nielen vaše váhy a KV cache.

Poznámky k vydaniu DGX Sparku od NVIDIA (overené 2026-10-11) uvádzajú pamäť vyhradenú pre displej ako nastaviteľnú vo vydaní z júla 2026: predvolene 2 GB, cez BIOS 4 GB. Ak používate displej, pred dimenzovaním modelu do posledného gigabajtu si overte, čo hlási váš vlastný systém, pomocou free -h. GPUwerk navyše od sprísnenia pamäte 9. septembra 2026 prevádzkuje svoje Sparky bez swapu, takže nedostatok pamäte znamená chybu out-of-memory, nie spomalenie.

Práve táto spoločná pamäť je aj dôvodom, prečo rýchlosť obmedzuje priepustnosť, nie kapacita: 273 GB/s zásobuje každý token, takže hustý model 70B číta na token asi 37 GiB, kým model typu mixture-of-experts s 3B aktívnymi menej ako 2 GB. Úplný zoznam hardvéru nájdete na stránke s parametrami.

Pre samostatnú GPU alebo Mac robí FitLocally rovnaký druh kontroly vhodnosti pre približne 110 otvorených modelov naprieč grafickými kartami, Macmi a mini PC. Je to samostatný web, ktorý vydávam.

Modely, ktoré sa nezmestia na jeden Spark

Kalkulačka obsahuje dva príklady, ktoré sa nezmestia. Oba stoja na stránkach agregátorov, nie na kartách modelov ani vlastných údajoch GPUwerk, preto berte veľkosti ako orientačné.

ModelPoužitá veľkosťZdroj (agregátor)Prečo zlyháva
DeepSeek V4.1-Flash, Q2_K324 GB (763,2B parametrov)llmrun.devAsi 2,5-násobok 121,6 GiB jedného Sparku (130,6 GB) a viac, ako pojmú dva Sparky spolu (asi 261 GB)
Kimi K3, 4-bitasi 1 570 GB (2,8T parametrov x 0,56)slash-digital.io12-násobok kapacity jedného Sparku

Overené 2026-10-11. 4-bitová veľkosť Kimi je môj výpočet, nie zverejnená kvantizácia.

Dva Sparky a variant so 64 GB

Dva prepojené Sparky vám dajú dve 121,6 GiB pamäte, nie 256 GB pre jeden model. Kalkulačka rozdelí váhy a KV rovnomerne a overí každý uzol, čo je optimistické, pretože skutočné rozdelenia sú len zriedka dokonale rovnomerné. Nastavenie popisuje návod k dvojuzlovému klastru. Ak chcete model vyskúšať na skutočnom hardvéri pred kúpou, stránka o prenájme vysvetľuje prenájom na minúty.

Produktová stránka NVIDIA uvádza 64 GB variant predávaný cez OEM partnerov (pozrite stránku s parametrami) a správa The Register z 2. októbra 2026 pokrýva oznámenie vrátane nezmenenej priepustnosti 273 GB/s (overené 2026-10-11). GPUwerk ho nespúšťal, takže údaj 60,8 GiB v kalkulačke je polovica zo 121,6 a nič viac. Pri tejto veľkosti by 4-bitový príklad 70B (37 GiB) nechal asi 24 GiB pred réžiou a KV. Návod 64 GB vs 128 GB prechádza, ktoré aktuálne modely sa zmestia na ktorú verziu.

FAQ

Koľko pamäte potrebuje model 70B?

Váhy sú parametre krát bajty na parameter: asi 140 GB v FP16, 70 GB v FP8 a 37 GB v 4 bitoch, ako uvádza stránka modelov. Na DGX Spark s asi 121,6 GiB adresovateľnej pamäte sa FP16 nezmestí, FP8 (70 GB) sa zmestí, ale je tesne pod hranicou 75 GB, kde sa z neho stáva model pre jedného používateľa, a 4 bity nechávajú asi 84 GiB pred KV cache. Llama 3.3 70B pridáva 327 680 bajtov KV cache na token v FP16, takže 8 192 tokenov pre jednu sekvenciu je asi 2,7 GB.

Zmestí sa gpt-oss-120b na DGX Sparku?

Áno. Váhy v MXFP4 v repozitári OpenAI na Hugging Face majú spolu 65,2 GB (60,8 GiB), čo z 121,6 GiB adresovateľnej pamäte necháva asi 61 GiB pre KV cache a réžiu. GPUwerk pamäťovú stopu ani rýchlosť tohto modelu nemeral. Často uvádzaných zhruba 60 tok/s pod llama.cpp je správa tretej strany (tg32 pri prázdnom kontexte, s poklesom na asi 40 tok/s pri kontexte 32 768 tokenov), nie meranie GPUwerk.

Čo je zjednotená pamäť pre LLM?

DGX Spark má jednu spoločnú 128 GB pamäť LPDDR5x, ktorú používajú CPU aj GPU, takže samostatná VRAM neexistuje. Váhy, KV cache, operačný systém, Docker aj page cache čerpajú z tej istej pamäte a model, ktorý je „príliš veľký pre VRAM“, je jednoducho príliš veľký pre to, čo z tejto pamäte zostáva. Znamená to tiež, že rýchlosť dekódovania určuje priepustnosť 273 GB/s, nie kapacita.

Znamenajú dva Sparky 256 GB pre jeden model?

Nie. Dva prepojené Sparky sú dve samostatné 121,6 GiB pamäte spojené sieťovým prepojením, nie jedna 256 GB pamäť. Model sa medzi ne musí rozdeliť, napríklad tenzorovým alebo pipeline paralelizmom, a každý uzol stále potrebuje svoj podiel váh, KV cache a réžie. Táto stránka overuje zmestenie na každý uzol a netvrdí nič o rýchlosti dvoch uzlov; jediná dvojica nameraná v GPUwerk, Qwen3-32B s tenzorovým paralelizmom, je na stránke s benchmarkami. Návod k dvojuzlovému klastru pokrýva nastavenie.

Aká presná je táto kalkulačka?

Je to odhad, nie presné číslo. Vynecháva buffery enginu, grafy CUDA, metadáta kvantizácie nad rámec priemerného počtu bajtov na parameter a alokácie špecifické pre engine, napríklad vopred vyhradenú pamäť pre KV cache vo vLLM. Pri Llama 3.3 70B AWQ sa odhad a logy benchmarkov GPUwerk zhodujú v rozmedzí asi 3 GiB a zdrojom pravdy sú logy. Pred záväzkom ku konfigurácii otestujte skutočnú záťaž.

Prvé dobitie: zaplatíte 20 $, dostanete 30 $ kreditu

Overte odhad na skutočnom Sparku.

Prenajmite si vyhradený DGX Spark v Európe, Severnej Amerike alebo východnej Ázii za 0,79 $/hod., účtovaný po minútach, a načítajte model, ktorý ste práve prepočítali.

Vytvoriť účet Pozrieť ceny