DGX Spark/Kalkulačka paměti
Kalkulačka

Vejde se to na DGX Spark? Kalkulačka paměti LLM

Autor: Samuel Seidel · Zveřejněno 11. října 2026 · 6 min čtení

Model 70B ve 4 bitech potřebuje zhruba 37 GiB vah, takže z 121,6 GiB adresovatelné sjednocené paměti DGX Sparku zbývá zhruba 84 GiB na KV cache a režii; v FP16 (zhruba 140 GB) se stejný model nevejde. Vejde se i gpt-oss-120b: jeho váhy MXFP4 mají celkem 65,2 GB (60,8 GiB), takže zbývá zhruba 61 GiB. Níže zadejte vlastní model; vzorce a jejich omezení najdete pod kalkulačkou. Provozuji GPUwerk, který pronajímá DGX Sparky, takže to při čtení zohledněte.

Dvě vypočtené odpovědi

ModelVáhyZbývá ze 121,6 GiBVerdikt
Llama 3.3 70B, AWQ 4bitzhruba 37 GiB (log GPUwerk)zhruba 84 GiB, zhruba 82 GiB po 8 192 tokenech KV pro jednoho uživateleVejde se. Paměť nechává prostor pro tým, rychlost ne (GPUwerk naměřil 6,0 tok/s pro jednoho uživatele)
gpt-oss-120b, MXFP465,2 GB (60,8 GiB), repozitář na Hugging Facezhruba 61 GiB před KV a režiíVejde se. Mezi hranicemi 40 a 75 GB, takže se vejde pár uživatelů, pokud KV cache zůstane malá

Váhy Llama 37 GiB, 6,0 tok/s a údaj 121,6 GiB pocházejí z dokumentace vLLM, stránky Llama 3.3 70B a stránky s benchmarky GPUwerk. Velikost gpt-oss-120b je součet souborů safetensors MXFP4 v openai/gpt-oss-120b na Hugging Face, ověřeno 11. 10. 2026; llama.cpp uvádí GGUF MXFP4 jako 59,02 GiB v diskusi #16578. GPUwerk paměťovou stopu gpt-oss-120b neměřil. Odečítání a velikost KV jsou můj výpočet.

Vejít se je jen polovina: hustý 70B, který se vejde snadno, stále generuje zhruba 6 tokenů za sekundu pro jeden požadavek, protože každý token čte všechny jeho váhy. Článek Které velké modely běží na jednom Sparku dost rychle srovnává husté modely a modely mixture-of-experts s naměřenými a uváděnými rychlostmi.

Kalkulačka

Vše běží ve vašem prohlížeči a nic se neukládá ani neodesílá. Vyberte předvolbu nebo zadejte vlastní čísla. Výsledky se zobrazí pod formulářem a aktualizují se během psaní.

Model

Zadejte vlastní údaje.

KV cache
Stroj
Zadejte výše model a uvidíte odhad. Bez JavaScriptu použijte vzorce níže nebo dvě vypočtené odpovědi výše.

Výchozí režie 4 GiB je můj předpoklad podle stránky modelů, která uvádí „několik gigabajtů“ pro aktivace a kontext CUDA. Možnost 64 GB přepočítává pozorovaných 121,6 GiB GPUwerk na polovinu; GPUwerk tuto variantu neprovozoval. Režim dvou uzlů předpokládá rovnoměrné rozdělení vah a KV.

Jak odhad funguje

Tři vzorce, všechno prostá aritmetika:

Bajty na parametr jsou průměry, ne přesné hodnoty. FP16 je 2 a FP8 je 1. 4bitové formáty (INT4, AWQ, NVFP4, MXFP4) se po započtení škálovacích faktorů pohybují mezi 0,5 a 0,56 a tato stránka používá výchozí 0,56. 2bitový GGUF je zhruba 0,3. Dynamické kvantizace GGUF kombinují různé bitové šířky, takže zveřejněné velikosti souborů jsou přesnější než jakýkoli vzorec.

Verdikt se řídí orientačním pravidlem ze stránky modelů. Pod zhruba 40 GB vah na uzel zbývá prostor pro obsluhu týmu, nad zhruba 75 GB jde o model pro jednoho uživatele a záporná rezerva znamená, že se nevejde. Pásmo 40 až 75 GB mezi nimi je můj výklad tohoto pravidla: vejde se, ale počet uživatelů určuje KV cache. Velikosti KV cache pro 22 aktuálních modelů, vypočtené z jejich config.json, najdete v článku velikost KV cache podle modelu.

Ověření vzorce podle logů GPUwerk

Běhy vLLM v GPUwerku zaznamenaly, kolik KV tokenů se vejde při využití paměti GPU 0,85. Logy jsou rozhodující; vzorec se k nim má jen přiblížit.

ModelKV na tokenZaznamenané KV tokeny při 0,85Velikost KV podle vzorceKřížová kontrola
Llama 3.3 70B AWQ327 680 bajtů (80 vrstev, 8 KV hlav, dimenze 128, FP16)207 12063,2 GiB37 GiB vah + 63,2 GiB KV = 100,2 GiB proti rozpočtu 0,85 x 121,6 = 103,4 GiB. Zbývajících 3,2 GiB je režie enginu.
Qwen3-Coder 30B-A3B AWQ98 304 bajtů (48 vrstev, 4 KV hlavy, dimenze 128, FP16)924 91284,7 GiBZe 103,4 GiB rozpočtu zbývá 18,7 GiB na váhy a režii. Parametry x 0,56 dávají zhruba 16 GiB vah, což odpovídá.

KV tokeny a údaj 37 GiB: stránky a logy GPUwerk k Llama 3.3 70B a Qwen3-Coder 30B-A3B. Počty vrstev, hlav a dimenzí: soubory config.json modelů na Hugging Face (zrcadlo Llama 3.3 70B, Qwen3-Coder, gpt-oss-120b), ověřeno 11. 10. 2026. Součty křížové kontroly jsou můj výpočet.

Jeden háček s jednotkami: stránka s benchmarky GPUwerk a stránka Llama 3.3 70B dělí 273 GB/s číslem 37 a dostávají strop 7,4 tok/s, přičemž zaznamenaných 37 GiB berou jako 37 GB. Po převodu (37 GiB je 39,7 GB) je strop 6,9 tok/s a kalkulačka používá tuto hodnotu. Vůči 6,9 je naměřených 6,0 tok/s zhruba 87 % stropu, o něco nad pásmem 50 až 80 %.

Čím je sjednocená paměť jiná

Samostatná GPU má vlastní VRAM a model se tam buď vejde, nebo přeteče přes pomalé spojení PCIe. DGX Spark má jednu společnou paměť 128 GB LPDDR5x, kterou sdílí CPU a GPU. Logy GPUwerk ukazují zhruba 121,6 GiB adresovatelné paměti, a ta musí pokrýt operační systém, Docker, page cache a všechny další procesy stejně jako vaše váhy a KV cache.

Poznámky k vydání DGX Spark od NVIDIA (ověřeno 11. 10. 2026) uvádějí, že paměť vyhrazenou pro displej lze ve vydání z července 2026 upravit: výchozí 2 GB, 4 GB přes BIOS. Pokud používáte displej, zkontrolujte, co váš systém hlásí pomocí free -h, než budete model dimenzovat na poslední gigabajt. GPUwerk navíc od zpřísnění správy paměti 9. září 2026 provozuje své Sparky bez swapu, takže nedostatek paměti znamená chybu out-of-memory, ne zpomalení.

Společná paměť je také důvodem, proč rychlost omezuje propustnost, ne kapacita: 273 GB/s napájí každý token, takže hustý model 70B čte na token zhruba 37 GiB, zatímco model mixture-of-experts se 3B aktivními parametry méně než 2 GB. Úplný seznam hardwaru najdete na stránce se specifikacemi.

Pro samostatnou GPU nebo Mac provádí FitLocally stejný druh kontroly vhodnosti pro přibližně 110 otevřených modelů napříč grafickými kartami, Macy a mini PC. Je to samostatný web, který vydávám.

Modely, které se nevejdou na jeden Spark

Kalkulačka obsahuje dva příklady, které se nevejdou. Oba vycházejí ze stránek agregátorů, ne z model cards nebo vlastních údajů GPUwerk, takže velikosti berte jako orientační.

ModelPoužitá velikostZdroj (agregátor)Proč to selhává
DeepSeek V4.1-Flash, Q2_K324 GB (763,2B parametrů)llmrun.devZhruba 2,5násobek 121,6 GiB jednoho Sparku (130,6 GB) a víc, než pojmou dva Sparky dohromady (zhruba 261 GB)
Kimi K3, 4bitzhruba 1 570 GB (2,8T parametrů x 0,56)slash-digital.io12násobek kapacity jednoho Sparku

Ověřeno 11. 10. 2026. 4bitová velikost Kimi je můj výpočet, ne zveřejněná kvantizace.

Dva Sparky a varianta s 64 GB

Dva propojené Sparky vám dají dvě samostatné paměti po 121,6 GiB, ne 256 GB pro jeden model. Kalkulačka rozděluje váhy a KV rovnoměrně a kontroluje každý uzel, což je optimistické, protože skutečná rozdělení jsou málokdy dokonale rovnoměrná. Nastavení popisuje průvodce dvouuzlovým clusterem. Chcete-li model před koupí vyzkoušet na skutečném hardwaru, stránka o pronájmu vysvětluje pronájem po minutách.

Produktová stránka NVIDIA uvádí variantu s 64 GB prodávanou přes OEM partnery (viz stránka se specifikacemi) a zpráva The Register z 2. října 2026 popisuje oznámení včetně nezměněné propustnosti 273 GB/s (ověřeno 11. 10. 2026). GPUwerk ji neprovozoval, takže údaj kalkulačky 60,8 GiB je jen polovina ze 121,6 a nic víc. Při této velikosti by 4bitový příklad 70B (37 GiB) nechal zhruba 24 GiB před režií a KV. Průvodce 64 GB vs 128 GB rozebírá, které aktuální modely se vejdou na kterou variantu.

FAQ

Kolik paměti potřebuje model 70B?

Váhy jsou parametry krát bajty na parametr: zhruba 140 GB v FP16, 70 GB v FP8 a 37 GB ve 4 bitech, jak uvádí stránka modelů. Na DGX Spark se zhruba 121,6 GiB adresovatelné paměti se FP16 nevejde, FP8 (70 GB) se vejde, ale je těsně pod hranicí 75 GB, kde se z něj stává model pro jednoho uživatele, a 4 bity nechají zhruba 84 GiB před KV cache. Llama 3.3 70B přidává v FP16 327 680 bajtů KV cache na token, takže 8 192 tokenů pro jednu sekvenci je zhruba 2,7 GB.

Vejde se gpt-oss-120b na DGX Spark?

Ano. Váhy MXFP4 v repozitáři OpenAI na Hugging Face mají celkem 65,2 GB (60,8 GiB), takže ze 121,6 GiB adresovatelné paměti zbývá zhruba 61 GiB na KV cache a režii. GPUwerk paměťovou stopu ani rychlost tohoto modelu neměřil. Často uváděných zhruba 60 tok/s v llama.cpp je zpráva třetí strany (tg32 na prázdném kontextu, klesající na zhruba 40 tok/s při kontextu 32 768 tokenů), ne měření GPUwerk.

Co je sjednocená paměť pro LLM?

DGX Spark má jednu společnou 128GB paměť LPDDR5x, kterou používají CPU i GPU, takže samostatná VRAM neexistuje. Váhy, KV cache, operační systém, Docker i page cache čerpají ze stejné paměti a model, který je „příliš velký pro VRAM“, je prostě příliš velký pro to, co z této paměti zbývá. Znamená to také, že rychlost dekódování určuje propustnost 273 GB/s, ne kapacita.

Znamenají dva Sparky 256 GB pro jeden model?

Ne. Dva propojené Sparky jsou dvě samostatné paměti po 121,6 GiB spojené síťovým propojením, ne jedna společná paměť 256 GB. Model se mezi ně musí rozdělit, například tenzorovým nebo pipeline paralelismem, a každý uzel stále potřebuje svůj podíl vah, KV cache a režie. Tato stránka kontroluje, zda se model vejde na uzel, a netvrdí nic o rychlosti dvou uzlů; jediná naměřená dvojice GPUwerk, Qwen3-32B s tenzorovým paralelismem, je na stránce s benchmarky. Nastavení popisuje průvodce dvouuzlovým clusterem.

Jak přesná je tato kalkulačka?

Je to odhad, ne přesné číslo. Vynechává buffery enginu, grafy CUDA, metadata kvantizace nad rámec průměru bajtů na parametr a alokaci specifickou pro engine, například předem dimenzovaný KV pool ve vLLM. U Llama 3.3 70B AWQ se odhad a logy benchmarků GPUwerk shodují zhruba na 3 GiB a rozhodující jsou logy. Než se zavážete ke konfiguraci, otestujte skutečnou zátěž.

První dobití: zaplaťte 20 $, získejte 30 $ kreditu

Ověřte odhad na skutečném Sparku.

Pronajměte si dedikovaný DGX Spark v Evropě, Severní Americe nebo Východní Asii za 0,79 $/h, účtováno po minutách, a načtěte model, který jste právě nadimenzovali.

Založit účet Zobrazit ceník