Побира ли се на DGX Spark? Калкулатор на паметта за LLM
Модел 70B при 4 бита изисква около 37 GiB тегла, което оставя около 84 GiB от 121,6 GiB адресируема унифицирана памет на DGX Spark за KV кеш и служебна памет; при FP16 (около 140 GB) същият модел не се побира. gpt-oss-120b също се побира: неговите MXFP4 тегла са общо 65,2 GB (60,8 GiB), като остават около 61 GiB. Въведете своя модел по-долу; формулите и техните ограничения са след калкулатора. Аз управлявам GPUwerk, който отдава DGX Spark под наем, така че имайте това предвид, когато преценявате представянето.
Два примерни отговора
| Модел | Тегла | Остават от 121,6 GiB | Оценка |
|---|---|---|---|
| Llama 3.3 70B, AWQ 4-bit | около 37 GiB (лог на GPUwerk) | около 84 GiB, около 82 GiB след 8192 токена KV за един потребител | Побира се. Паметта оставя място за екип; скоростта — не (GPUwerk измери 6,0 tok/s за един потребител) |
| gpt-oss-120b, MXFP4 | 65,2 GB (60,8 GiB), хранилище в Hugging Face | около 61 GiB преди KV и служебна памет | Побира се. Между линиите от 40 и 75 GB, така че няколко потребители се побират, ако KV кешът остане малък |
Теглата на Llama от 37 GiB, 6,0 tok/s и стойността от 121,6 GiB са от документа за vLLM, страницата за Llama 3.3 70B и страницата с бенчмаркове на GPUwerk. Размерът на gpt-oss-120b е сумата от MXFP4 safetensors файловете в openai/gpt-oss-120b в Hugging Face, проверено на 2026-10-11; llama.cpp отчита MXFP4 GGUF като 59,02 GiB в дискусия #16578. GPUwerk не е измервал заеманата памет от gpt-oss-120b. Изваждането и размерът на KV са мои изчисления.
Побирането е само половината: плътен 70B, който се побира лесно, все пак генерира около 6 токена в секунда при една заявка, защото всеки токен чете всичките му тегла. Кои големи модели работят достатъчно бързо на един Spark сравнява плътни и mixture-of-experts модели с измерени и отчетени скорости.
Калкулатор
Всичко се изпълнява в браузъра ви и нищо не се съхранява или изпраща. Изберете готова настройка или въведете свои числа. Резултатите се появяват под формата и се обновяват, докато пишете.
Стойността по подразбиране от 4 GiB служебна памет е мое допускане, въз основа на „няколко гигабайта“ за активации и CUDA контекста на страницата с модели. Опцията с 64 GB мащабира наблюдаваните от GPUwerk 121,6 GiB наполовина; GPUwerk не е тествал този вариант. Режимът с два възела предполага, че теглата и KV се разделят поравно.
Как работи оценката
Три формули, всички обикновена аритметика:
- Тегла (GB) = общо параметри в милиарди x байтове на параметър. Модел 70B е около 140 GB при FP16, 70 GB при FP8 и 37 GB при 4 бита — същите стойности като на страницата с модели.
- KV кеш (байтове) = 2 x слоеве x KV heads x размер на главата x байтове на стойност x токени x последователности. 2 е един ключ и една стойност на глава.
- Таван на декодиране (tok/s) = 273 GB/s, разделено на GB тегла на активните параметри, прочитани на токен. Това е аритметичен таван, а не очаквана скорост. Страницата с бенчмаркове на GPUwerk поставя реалните енджини на приблизително 50 до 80% от него и показва къде попаднаха собствените измервания на GPUwerk.
Байтовете на параметър са средни стойности, не точни. FP16 е 2, а FP8 е 1. 4-битовите формати (INT4, AWQ, NVFP4, MXFP4) попадат между 0,5 и 0,56, след като се отчетат мащабите, и тази страница използва 0,56 по подразбиране. 2-битов GGUF е около 0,3. Динамичните GGUF квантизации смесват битови ширини, така че публикуваните размери на файловете са по-точни от всяка формула.
Оценката следва практическото правило от страницата с модели. Под около 40 GB тегла на възел оставя място за обслужване на екип, над около 75 GB е модел за един потребител, а отрицателен резерв означава, че не се побира. Диапазонът от 40 до 75 GB между тях е моето тълкуване на това правило: побира се, но KV кешът решава колко потребители се побират. Размерите на KV кеша за 22 актуални модела, изчислени от всеки config.json, са в размер на KV кеша по модели.
Проверка на формулата спрямо логовете на GPUwerk
Изпълненията на vLLM на GPUwerk записаха колко KV токена се побират при 0,85 използване на GPU паметта. Логовете са истината; формулата трябва само да попадне близо до тях.
| Модел | KV на токен | Записани KV токени при 0,85 | Размер на KV по формулата | Кръстосана проверка |
|---|---|---|---|---|
| Llama 3.3 70B AWQ | 327 680 байта (80 слоя, 8 KV heads, 128 dim, FP16) | 207 120 | 63,2 GiB | 37 GiB тегла + 63,2 GiB KV = 100,2 GiB при бюджет 0,85 x 121,6 = 103,4 GiB. Останалите 3,2 GiB са служебна памет на енджина. |
| Qwen3-Coder 30B-A3B AWQ | 98 304 байта (48 слоя, 4 KV heads, 128 dim, FP16) | 924 912 | 84,7 GiB | Оставя 18,7 GiB от бюджета от 103,4 GiB за тегла и служебна памет. Параметри x 0,56 дава около 16 GiB тегла, което е съгласувано. |
KV токени и стойността от 37 GiB: страниците и логовете на GPUwerk за Llama 3.3 70B и Qwen3-Coder 30B-A3B. Брой слоеве, глави и размери: файловете config.json на моделите в Hugging Face (огледало на Llama 3.3 70B, Qwen3-Coder, gpt-oss-120b), проверени на 2026-10-11. Сумите за кръстосана проверка са мои изчисления.
Една неточност в единиците: страницата с бенчмаркове на GPUwerk и страницата за Llama 3.3 70B делят 273 GB/s на 37, за да получат таван от 7,4 tok/s, третирайки записаните 37 GiB като 37 GB. С преобразуване (37 GiB са 39,7 GB) таванът е 6,9 tok/s и калкулаторът използва тази стойност. Спрямо 6,9 измерените 6,0 tok/s са около 87% от тавана, малко над диапазона от 50 до 80%.
С какво е различна унифицираната памет
Дискретният GPU има собствена VRAM и моделът или се побира там, или прелива през бавна PCIe връзка. DGX Spark има един пул от 128 GB LPDDR5x, споделен от CPU и GPU. Логовете на GPUwerk показват около 121,6 GiB адресируеми от него, а те трябва да покрият операционната система, Docker, page cache и всеки друг процес, както и теглата ви и KV кеш.
Бележките към версиите на DGX Spark на NVIDIA (проверени на 2026-10-11) посочват паметта, запазена за дисплея, като регулируема във версията от юли 2026 г.: 2 GB по подразбиране, 4 GB чрез BIOS. Ако използвате дисплей, проверете какво отчита собствената ви система с free -h, преди да оразмерявате модел до последния гигабайт. GPUwerk също така изпълнява своите Spark без swap след укрепване на паметта на 9 септември 2026 г., така че изчерпването ѝ е грешка out-of-memory, а не забавяне.
Пулът е и причината скоростта да се ограничава от пропускателната способност, а не от капацитета: 273 GB/s захранват всеки токен, така че плътен модел 70B чете около 37 GiB на токен, докато mixture-of-experts модел с 3B активни параметъра чете под 2 GB. Вижте страницата със спецификации за пълния списък на хардуера.
За дискретен GPU или Mac FitLocally прави същата проверка за съвместимост за около 110 отворени модела на видеокарти, Mac и мини компютри. Това е отделен сайт, който публикувам.
Модели, които не се побират на един Spark
Калкулаторът включва два примера, които не се побират. И двата се основават на страници на агрегатори, а не на model cards или собствени данни на GPUwerk, затова приемайте размерите като ориентировъчни.
| Модел | Използван размер | Източник (агрегатор) | Защо не работи |
|---|---|---|---|
| DeepSeek V4.1-Flash, Q2_K | 324 GB (763,2B параметъра) | llmrun.dev | Около 2,5 пъти 121,6 GiB на един Spark (130,6 GB) и повече, отколкото побират два Spark възела заедно (около 261 GB) |
| Kimi K3, 4-bit | около 1570 GB (2,8T параметъра x 0,56) | slash-digital.io | 12 пъти капацитета на един Spark |
Проверено на 2026-10-11. 4-битовият размер на Kimi е мое умножение, а не публикувана квантизация.
Два Spark и вариантът с 64 GB
Два свързани Spark ви дават два пула от 121,6 GiB, а не 256 GB за един модел. Калкулаторът разделя теглата и KV поравно и проверява всеки възел, което е оптимистично, защото реалните разделяния рядко са напълно равни. За настройката вижте ръководството за клъстер от два възела. За да пробвате модел на реален хардуер, преди да купите, страницата как да наемете обяснява наема на минута.
Продуктовата страница на NVIDIA посочва вариант с 64 GB, продаван чрез OEM партньори (вижте страницата със спецификации), а статията на The Register от 2 октомври 2026 г. отразява обявяването, включително непроменената пропускателна способност от 273 GB/s (проверено на 2026-10-11). GPUwerk не е тествал такъв, така че стойността от 60,8 GiB в калкулатора е половината от 121,6 и нищо повече. При този размер 4-битовият пример със 70B (37 GiB) би оставил около 24 GiB преди служебната памет и KV. Ръководството 64 GB срещу 128 GB разглежда кои актуални модели се побират на всеки.
ЧЗВ
Колко памет изисква модел 70B?
Теглата са параметри по байтове на параметър: около 140 GB при FP16, 70 GB при FP8 и 37 GB при 4 бита, както е описано на страницата с модели. На DGX Spark с около 121,6 GiB адресируема памет FP16 не се побира, FP8 (70 GB) се побира, но е точно под линията от 75 GB, над която става модел за един потребител, а 4-битовият оставя около 84 GiB преди KV кеша. Llama 3.3 70B добавя 327 680 байта KV кеш на токен при FP16, така че 8192 токена за една последователност са около 2,7 GB.
Побира ли се gpt-oss-120b на DGX Spark?
Да. MXFP4 теглата в хранилището на OpenAI в Hugging Face са общо 65,2 GB (60,8 GiB), което оставя около 61 GiB от 121,6 GiB адресируема памет за KV кеш и служебна памет. GPUwerk не е измервал заеманата памет или скоростта на този модел. Често цитираните около 60 tok/s за него при llama.cpp са доклад на трета страна (tg32 при празен контекст, спадащи до около 40 tok/s при 32 768 токена контекст), а не измерване на GPUwerk.
Какво е унифицирана памет за LLM?
DGX Spark има един пул от 128 GB LPDDR5x, който използват и CPU, и GPU, така че няма отделна VRAM. Теглата, KV кешът, операционната система, Docker и page cache се захранват от един и същ пул, а модел, който е „твърде голям за VRAM“, просто е твърде голям за това, което остава от този пул. Това означава също, че скоростта на декодиране се определя от 273 GB/s пропускателна способност, а не от капацитета.
Означават ли два Spark възела 256 GB за един модел?
Не. Два свързани Spark са два отделни пула от 121,6 GiB, свързани с мрежова връзка, а не един пул от 256 GB. Моделът трябва да бъде разделен между тях, например с тензорен или конвейерен паралелизъм, а всеки възел все пак се нуждае от своя дял от теглата, KV кеша и служебната памет. Тази страница проверява побирането за всеки възел и не твърди нищо за скоростта на два възела; единствената измерена двойка на GPUwerk, Qwen3-32B с тензорен паралелизъм, е на страницата с бенчмаркове. Ръководството за клъстер от два възела описва настройката.
Колко точен е този калкулатор?
Това е оценка, а не точна стойност. Тя не отчита буферите на енджина, CUDA graphs, метаданните на квантизацията отвъд средните байтове на параметър и специфичното за енджина заделяне, като предварително оразмерения KV пул на vLLM. За Llama 3.3 70B AWQ оценката и логовете от бенчмарковете на GPUwerk съвпадат в рамките на около 3 GiB, а логовете са истината. Тествайте реално натоварване, преди да се обвържете с конфигурация.