DGX Spark/Калкулатор на паметта
Калкулатор

Побира ли се на DGX Spark? Калкулатор на паметта за LLM

Автор: Samuel Seidel · Публикувано на 11 октомври 2026 г. · 6 мин. четене

Модел 70B при 4 бита изисква около 37 GiB тегла, което оставя около 84 GiB от 121,6 GiB адресируема унифицирана памет на DGX Spark за KV кеш и служебна памет; при FP16 (около 140 GB) същият модел не се побира. gpt-oss-120b също се побира: неговите MXFP4 тегла са общо 65,2 GB (60,8 GiB), като остават около 61 GiB. Въведете своя модел по-долу; формулите и техните ограничения са след калкулатора. Аз управлявам GPUwerk, който отдава DGX Spark под наем, така че имайте това предвид, когато преценявате представянето.

Два примерни отговора

МоделТеглаОстават от 121,6 GiBОценка
Llama 3.3 70B, AWQ 4-bitоколо 37 GiB (лог на GPUwerk)около 84 GiB, около 82 GiB след 8192 токена KV за един потребителПобира се. Паметта оставя място за екип; скоростта — не (GPUwerk измери 6,0 tok/s за един потребител)
gpt-oss-120b, MXFP465,2 GB (60,8 GiB), хранилище в Hugging Faceоколо 61 GiB преди KV и служебна паметПобира се. Между линиите от 40 и 75 GB, така че няколко потребители се побират, ако KV кешът остане малък

Теглата на Llama от 37 GiB, 6,0 tok/s и стойността от 121,6 GiB са от документа за vLLM, страницата за Llama 3.3 70B и страницата с бенчмаркове на GPUwerk. Размерът на gpt-oss-120b е сумата от MXFP4 safetensors файловете в openai/gpt-oss-120b в Hugging Face, проверено на 2026-10-11; llama.cpp отчита MXFP4 GGUF като 59,02 GiB в дискусия #16578. GPUwerk не е измервал заеманата памет от gpt-oss-120b. Изваждането и размерът на KV са мои изчисления.

Побирането е само половината: плътен 70B, който се побира лесно, все пак генерира около 6 токена в секунда при една заявка, защото всеки токен чете всичките му тегла. Кои големи модели работят достатъчно бързо на един Spark сравнява плътни и mixture-of-experts модели с измерени и отчетени скорости.

Калкулатор

Всичко се изпълнява в браузъра ви и нищо не се съхранява или изпраща. Изберете готова настройка или въведете свои числа. Резултатите се появяват под формата и се обновяват, докато пишете.

Модел

Въведете своите стойности.

KV кеш
Машина
Въведете модел по-горе, за да видите оценката. Без JavaScript използвайте формулите по-долу или двата примерни отговора по-горе.

Стойността по подразбиране от 4 GiB служебна памет е мое допускане, въз основа на „няколко гигабайта“ за активации и CUDA контекста на страницата с модели. Опцията с 64 GB мащабира наблюдаваните от GPUwerk 121,6 GiB наполовина; GPUwerk не е тествал този вариант. Режимът с два възела предполага, че теглата и KV се разделят поравно.

Как работи оценката

Три формули, всички обикновена аритметика:

Байтовете на параметър са средни стойности, не точни. FP16 е 2, а FP8 е 1. 4-битовите формати (INT4, AWQ, NVFP4, MXFP4) попадат между 0,5 и 0,56, след като се отчетат мащабите, и тази страница използва 0,56 по подразбиране. 2-битов GGUF е около 0,3. Динамичните GGUF квантизации смесват битови ширини, така че публикуваните размери на файловете са по-точни от всяка формула.

Оценката следва практическото правило от страницата с модели. Под около 40 GB тегла на възел оставя място за обслужване на екип, над около 75 GB е модел за един потребител, а отрицателен резерв означава, че не се побира. Диапазонът от 40 до 75 GB между тях е моето тълкуване на това правило: побира се, но KV кешът решава колко потребители се побират. Размерите на KV кеша за 22 актуални модела, изчислени от всеки config.json, са в размер на KV кеша по модели.

Проверка на формулата спрямо логовете на GPUwerk

Изпълненията на vLLM на GPUwerk записаха колко KV токена се побират при 0,85 използване на GPU паметта. Логовете са истината; формулата трябва само да попадне близо до тях.

МоделKV на токенЗаписани KV токени при 0,85Размер на KV по формулатаКръстосана проверка
Llama 3.3 70B AWQ327 680 байта (80 слоя, 8 KV heads, 128 dim, FP16)207 12063,2 GiB37 GiB тегла + 63,2 GiB KV = 100,2 GiB при бюджет 0,85 x 121,6 = 103,4 GiB. Останалите 3,2 GiB са служебна памет на енджина.
Qwen3-Coder 30B-A3B AWQ98 304 байта (48 слоя, 4 KV heads, 128 dim, FP16)924 91284,7 GiBОставя 18,7 GiB от бюджета от 103,4 GiB за тегла и служебна памет. Параметри x 0,56 дава около 16 GiB тегла, което е съгласувано.

KV токени и стойността от 37 GiB: страниците и логовете на GPUwerk за Llama 3.3 70B и Qwen3-Coder 30B-A3B. Брой слоеве, глави и размери: файловете config.json на моделите в Hugging Face (огледало на Llama 3.3 70B, Qwen3-Coder, gpt-oss-120b), проверени на 2026-10-11. Сумите за кръстосана проверка са мои изчисления.

Една неточност в единиците: страницата с бенчмаркове на GPUwerk и страницата за Llama 3.3 70B делят 273 GB/s на 37, за да получат таван от 7,4 tok/s, третирайки записаните 37 GiB като 37 GB. С преобразуване (37 GiB са 39,7 GB) таванът е 6,9 tok/s и калкулаторът използва тази стойност. Спрямо 6,9 измерените 6,0 tok/s са около 87% от тавана, малко над диапазона от 50 до 80%.

С какво е различна унифицираната памет

Дискретният GPU има собствена VRAM и моделът или се побира там, или прелива през бавна PCIe връзка. DGX Spark има един пул от 128 GB LPDDR5x, споделен от CPU и GPU. Логовете на GPUwerk показват около 121,6 GiB адресируеми от него, а те трябва да покрият операционната система, Docker, page cache и всеки друг процес, както и теглата ви и KV кеш.

Бележките към версиите на DGX Spark на NVIDIA (проверени на 2026-10-11) посочват паметта, запазена за дисплея, като регулируема във версията от юли 2026 г.: 2 GB по подразбиране, 4 GB чрез BIOS. Ако използвате дисплей, проверете какво отчита собствената ви система с free -h, преди да оразмерявате модел до последния гигабайт. GPUwerk също така изпълнява своите Spark без swap след укрепване на паметта на 9 септември 2026 г., така че изчерпването ѝ е грешка out-of-memory, а не забавяне.

Пулът е и причината скоростта да се ограничава от пропускателната способност, а не от капацитета: 273 GB/s захранват всеки токен, така че плътен модел 70B чете около 37 GiB на токен, докато mixture-of-experts модел с 3B активни параметъра чете под 2 GB. Вижте страницата със спецификации за пълния списък на хардуера.

За дискретен GPU или Mac FitLocally прави същата проверка за съвместимост за около 110 отворени модела на видеокарти, Mac и мини компютри. Това е отделен сайт, който публикувам.

Модели, които не се побират на един Spark

Калкулаторът включва два примера, които не се побират. И двата се основават на страници на агрегатори, а не на model cards или собствени данни на GPUwerk, затова приемайте размерите като ориентировъчни.

МоделИзползван размерИзточник (агрегатор)Защо не работи
DeepSeek V4.1-Flash, Q2_K324 GB (763,2B параметъра)llmrun.devОколо 2,5 пъти 121,6 GiB на един Spark (130,6 GB) и повече, отколкото побират два Spark възела заедно (около 261 GB)
Kimi K3, 4-bitоколо 1570 GB (2,8T параметъра x 0,56)slash-digital.io12 пъти капацитета на един Spark

Проверено на 2026-10-11. 4-битовият размер на Kimi е мое умножение, а не публикувана квантизация.

Два Spark и вариантът с 64 GB

Два свързани Spark ви дават два пула от 121,6 GiB, а не 256 GB за един модел. Калкулаторът разделя теглата и KV поравно и проверява всеки възел, което е оптимистично, защото реалните разделяния рядко са напълно равни. За настройката вижте ръководството за клъстер от два възела. За да пробвате модел на реален хардуер, преди да купите, страницата как да наемете обяснява наема на минута.

Продуктовата страница на NVIDIA посочва вариант с 64 GB, продаван чрез OEM партньори (вижте страницата със спецификации), а статията на The Register от 2 октомври 2026 г. отразява обявяването, включително непроменената пропускателна способност от 273 GB/s (проверено на 2026-10-11). GPUwerk не е тествал такъв, така че стойността от 60,8 GiB в калкулатора е половината от 121,6 и нищо повече. При този размер 4-битовият пример със 70B (37 GiB) би оставил около 24 GiB преди служебната памет и KV. Ръководството 64 GB срещу 128 GB разглежда кои актуални модели се побират на всеки.

ЧЗВ

Колко памет изисква модел 70B?

Теглата са параметри по байтове на параметър: около 140 GB при FP16, 70 GB при FP8 и 37 GB при 4 бита, както е описано на страницата с модели. На DGX Spark с около 121,6 GiB адресируема памет FP16 не се побира, FP8 (70 GB) се побира, но е точно под линията от 75 GB, над която става модел за един потребител, а 4-битовият оставя около 84 GiB преди KV кеша. Llama 3.3 70B добавя 327 680 байта KV кеш на токен при FP16, така че 8192 токена за една последователност са около 2,7 GB.

Побира ли се gpt-oss-120b на DGX Spark?

Да. MXFP4 теглата в хранилището на OpenAI в Hugging Face са общо 65,2 GB (60,8 GiB), което оставя около 61 GiB от 121,6 GiB адресируема памет за KV кеш и служебна памет. GPUwerk не е измервал заеманата памет или скоростта на този модел. Често цитираните около 60 tok/s за него при llama.cpp са доклад на трета страна (tg32 при празен контекст, спадащи до около 40 tok/s при 32 768 токена контекст), а не измерване на GPUwerk.

Какво е унифицирана памет за LLM?

DGX Spark има един пул от 128 GB LPDDR5x, който използват и CPU, и GPU, така че няма отделна VRAM. Теглата, KV кешът, операционната система, Docker и page cache се захранват от един и същ пул, а модел, който е „твърде голям за VRAM“, просто е твърде голям за това, което остава от този пул. Това означава също, че скоростта на декодиране се определя от 273 GB/s пропускателна способност, а не от капацитета.

Означават ли два Spark възела 256 GB за един модел?

Не. Два свързани Spark са два отделни пула от 121,6 GiB, свързани с мрежова връзка, а не един пул от 256 GB. Моделът трябва да бъде разделен между тях, например с тензорен или конвейерен паралелизъм, а всеки възел все пак се нуждае от своя дял от теглата, KV кеша и служебната памет. Тази страница проверява побирането за всеки възел и не твърди нищо за скоростта на два възела; единствената измерена двойка на GPUwerk, Qwen3-32B с тензорен паралелизъм, е на страницата с бенчмаркове. Ръководството за клъстер от два възела описва настройката.

Колко точен е този калкулатор?

Това е оценка, а не точна стойност. Тя не отчита буферите на енджина, CUDA graphs, метаданните на квантизацията отвъд средните байтове на параметър и специфичното за енджина заделяне, като предварително оразмерения KV пул на vLLM. За Llama 3.3 70B AWQ оценката и логовете от бенчмарковете на GPUwerk съвпадат в рамките на около 3 GiB, а логовете са истината. Тествайте реално натоварване, преди да се обвържете с конфигурация.

Първо внасяне: платете 20 $, получете 30 $ кредит

Проверете оценката на истински Spark.

Наемете самостоятелен DGX Spark в Европа, Северна Америка или Източна Азия за 0,79 $/час, таксуване на минута, и заредете модела, който току-що оразмерихте.

Създайте акаунт Вижте цените