Czy zmieści się na DGX Spark? Kalkulator pamięci LLM
Model 70B w 4 bitach potrzebuje około 37 GiB na wagi, co z 121,6 GiB adresowalnej pamięci zunifikowanej DGX Sparka zostawia około 84 GiB na pamięć podręczną KV i narzut; w FP16 (około 140 GB) ten sam model się nie mieści. gpt-oss-120b też się mieści: jego wagi MXFP4 mają łącznie 65,2 GB (60,8 GiB), co zostawia około 61 GiB. Wpisz poniżej swój model; wzory i ich ograniczenia są opisane pod kalkulatorem. Prowadzę GPUwerk, który wynajmuje DGX Spark, więc oceniaj to ujęcie, mając to na uwadze.
Dwie przykładowe odpowiedzi
| Model | Wagi | Pozostało ze 121,6 GiB | Werdykt |
|---|---|---|---|
| Llama 3.3 70B, AWQ 4-bit | około 37 GiB (log GPUwerk) | około 84 GiB, około 82 GiB po 8192 tokenach KV dla jednego użytkownika | Mieści się. Pamięć wystarczy dla zespołu; szybkość nie (GPUwerk zmierzył 6,0 tok/s dla jednego użytkownika) |
| gpt-oss-120b, MXFP4 | 65,2 GB (60,8 GiB), repozytorium Hugging Face | około 61 GiB przed KV i narzutem | Mieści się. Między liniami 40 i 75 GB, więc zmieści się kilku użytkowników, jeśli pamięć podręczna KV pozostanie mała |
37 GiB wag Llamy, 6,0 tok/s i wartość 121,6 GiB pochodzą z dokumentacji vLLM, strony Llama 3.3 70B i strony z benchmarkami GPUwerk. Rozmiar gpt-oss-120b to suma plików safetensors MXFP4 w openai/gpt-oss-120b na Hugging Face, sprawdzone 2026-10-11; llama.cpp podaje rozmiar GGUF MXFP4 jako 59,02 GiB w dyskusji #16578. GPUwerk nie mierzył zużycia pamięci przez gpt-oss-120b. Odejmowanie i rozmiar KV to moje obliczenia.
Zmieszczenie się to tylko połowa sprawy: gęsty 70B, który łatwo się mieści, nadal generuje około 6 tokenów na sekundę dla jednego żądania, bo każdy token odczytuje wszystkie jego wagi. Które duże modele działają wystarczająco szybko na jednym Sparku porównuje modele gęste i mixture-of-experts ze zmierzonymi i raportowanymi prędkościami.
Kalkulator
Wszystko działa w twojej przeglądarce i nic nie jest zapisywane ani wysyłane. Wybierz gotowe ustawienie lub wpisz własne liczby. Wyniki pojawiają się pod formularzem i aktualizują się w trakcie pisania.
Domyślny narzut 4 GiB to moje założenie, oparte na „kilku gigabajtach” na aktywacje i kontekst CUDA ze strony o modelach. Opcja 64 GB to połowa zaobserwowanych przez GPUwerk 121,6 GiB; GPUwerk nie uruchamiał tego wariantu. Tryb dwuwęzłowy zakłada równy podział wag i KV.
Jak działa szacunek
Trzy wzory, wszystkie to zwykła arytmetyka:
- Wagi (GB) = łączna liczba parametrów w miliardach x bajty na parametr. Model 70B to około 140 GB w FP16, 70 GB w FP8 i 37 GB w 4 bitach, tak samo jak na stronie o modelach.
- Pamięć podręczna KV (bajty) = 2 x warstwy x głowice KV x wymiar głowicy x bajty na wartość x tokeny x sekwencje. 2 oznacza jeden klucz i jedną wartość na głowicę.
- Pułap dekodowania (tok/s) = 273 GB/s podzielone przez liczbę GB wag aktywnych parametrów odczytywanych na token. To pułap arytmetyczny, a nie oczekiwana prędkość. Strona z benchmarkami GPUwerk pokazuje, że prawdziwe silniki osiągają mniej więcej 50–80% tej wartości, i gdzie wypadły własne pomiary GPUwerk.
Bajty na parametr to średnie, nie dokładne wartości. FP16 to 2, a FP8 to 1. Formaty 4-bitowe (INT4, AWQ, NVFP4, MXFP4) po uwzględnieniu skal mieszczą się między 0,5 a 0,56, a ta strona domyślnie przyjmuje 0,56. 2-bitowy GGUF to około 0,3. Dynamiczne kwantyzacje GGUF mieszają szerokości bitowe, więc opublikowane rozmiary plików są lepsze od każdego wzoru.
Werdykt opiera się na regule kciuka ze strony o modelach. Poniżej około 40 GB wag na węzeł zostaje miejsce na obsługę zespołu, powyżej około 75 GB to model dla jednego użytkownika, a ujemny zapas oznacza, że się nie mieści. Przedział 40–75 GB pomiędzy nimi to moja interpretacja tej reguły: mieści się, ale o liczbie użytkowników decyduje pamięć podręczna KV. Rozmiary pamięci podręcznej KV dla 22 aktualnych modeli, wyliczone z każdego config.json, są w artykule rozmiar pamięci podręcznej KV według modelu.
Sprawdzenie wzoru z logami GPUwerk
Pomiary vLLM w GPUwerk zapisały w logach, ile tokenów KV mieści się przy wykorzystaniu pamięci GPU 0,85. Logi są punktem odniesienia; wzór ma tylko wypaść blisko nich.
| Model | KV na token | Zapisane tokeny KV przy 0,85 | Rozmiar KV według wzoru | Weryfikacja krzyżowa |
|---|---|---|---|---|
| Llama 3.3 70B AWQ | 327 680 bajtów (80 warstw, 8 głowic KV, wymiar 128, FP16) | 207 120 | 63,2 GiB | 37 GiB wag + 63,2 GiB KV = 100,2 GiB, przy budżecie 0,85 x 121,6 = 103,4 GiB. Pozostałe 3,2 GiB to narzut silnika. |
| Qwen3-Coder 30B-A3B AWQ | 98 304 bajty (48 warstw, 4 głowice KV, wymiar 128, FP16) | 924 912 | 84,7 GiB | Zostawia 18,7 GiB z budżetu 103,4 GiB na wagi i narzut. Parametry x 0,56 daje około 16 GiB wag, co się zgadza. |
Tokeny KV i wartość 37 GiB: strony GPUwerk o Llama 3.3 70B i Qwen3-Coder 30B-A3B oraz logi. Liczby warstw, głowic i wymiarów: pliki config.json modeli na Hugging Face (kopia Llama 3.3 70B, Qwen3-Coder, gpt-oss-120b), sprawdzone 2026-10-11. Sumy weryfikacji krzyżowej to moje obliczenia.
Jeden niuans z jednostkami: strona z benchmarkami i strona o Llama 3.3 70B w GPUwerk dzielą 273 GB/s przez 37 i dostają pułap 7,4 tok/s, traktując zapisane w logu 37 GiB jako 37 GB. Po przeliczeniu (37 GiB to 39,7 GB) pułap wynosi 6,9 tok/s i tej wartości używa kalkulator. W odniesieniu do 6,9 zmierzone 6,0 tok/s to około 87% pułapu, nieco powyżej przedziału 50–80%.
Czym różni się pamięć zunifikowana
Osobne GPU ma własną pamięć VRAM i model albo się w niej mieści, albo wylewa się przez wolne łącze PCIe. DGX Spark ma jedną pulę 128 GB LPDDR5x współdzieloną przez CPU i GPU. Logi GPUwerk pokazują około 121,6 GiB adresowalnej pamięci, a to musi wystarczyć na system operacyjny, Dockera, pamięć podręczną stron i wszelkie inne procesy, a także na twoje wagi i pamięć podręczną KV.
Informacje o wydaniu DGX Spark od NVIDIA (sprawdzone 2026-10-11) podają, że w wydaniu z lipca 2026 pamięć zarezerwowaną dla wyświetlacza można regulować: domyślnie 2 GB, 4 GB przez BIOS. Jeśli używasz monitora, sprawdź, co pokazuje twój system w free -h, zanim dobierzesz model co do ostatniego gigabajta. GPUwerk uruchamia też swoje Sparki bez swapu od wzmocnienia zarządzania pamięcią 9 września 2026, więc jej wyczerpanie kończy się błędem braku pamięci, a nie spowolnieniem.
Ta pula to też powód, dla którego szybkość ogranicza przepustowość, a nie pojemność: 273 GB/s zasila każdy token, więc gęsty model 70B odczytuje na token około 37 GiB, a model mixture-of-experts z 3B aktywnych parametrów mniej niż 2 GB. Pełną listę sprzętu zawiera strona ze specyfikacją.
Dla osobnej karty GPU lub Maca FitLocally wykonuje ten sam rodzaj sprawdzenia dopasowania dla około 110 otwartych modeli na kartach graficznych, Macach i mini PC. To osobna strona, którą publikuję.
Modele, które nie mieszczą się na jednym Sparku
Kalkulator zawiera dwa przykłady, które się nie mieszczą. Oba opierają się na stronach agregatorów, a nie na kartach modeli ani własnych danych GPUwerk, więc traktuj te rozmiary jako orientacyjne.
| Model | Użyty rozmiar | Źródło (agregator) | Dlaczego to zawodzi |
|---|---|---|---|
| DeepSeek V4.1-Flash, Q2_K | 324 GB (763,2B parametrów) | llmrun.dev | Około 2,5 raza więcej niż 121,6 GiB jednego Sparka (130,6 GB) i więcej, niż mieszczą razem dwa Sparki (około 261 GB) |
| Kimi K3, 4-bit | około 1570 GB (2,8T parametrów x 0,56) | slash-digital.io | 12 razy więcej niż jeden Spark |
Sprawdzono 2026-10-11. Rozmiar Kimi w 4 bitach to moje mnożenie, a nie opublikowana kwantyzacja.
Dwa Sparki i wariant 64 GB
Dwa połączone Sparki dają dwie pule po 121,6 GiB, a nie 256 GB dla jednego modelu. Kalkulator dzieli wagi i KV po równo i sprawdza każdy węzeł, co jest optymistyczne, bo prawdziwy podział rzadko jest idealnie równy. Konfigurację opisuje poradnik klastra dwuwęzłowego. Aby wypróbować model na prawdziwym sprzęcie przed zakupem, strona o wynajmie wyjaśnia wynajem na minuty.
Strona produktu NVIDIA wymienia wariant 64 GB sprzedawany przez partnerów OEM (zobacz stronę ze specyfikacją), a artykuł The Register z 2 października 2026 opisuje zapowiedź, w tym niezmienioną przepustowość 273 GB/s (sprawdzone 2026-10-11). GPUwerk nie uruchamiał takiego urządzenia, więc wartość 60,8 GiB w kalkulatorze to po prostu połowa ze 121,6. Przy tym rozmiarze przykładowy model 70B w 4 bitach (37 GiB) zostawiłby około 24 GiB przed narzutem i KV. Poradnik 64 GB vs 128 GB pokazuje, które aktualne modele mieszczą się na każdym z nich.
FAQ
Ile pamięci potrzebuje model 70B?
Wagi to parametry razy bajty na parametr: około 140 GB w FP16, 70 GB w FP8 i 37 GB w 4 bitach, jak przedstawia strona o modelach. Na DGX Spark z około 121,6 GiB adresowalnej pamięci FP16 się nie mieści, FP8 (70 GB) się mieści, ale jest tuż poniżej linii 75 GB, powyżej której staje się modelem dla jednego użytkownika, a 4 bity zostawiają około 84 GiB przed pamięcią podręczną KV. Llama 3.3 70B dodaje 327 680 bajtów pamięci podręcznej KV na token w FP16, więc 8192 tokeny dla jednej sekwencji to około 2,7 GB.
Czy gpt-oss-120b mieści się na DGX Spark?
Tak. Wagi MXFP4 w repozytorium OpenAI na Hugging Face mają łącznie 65,2 GB (60,8 GiB), co ze 121,6 GiB adresowalnej pamięci zostawia około 61 GiB na pamięć podręczną KV i narzut. GPUwerk nie mierzył zużycia pamięci ani szybkości tego modelu. Często cytowane około 60 tok/s w llama.cpp to raport osoby trzeciej (tg32 przy pustym kontekście, spadające do około 40 tok/s przy kontekście 32 768 tokenów), a nie pomiar GPUwerk.
Czym jest pamięć zunifikowana dla LLM?
DGX Spark ma jedną pulę 128 GB LPDDR5x, z której korzystają zarówno CPU, jak i GPU, więc nie ma osobnej pamięci VRAM. Wagi, pamięć podręczna KV, system operacyjny, Docker i pamięć podręczna stron korzystają z tej samej puli, a model, który jest „za duży na VRAM”, jest po prostu za duży na to, co z tej puli zostało. Oznacza to też, że o szybkości dekodowania decyduje przepustowość 273 GB/s, a nie pojemność.
Czy dwa Sparki oznaczają 256 GB dla jednego modelu?
Nie. Dwa połączone Sparki to dwie osobne pule po 121,6 GiB połączone łączem sieciowym, a nie jedna pula 256 GB. Model trzeba między nie podzielić, na przykład przez równoległość tensorową lub potokową, a każdy węzeł nadal potrzebuje swojej części wag, pamięci podręcznej KV i narzutu. Ta strona sprawdza dopasowanie na węzeł i nie podaje żadnych wartości szybkości dla dwóch węzłów; jedyną zmierzoną przez GPUwerk parę, Qwen3-32B z równoległością tensorową, znajdziesz na stronie z benchmarkami. Konfigurację opisuje poradnik klastra dwuwęzłowego.
Jak dokładny jest ten kalkulator?
To szacunek, a nie dokładna wartość. Pomija bufory silnika, grafy CUDA, metadane kwantyzacji poza średnią liczbą bajtów na parametr oraz alokację zależną od silnika, taką jak wstępnie zwymiarowana pula KV w vLLM. Dla Llama 3.3 70B AWQ szacunek i logi benchmarków GPUwerk zgadzają się z dokładnością do około 3 GiB, a punktem odniesienia są logi. Przetestuj prawdziwe obciążenie, zanim zdecydujesz się na konfigurację.