DGX Spark/Kalkulator pamięci
Kalkulator

Czy zmieści się na DGX Spark? Kalkulator pamięci LLM

Samuel Seidel · Opublikowano 11 października 2026 · 6 min czytania

Model 70B w 4 bitach potrzebuje około 37 GiB na wagi, co z 121,6 GiB adresowalnej pamięci zunifikowanej DGX Sparka zostawia około 84 GiB na pamięć podręczną KV i narzut; w FP16 (około 140 GB) ten sam model się nie mieści. gpt-oss-120b też się mieści: jego wagi MXFP4 mają łącznie 65,2 GB (60,8 GiB), co zostawia około 61 GiB. Wpisz poniżej swój model; wzory i ich ograniczenia są opisane pod kalkulatorem. Prowadzę GPUwerk, który wynajmuje DGX Spark, więc oceniaj to ujęcie, mając to na uwadze.

Dwie przykładowe odpowiedzi

ModelWagiPozostało ze 121,6 GiBWerdykt
Llama 3.3 70B, AWQ 4-bitokoło 37 GiB (log GPUwerk)około 84 GiB, około 82 GiB po 8192 tokenach KV dla jednego użytkownikaMieści się. Pamięć wystarczy dla zespołu; szybkość nie (GPUwerk zmierzył 6,0 tok/s dla jednego użytkownika)
gpt-oss-120b, MXFP465,2 GB (60,8 GiB), repozytorium Hugging Faceokoło 61 GiB przed KV i narzutemMieści się. Między liniami 40 i 75 GB, więc zmieści się kilku użytkowników, jeśli pamięć podręczna KV pozostanie mała

37 GiB wag Llamy, 6,0 tok/s i wartość 121,6 GiB pochodzą z dokumentacji vLLM, strony Llama 3.3 70B i strony z benchmarkami GPUwerk. Rozmiar gpt-oss-120b to suma plików safetensors MXFP4 w openai/gpt-oss-120b na Hugging Face, sprawdzone 2026-10-11; llama.cpp podaje rozmiar GGUF MXFP4 jako 59,02 GiB w dyskusji #16578. GPUwerk nie mierzył zużycia pamięci przez gpt-oss-120b. Odejmowanie i rozmiar KV to moje obliczenia.

Zmieszczenie się to tylko połowa sprawy: gęsty 70B, który łatwo się mieści, nadal generuje około 6 tokenów na sekundę dla jednego żądania, bo każdy token odczytuje wszystkie jego wagi. Które duże modele działają wystarczająco szybko na jednym Sparku porównuje modele gęste i mixture-of-experts ze zmierzonymi i raportowanymi prędkościami.

Kalkulator

Wszystko działa w twojej przeglądarce i nic nie jest zapisywane ani wysyłane. Wybierz gotowe ustawienie lub wpisz własne liczby. Wyniki pojawiają się pod formularzem i aktualizują się w trakcie pisania.

Model

Wpisz własne dane.

Pamięć podręczna KV
Maszyna
Wpisz powyżej model, aby zobaczyć szacunek. Bez JavaScriptu skorzystaj z poniższych wzorów lub dwóch przykładowych odpowiedzi powyżej.

Domyślny narzut 4 GiB to moje założenie, oparte na „kilku gigabajtach” na aktywacje i kontekst CUDA ze strony o modelach. Opcja 64 GB to połowa zaobserwowanych przez GPUwerk 121,6 GiB; GPUwerk nie uruchamiał tego wariantu. Tryb dwuwęzłowy zakłada równy podział wag i KV.

Jak działa szacunek

Trzy wzory, wszystkie to zwykła arytmetyka:

Bajty na parametr to średnie, nie dokładne wartości. FP16 to 2, a FP8 to 1. Formaty 4-bitowe (INT4, AWQ, NVFP4, MXFP4) po uwzględnieniu skal mieszczą się między 0,5 a 0,56, a ta strona domyślnie przyjmuje 0,56. 2-bitowy GGUF to około 0,3. Dynamiczne kwantyzacje GGUF mieszają szerokości bitowe, więc opublikowane rozmiary plików są lepsze od każdego wzoru.

Werdykt opiera się na regule kciuka ze strony o modelach. Poniżej około 40 GB wag na węzeł zostaje miejsce na obsługę zespołu, powyżej około 75 GB to model dla jednego użytkownika, a ujemny zapas oznacza, że się nie mieści. Przedział 40–75 GB pomiędzy nimi to moja interpretacja tej reguły: mieści się, ale o liczbie użytkowników decyduje pamięć podręczna KV. Rozmiary pamięci podręcznej KV dla 22 aktualnych modeli, wyliczone z każdego config.json, są w artykule rozmiar pamięci podręcznej KV według modelu.

Sprawdzenie wzoru z logami GPUwerk

Pomiary vLLM w GPUwerk zapisały w logach, ile tokenów KV mieści się przy wykorzystaniu pamięci GPU 0,85. Logi są punktem odniesienia; wzór ma tylko wypaść blisko nich.

ModelKV na tokenZapisane tokeny KV przy 0,85Rozmiar KV według wzoruWeryfikacja krzyżowa
Llama 3.3 70B AWQ327 680 bajtów (80 warstw, 8 głowic KV, wymiar 128, FP16)207 12063,2 GiB37 GiB wag + 63,2 GiB KV = 100,2 GiB, przy budżecie 0,85 x 121,6 = 103,4 GiB. Pozostałe 3,2 GiB to narzut silnika.
Qwen3-Coder 30B-A3B AWQ98 304 bajty (48 warstw, 4 głowice KV, wymiar 128, FP16)924 91284,7 GiBZostawia 18,7 GiB z budżetu 103,4 GiB na wagi i narzut. Parametry x 0,56 daje około 16 GiB wag, co się zgadza.

Tokeny KV i wartość 37 GiB: strony GPUwerk o Llama 3.3 70B i Qwen3-Coder 30B-A3B oraz logi. Liczby warstw, głowic i wymiarów: pliki config.json modeli na Hugging Face (kopia Llama 3.3 70B, Qwen3-Coder, gpt-oss-120b), sprawdzone 2026-10-11. Sumy weryfikacji krzyżowej to moje obliczenia.

Jeden niuans z jednostkami: strona z benchmarkami i strona o Llama 3.3 70B w GPUwerk dzielą 273 GB/s przez 37 i dostają pułap 7,4 tok/s, traktując zapisane w logu 37 GiB jako 37 GB. Po przeliczeniu (37 GiB to 39,7 GB) pułap wynosi 6,9 tok/s i tej wartości używa kalkulator. W odniesieniu do 6,9 zmierzone 6,0 tok/s to około 87% pułapu, nieco powyżej przedziału 50–80%.

Czym różni się pamięć zunifikowana

Osobne GPU ma własną pamięć VRAM i model albo się w niej mieści, albo wylewa się przez wolne łącze PCIe. DGX Spark ma jedną pulę 128 GB LPDDR5x współdzieloną przez CPU i GPU. Logi GPUwerk pokazują około 121,6 GiB adresowalnej pamięci, a to musi wystarczyć na system operacyjny, Dockera, pamięć podręczną stron i wszelkie inne procesy, a także na twoje wagi i pamięć podręczną KV.

Informacje o wydaniu DGX Spark od NVIDIA (sprawdzone 2026-10-11) podają, że w wydaniu z lipca 2026 pamięć zarezerwowaną dla wyświetlacza można regulować: domyślnie 2 GB, 4 GB przez BIOS. Jeśli używasz monitora, sprawdź, co pokazuje twój system w free -h, zanim dobierzesz model co do ostatniego gigabajta. GPUwerk uruchamia też swoje Sparki bez swapu od wzmocnienia zarządzania pamięcią 9 września 2026, więc jej wyczerpanie kończy się błędem braku pamięci, a nie spowolnieniem.

Ta pula to też powód, dla którego szybkość ogranicza przepustowość, a nie pojemność: 273 GB/s zasila każdy token, więc gęsty model 70B odczytuje na token około 37 GiB, a model mixture-of-experts z 3B aktywnych parametrów mniej niż 2 GB. Pełną listę sprzętu zawiera strona ze specyfikacją.

Dla osobnej karty GPU lub Maca FitLocally wykonuje ten sam rodzaj sprawdzenia dopasowania dla około 110 otwartych modeli na kartach graficznych, Macach i mini PC. To osobna strona, którą publikuję.

Modele, które nie mieszczą się na jednym Sparku

Kalkulator zawiera dwa przykłady, które się nie mieszczą. Oba opierają się na stronach agregatorów, a nie na kartach modeli ani własnych danych GPUwerk, więc traktuj te rozmiary jako orientacyjne.

ModelUżyty rozmiarŹródło (agregator)Dlaczego to zawodzi
DeepSeek V4.1-Flash, Q2_K324 GB (763,2B parametrów)llmrun.devOkoło 2,5 raza więcej niż 121,6 GiB jednego Sparka (130,6 GB) i więcej, niż mieszczą razem dwa Sparki (około 261 GB)
Kimi K3, 4-bitokoło 1570 GB (2,8T parametrów x 0,56)slash-digital.io12 razy więcej niż jeden Spark

Sprawdzono 2026-10-11. Rozmiar Kimi w 4 bitach to moje mnożenie, a nie opublikowana kwantyzacja.

Dwa Sparki i wariant 64 GB

Dwa połączone Sparki dają dwie pule po 121,6 GiB, a nie 256 GB dla jednego modelu. Kalkulator dzieli wagi i KV po równo i sprawdza każdy węzeł, co jest optymistyczne, bo prawdziwy podział rzadko jest idealnie równy. Konfigurację opisuje poradnik klastra dwuwęzłowego. Aby wypróbować model na prawdziwym sprzęcie przed zakupem, strona o wynajmie wyjaśnia wynajem na minuty.

Strona produktu NVIDIA wymienia wariant 64 GB sprzedawany przez partnerów OEM (zobacz stronę ze specyfikacją), a artykuł The Register z 2 października 2026 opisuje zapowiedź, w tym niezmienioną przepustowość 273 GB/s (sprawdzone 2026-10-11). GPUwerk nie uruchamiał takiego urządzenia, więc wartość 60,8 GiB w kalkulatorze to po prostu połowa ze 121,6. Przy tym rozmiarze przykładowy model 70B w 4 bitach (37 GiB) zostawiłby około 24 GiB przed narzutem i KV. Poradnik 64 GB vs 128 GB pokazuje, które aktualne modele mieszczą się na każdym z nich.

FAQ

Ile pamięci potrzebuje model 70B?

Wagi to parametry razy bajty na parametr: około 140 GB w FP16, 70 GB w FP8 i 37 GB w 4 bitach, jak przedstawia strona o modelach. Na DGX Spark z około 121,6 GiB adresowalnej pamięci FP16 się nie mieści, FP8 (70 GB) się mieści, ale jest tuż poniżej linii 75 GB, powyżej której staje się modelem dla jednego użytkownika, a 4 bity zostawiają około 84 GiB przed pamięcią podręczną KV. Llama 3.3 70B dodaje 327 680 bajtów pamięci podręcznej KV na token w FP16, więc 8192 tokeny dla jednej sekwencji to około 2,7 GB.

Czy gpt-oss-120b mieści się na DGX Spark?

Tak. Wagi MXFP4 w repozytorium OpenAI na Hugging Face mają łącznie 65,2 GB (60,8 GiB), co ze 121,6 GiB adresowalnej pamięci zostawia około 61 GiB na pamięć podręczną KV i narzut. GPUwerk nie mierzył zużycia pamięci ani szybkości tego modelu. Często cytowane około 60 tok/s w llama.cpp to raport osoby trzeciej (tg32 przy pustym kontekście, spadające do około 40 tok/s przy kontekście 32 768 tokenów), a nie pomiar GPUwerk.

Czym jest pamięć zunifikowana dla LLM?

DGX Spark ma jedną pulę 128 GB LPDDR5x, z której korzystają zarówno CPU, jak i GPU, więc nie ma osobnej pamięci VRAM. Wagi, pamięć podręczna KV, system operacyjny, Docker i pamięć podręczna stron korzystają z tej samej puli, a model, który jest „za duży na VRAM”, jest po prostu za duży na to, co z tej puli zostało. Oznacza to też, że o szybkości dekodowania decyduje przepustowość 273 GB/s, a nie pojemność.

Czy dwa Sparki oznaczają 256 GB dla jednego modelu?

Nie. Dwa połączone Sparki to dwie osobne pule po 121,6 GiB połączone łączem sieciowym, a nie jedna pula 256 GB. Model trzeba między nie podzielić, na przykład przez równoległość tensorową lub potokową, a każdy węzeł nadal potrzebuje swojej części wag, pamięci podręcznej KV i narzutu. Ta strona sprawdza dopasowanie na węzeł i nie podaje żadnych wartości szybkości dla dwóch węzłów; jedyną zmierzoną przez GPUwerk parę, Qwen3-32B z równoległością tensorową, znajdziesz na stronie z benchmarkami. Konfigurację opisuje poradnik klastra dwuwęzłowego.

Jak dokładny jest ten kalkulator?

To szacunek, a nie dokładna wartość. Pomija bufory silnika, grafy CUDA, metadane kwantyzacji poza średnią liczbą bajtów na parametr oraz alokację zależną od silnika, taką jak wstępnie zwymiarowana pula KV w vLLM. Dla Llama 3.3 70B AWQ szacunek i logi benchmarków GPUwerk zgadzają się z dokładnością do około 3 GiB, a punktem odniesienia są logi. Przetestuj prawdziwe obciążenie, zanim zdecydujesz się na konfigurację.

Pierwsze doładowanie: zapłać 20 USD, otrzymasz 30 USD środków

Sprawdź szacunek na prawdziwym Sparku.

Wynajmij dedykowany DGX Spark w Europie, Ameryce Północnej lub Azji Wschodniej za 0,79 USD/h, rozliczany co minutę, i załaduj policzony przed chwilą model.

Załóż konto Zobacz cennik