Încape pe un DGX Spark? Calculator de memorie LLM
Un model de 70B pe 4 biți are nevoie de aproximativ 37 GiB de ponderi, ceea ce lasă aproximativ 84 GiB din cei 121,6 GiB de memorie unificată adresabilă a unui DGX Spark pentru cache-ul KV și overhead; la FP16 (aproximativ 140 GB) același model nu încape. Încape și gpt-oss-120b: ponderile sale MXFP4 au în total 65,2 GB (60,8 GiB), lăsând aproximativ 61 GiB. Introduceți mai jos propriul model; formulele și limitele lor urmează după calculator. Eu conduc GPUwerk, care închiriază DGX Spark-uri, așa că țineți cont de acest lucru când evaluați prezentarea.
Două răspunsuri calculate
| Model | Ponderi | Rămas din 121,6 GiB | Verdict |
|---|---|---|---|
| Llama 3.3 70B, AWQ pe 4 biți | aproximativ 37 GiB (log GPUwerk) | aproximativ 84 GiB, aproximativ 82 GiB după 8.192 de tokeni de KV pentru un utilizator | Încape. Memoria lasă loc pentru o echipă; viteza nu (GPUwerk a măsurat 6,0 tok/s pentru un singur utilizator) |
| gpt-oss-120b, MXFP4 | 65,2 GB (60,8 GiB), repository Hugging Face | aproximativ 61 GiB înainte de KV și overhead | Încape. Între liniile de 40 și 75 GB, deci încap câțiva utilizatori dacă cache-ul KV rămâne mic |
Ponderile Llama de 37 GiB, cei 6,0 tok/s și cifra de 121,6 GiB provin din documentația vLLM, pagina Llama 3.3 70B și pagina de benchmark-uri ale GPUwerk. Dimensiunea gpt-oss-120b este suma fișierelor safetensors MXFP4 din openai/gpt-oss-120b pe Hugging Face, verificată la 2026-10-11; llama.cpp raportează GGUF-ul MXFP4 ca 59,02 GiB în discuția #16578. GPUwerk nu a măsurat amprenta de memorie a gpt-oss-120b. Scăderea și dimensiunea KV sunt calculele mele.
A încăpea este doar jumătate din poveste: un 70B dens care încape ușor generează totuși aproximativ 6 tokeni pe secundă pentru o cerere, pentru că fiecare token îi citește toate ponderile. Ce modele mari rulează suficient de repede pe un Spark compară modele dense și mixture-of-experts cu viteze măsurate și raportate.
Calculator
Totul rulează în browserul dvs. și nimic nu este stocat sau trimis. Alegeți o presetare sau introduceți propriile numere. Rezultatele apar sub formular și se actualizează pe măsură ce scrieți.
Valoarea implicită de 4 GiB pentru overhead este presupunerea mea, bazată pe „câțiva gigabyte” pentru activări și contextul CUDA de pe pagina de modele. Opțiunea de 64 GB scalează la jumătate cei 121,6 GiB observați de GPUwerk; GPUwerk nu a rulat acea variantă. Modul cu două noduri presupune că ponderile și KV-ul se împart egal.
Cum funcționează estimarea
Trei formule, toate aritmetică simplă:
- Ponderi (GB) = parametri totali în miliarde x octeți per parametru. Un model de 70B are aproximativ 140 GB la FP16, 70 GB la FP8 și 37 GB pe 4 biți, aceleași cifre ca pe pagina de modele.
- Cache KV (octeți) = 2 x straturi x capete KV x dimensiunea capului x octeți per valoare x tokeni x secvențe. Factorul 2 înseamnă o cheie și o valoare per cap.
- Plafonul de decodare (tok/s) = 273 GB/s împărțit la GB de ponderi ale parametrilor activi citiți per token. Este un plafon aritmetic, nu viteza așteptată. Pagina de benchmark-uri a GPUwerk plasează motoarele reale la aproximativ 50 până la 80% din el și arată unde s-au situat rulările proprii ale GPUwerk.
Octeții per parametru sunt medii, nu valori exacte. FP16 înseamnă 2, iar FP8 înseamnă 1. Formatele pe 4 biți (INT4, AWQ, NVFP4, MXFP4) ajung între 0,5 și 0,56 odată ce sunt luate în calcul scalările, iar această pagină folosește implicit 0,56. Un GGUF pe 2 biți are aproximativ 0,3. Cuantizările GGUF dinamice combină lățimi de biți diferite, așa că dimensiunile publicate ale fișierelor bat orice formulă.
Verdictul urmează regula empirică de pe pagina de modele. Sub aproximativ 40 GB de ponderi per nod rămâne loc pentru a servi o echipă, peste aproximativ 75 GB este un model pentru un singur utilizator, iar o rezervă negativă înseamnă că nu încape. Intervalul de 40 până la 75 GB dintre ele este interpretarea mea a acestei reguli: încape, dar cache-ul KV decide câți utilizatori încap. Dimensiunile cache-ului KV pentru 22 de modele actuale, calculate din fiecare config.json, sunt în dimensiunea cache-ului KV pe model.
Verificarea formulei cu logurile GPUwerk
Rulările vLLM ale GPUwerk au înregistrat câți tokeni KV încap la o utilizare a memoriei GPU de 0,85. Logurile sunt referința reală; formula trebuie doar să ajungă aproape de ele.
| Model | KV per token | Tokeni KV înregistrați la 0,85 | Dimensiunea KV după formulă | Verificare încrucișată |
|---|---|---|---|---|
| Llama 3.3 70B AWQ | 327.680 de octeți (80 de straturi, 8 capete KV, dimensiune 128, FP16) | 207.120 | 63,2 GiB | 37 GiB ponderi + 63,2 GiB KV = 100,2 GiB, față de un buget de 0,85 x 121,6 = 103,4 GiB. Restul de 3,2 GiB este overhead-ul motorului. |
| Qwen3-Coder 30B-A3B AWQ | 98.304 de octeți (48 de straturi, 4 capete KV, dimensiune 128, FP16) | 924.912 | 84,7 GiB | Lasă 18,7 GiB din bugetul de 103,4 GiB pentru ponderi și overhead. Parametri x 0,56 dă aproximativ 16 GiB de ponderi, ceea ce este consecvent. |
Tokenii KV și cifra de 37 GiB: paginile și logurile GPUwerk pentru Llama 3.3 70B și Qwen3-Coder 30B-A3B. Numărul de straturi, capete și dimensiuni: fișierele config.json ale modelelor de pe Hugging Face (mirror Llama 3.3 70B, Qwen3-Coder, gpt-oss-120b), verificate la 2026-10-11. Sumele de verificare încrucișată sunt calculele mele.
O nuanță de unități: pagina de benchmark-uri și pagina Llama 3.3 70B ale GPUwerk împart 273 GB/s la 37 pentru a obține un plafon de 7,4 tok/s, tratând cei 37 GiB înregistrați ca 37 GB. Convertit (37 GiB înseamnă 39,7 GB), plafonul este 6,9 tok/s, iar calculatorul folosește această valoare. Față de 6,9, valoarea măsurată de 6,0 tok/s reprezintă aproximativ 87% din plafon, puțin peste intervalul de 50 până la 80%.
De ce memoria unificată este diferită
Un GPU dedicat are propriul VRAM, iar modelul fie încape acolo, fie se revarsă peste o legătură PCIe lentă. DGX Spark are o singură memorie de 128 GB LPDDR5x, partajată de CPU și GPU. Logurile GPUwerk arată aproximativ 121,6 GiB adresabili din el, iar aceștia trebuie să acopere sistemul de operare, Docker, page cache-ul și orice alt proces, pe lângă ponderi și cache-ul KV.
Notele de versiune DGX Spark ale NVIDIA (verificate la 2026-10-11) listează memoria rezervată pentru afișaj ca ajustabilă în versiunea din iulie 2026: 2 GB implicit, 4 GB prin BIOS. Dacă folosiți un monitor, verificați ce raportează propriul sistem cu free -h înainte să dimensionați un model până la ultimul gigabyte. GPUwerk își rulează Spark-urile și fără swap după o rundă de întărire a memoriei din 9 septembrie 2026, așa că epuizarea memoriei este o eroare out-of-memory, nu o încetinire.
Memoria comună explică și de ce lățimea de bandă, nu capacitatea, limitează viteza: 273 GB/s alimentează fiecare token, deci un model dens de 70B citește aproximativ 37 GiB per token, în timp ce un model mixture-of-experts cu 3B activi citește sub 2 GB. Vedeți pagina de specificații pentru lista hardware completă.
Pentru un GPU dedicat sau un Mac, FitLocally face același tip de verificare a compatibilității pentru aproximativ 110 modele deschise, pe plăci grafice, Mac-uri și mini PC-uri. Este un site separat pe care îl public eu.
Modele care nu încap pe un Spark
Calculatorul include două exemple care nu încap. Ambele se bazează pe pagini de agregatori, nu pe fișele modelelor sau pe cifre proprii GPUwerk, deci tratați dimensiunile ca orientative.
| Model | Dimensiune folosită | Sursă (agregator) | De ce eșuează |
|---|---|---|---|
| DeepSeek V4.1-Flash, Q2_K | 324 GB (763,2B parametri) | llmrun.dev | Aproximativ de 2,5 ori cei 121,6 GiB ai unui Spark (130,6 GB) și mai mult decât încap împreună două Spark-uri (aproximativ 261 GB) |
| Kimi K3, 4 biți | aproximativ 1.570 GB (2,8T parametri x 0,56) | slash-digital.io | De 12 ori capacitatea unui Spark |
Verificat la 2026-10-11. Dimensiunea Kimi pe 4 biți este calculul meu, nu o cuantizare publicată.
Două Spark-uri și varianta de 64 GB
Două Spark-uri legate vă oferă două memorii de 121,6 GiB, nu 256 GB pentru un singur model. Calculatorul împarte egal ponderile și KV-ul și verifică fiecare nod, ceea ce este optimist, pentru că împărțirile reale sunt rareori perfect egale. Pentru configurare, vedeți ghidul clusterului cu două noduri. Pentru a încerca un model pe hardware real înainte de cumpărare, pagina despre închiriere explică închirierea pe minut.
Pagina de produs NVIDIA listează o variantă de 64 GB vândută prin parteneri OEM (vedeți pagina de specificații), iar articolul The Register din 2 octombrie 2026 acoperă anunțul, inclusiv lățimea de bandă neschimbată de 273 GB/s (verificat la 2026-10-11). GPUwerk nu a rulat unul, deci valoarea de 60,8 GiB din calculator este jumătate din 121,6 și nimic mai mult. La această dimensiune, exemplul 70B pe 4 biți (37 GiB) ar lăsa aproximativ 24 GiB înainte de overhead și KV. Ghidul 64 GB vs 128 GB analizează ce modele actuale încap pe fiecare.
Întrebări frecvente
De câtă memorie are nevoie un model de 70B?
Ponderile înseamnă parametri înmulțiți cu octeți per parametru: aproximativ 140 GB la FP16, 70 GB la FP8 și 37 GB pe 4 biți, așa cum arată pagina de modele. Pe un DGX Spark cu aproximativ 121,6 GiB adresabili, FP16 nu încape, FP8 (70 GB) încape, dar stă chiar sub pragul de 75 GB unde devine un model pentru un singur utilizator, iar 4 biți lasă aproximativ 84 GiB înainte de cache-ul KV. Llama 3.3 70B adaugă 327.680 de octeți de cache KV per token la FP16, deci 8.192 de tokeni pentru o secvență înseamnă aproximativ 2,7 GB.
Încape gpt-oss-120b pe un DGX Spark?
Da. Ponderile MXFP4 din repository-ul Hugging Face al OpenAI au în total 65,2 GB (60,8 GiB), ceea ce lasă aproximativ 61 GiB din cei 121,6 GiB de memorie adresabilă pentru cache-ul KV și overhead. GPUwerk nu a măsurat amprenta de memorie sau viteza acestui model. Cei aproximativ 60 tok/s citați adesea pentru el sub llama.cpp sunt un raport terț (tg32 pe un context gol, scăzând la aproximativ 40 tok/s la 32.768 de tokeni de context), nu o măsurătoare GPUwerk.
Ce este memoria unificată pentru LLM-uri?
DGX Spark are o singură memorie de 128 GB LPDDR5x pe care îl folosesc atât CPU-ul, cât și GPU-ul, deci nu există VRAM separat. Ponderile, cache-ul KV, sistemul de operare, Docker și page cache-ul consumă toate din aceeași memorie, iar un model „prea mare pentru VRAM” este pur și simplu prea mare pentru ce a rămas din ea. Înseamnă și că viteza de decodare este determinată de lățimea de bandă de 273 GB/s, nu de capacitate.
Două Spark-uri înseamnă 256 GB pentru un singur model?
Nu. Două Spark-uri legate sunt două memorii separate de 121,6 GiB unite printr-o legătură de rețea, nu o singură memorie de 256 GB. Un model trebuie împărțit între ele, de exemplu cu paralelism tensorial sau de pipeline, iar fiecare nod are în continuare nevoie de partea sa de ponderi, cache KV și overhead. Această pagină verifică dacă modelul încape pe fiecare nod și nu face nicio afirmație despre viteza pe două noduri; singura pereche măsurată de GPUwerk, Qwen3-32B cu paralelism tensorial, este pe pagina de benchmark-uri. Ghidul clusterului cu două noduri acoperă configurarea.
Cât de precis este acest calculator?
Este o estimare, nu o valoare exactă. Omite bufferele motorului, graficele CUDA, metadatele de cuantizare dincolo de media de octeți per parametru și alocările specifice motorului, cum ar fi pool-ul KV predimensionat al vLLM. Pentru Llama 3.3 70B AWQ, estimarea și logurile de benchmark ale GPUwerk se potrivesc cu o diferență de aproximativ 3 GiB, iar logurile sunt referința reală. Testați o încărcare reală înainte să vă angajați la o configurație.