DGX Spark/Calculateur de mémoire
Calculateur

Ça tient sur un DGX Spark ? Calculateur de mémoire LLM

Par Samuel Seidel · Publié le 11 octobre 2026 · Lecture : 6 min

Un modèle 70B en 4 bits nécessite environ 37 Gio de poids, ce qui laisse environ 84 Gio des 121,6 Gio de mémoire unifiée adressable d'un DGX Spark pour le cache KV et la surcharge ; en FP16 (environ 140 Go), le même modèle ne tient pas. gpt-oss-120b tient aussi : ses poids MXFP4 totalisent 65,2 Go (60,8 Gio), ce qui laisse environ 61 Gio. Saisissez votre propre modèle ci-dessous ; les formules et leurs limites suivent le calculateur. Je dirige GPUwerk, qui loue des DGX Sparks : tenez-en compte en lisant cette présentation.

Deux exemples résolus

ModèlePoidsRestant sur 121,6 GioVerdict
Llama 3.3 70B, AWQ 4 bitsenviron 37 Gio (log GPUwerk)environ 84 Gio, environ 82 Gio après 8 192 tokens de KV pour un utilisateurTient. La mémoire laisse de la place pour une équipe ; la vitesse non (GPUwerk a mesuré 6,0 tok/s pour un utilisateur)
gpt-oss-120b, MXFP465,2 Go (60,8 Gio), dépôt Hugging Faceenviron 61 Gio avant KV et surchargeTient. Entre les seuils de 40 et 75 Go : quelques utilisateurs tiennent si le cache KV reste petit

Les 37 Gio de poids de Llama, les 6,0 tok/s et le chiffre de 121,6 Gio proviennent de la doc vLLM, de la page Llama 3.3 70B et de la page des benchmarks de GPUwerk. La taille de gpt-oss-120b est la somme des fichiers safetensors MXFP4 de openai/gpt-oss-120b sur Hugging Face, vérifiée le 2026-10-11 ; llama.cpp indique 59,02 Gio pour le GGUF MXFP4 dans la discussion #16578. GPUwerk n'a pas mesuré l'empreinte mémoire de gpt-oss-120b. La soustraction et la taille du KV sont mes calculs.

Tenir en mémoire n'est que la moitié de l'histoire : un 70B dense qui tient sans problème génère quand même environ 6 tokens par seconde pour une requête, parce que chaque token lit tous ses poids. Quels grands modèles tournent assez vite sur un seul Spark compare modèles denses et mixture-of-experts avec des vitesses mesurées et rapportées.

Calculateur

Tout s'exécute dans votre navigateur, et rien n'est enregistré ni envoyé. Choisissez un préréglage ou saisissez vos propres valeurs. Les résultats s'affichent sous le formulaire et se mettent à jour pendant la saisie.

Modèle

Saisissez vos propres chiffres.

Cache KV
Machine
Saisissez un modèle ci-dessus pour voir l'estimation. Sans JavaScript, utilisez les formules ci-dessous ou les deux exemples résolus ci-dessus.

La surcharge de 4 Gio par défaut est mon hypothèse, basée sur les « quelques gigaoctets » qu'indique la page des modèles pour les activations et le contexte CUDA. L'option 64 Go divise par deux les 121,6 Gio observés par GPUwerk ; GPUwerk n'a pas fait tourner cette variante. Le mode à deux nœuds suppose une répartition égale des poids et du KV.

Comment fonctionne l'estimation

Trois formules, toutes de l'arithmétique simple :

Les octets par paramètre sont des moyennes, pas des valeurs exactes. FP16 vaut 2 et FP8 vaut 1. Les formats 4 bits (INT4, AWQ, NVFP4, MXFP4) se situent entre 0,5 et 0,56 une fois les facteurs d'échelle comptés, et cette page utilise 0,56 par défaut. Un GGUF 2 bits vaut environ 0,3. Les quantifications GGUF dynamiques mélangent les largeurs de bits : les tailles de fichiers publiées priment donc sur toute formule.

Le verdict suit la règle empirique de la page des modèles. Moins d'environ 40 Go de poids par nœud laisse de la place pour servir une équipe, plus d'environ 75 Go en fait un modèle pour un seul utilisateur, et une marge négative signifie qu'il ne tient pas. La plage de 40 à 75 Go entre les deux est mon interprétation de cette règle : il tient, mais c'est le cache KV qui décide combien d'utilisateurs tiennent. Les tailles de cache KV de 22 modèles actuels, calculées à partir de chaque config.json, figurent dans taille du cache KV par modèle.

La formule confrontée aux logs de GPUwerk

Les tests vLLM de GPUwerk ont consigné combien de tokens KV tiennent avec un taux d'utilisation de la mémoire GPU de 0,85. Les logs font foi ; il suffit que la formule s'en approche.

ModèleKV par tokenTokens KV consignés à 0,85Taille KV selon la formuleRecoupement
Llama 3.3 70B AWQ327 680 octets (80 couches, 8 têtes KV, dimension 128, FP16)207 12063,2 Gio37 Gio de poids + 63,2 Gio de KV = 100,2 Gio, pour un budget de 0,85 x 121,6 = 103,4 Gio. Les 3,2 Gio restants sont la surcharge du moteur.
Qwen3-Coder 30B-A3B AWQ98 304 octets (48 couches, 4 têtes KV, dimension 128, FP16)924 91284,7 GioLaisse 18,7 Gio du budget de 103,4 Gio pour les poids et la surcharge. Paramètres x 0,56 donne environ 16 Gio de poids, ce qui est cohérent.

Tokens KV et le chiffre de 37 Gio : les pages et logs de GPUwerk pour Llama 3.3 70B et Qwen3-Coder 30B-A3B. Nombre de couches, de têtes et dimensions : les fichiers config.json des modèles sur Hugging Face (miroir de Llama 3.3 70B, Qwen3-Coder, gpt-oss-120b), vérifiés le 2026-10-11. Les sommes de recoupement sont mes calculs.

Une subtilité d'unités : la page des benchmarks de GPUwerk et la page Llama 3.3 70B divisent 273 Go/s par 37 pour obtenir un plafond de 7,4 tok/s, en traitant les 37 Gio consignés comme 37 Go. Après conversion (37 Gio font 39,7 Go), le plafond est de 6,9 tok/s, et c'est ce chiffre qu'utilise le calculateur. Rapporté à 6,9, les 6,0 tok/s mesurés représentent environ 87 % du plafond, un peu au-dessus de la fourchette de 50 à 80 %.

En quoi la mémoire unifiée est différente

Un GPU dédié a sa propre VRAM, et le modèle y tient ou déborde sur un lien PCIe lent. Le DGX Spark dispose d'un seul pool de 128 Go LPDDR5x partagé par le CPU et le GPU. Les logs de GPUwerk en montrent environ 121,6 Gio adressables, qui doivent couvrir le système d'exploitation, Docker, le cache de pages et tout autre processus, en plus de vos poids et de votre cache KV.

Les notes de version du DGX Spark de NVIDIA (consultées le 2026-10-11) indiquent que la mémoire réservée à l'affichage est réglable depuis la version de juillet 2026 : 2 Go par défaut, 4 Go via le BIOS. Si vous utilisez un écran, vérifiez ce qu'indique votre propre système avec free -h avant de dimensionner un modèle au gigaoctet près. GPUwerk fait aussi tourner ses Sparks sans swap depuis un renforcement de la gestion mémoire le 9 septembre 2026 : un manque de mémoire se traduit donc par une erreur out-of-memory, pas par un ralentissement.

Le pool explique aussi pourquoi c'est la bande passante, et non la capacité, qui limite la vitesse : 273 Go/s alimentent chaque token, si bien qu'un modèle 70B dense lit environ 37 Gio par token alors qu'un modèle mixture-of-experts à 3B paramètres actifs en lit moins de 2 Go. Voir la page des caractéristiques pour la liste complète du matériel.

Pour un GPU dédié ou un Mac, FitLocally effectue le même type de vérification de compatibilité pour environ 110 modèles ouverts sur cartes graphiques, Mac et mini-PC. C'est un site distinct que je publie.

Les modèles qui ne tiennent pas sur un seul Spark

Le calculateur inclut deux exemples qui échouent. Tous deux reposent sur des pages d'agrégateurs, et non sur des fiches de modèles ou des chiffres propres à GPUwerk : considérez ces tailles comme indicatives.

ModèleTaille utiliséeSource (agrégateur)Pourquoi cela échoue
DeepSeek V4.1-Flash, Q2_K324 Go (763,2B paramètres)llmrun.devEnviron 2,5 fois les 121,6 Gio d'un Spark (130,6 Go), et plus que ce que deux Sparks contiennent ensemble (environ 261 Go)
Kimi K3, 4 bitsenviron 1 570 Go (2,8T paramètres x 0,56)slash-digital.io12 fois la capacité d'un Spark

Vérifié le 2026-10-11. La taille de Kimi en 4 bits est ma multiplication, pas une quantification publiée.

Deux Sparks, et la variante 64 Go

Deux Sparks reliés vous donnent deux pools de 121,6 Gio, pas 256 Go pour un seul modèle. Le calculateur répartit les poids et le KV de façon égale et vérifie chaque nœud, ce qui est optimiste car les répartitions réelles sont rarement parfaitement égales. Pour la configuration, voir le guide du cluster à deux nœuds. Pour essayer un modèle sur du vrai matériel avant d'acheter, la page de location explique la location à la minute.

La page produit de NVIDIA mentionne une variante 64 Go vendue via des partenaires OEM (voir la page des caractéristiques), et l'article de The Register du 2 octobre 2026 couvre l'annonce, y compris la bande passante inchangée de 273 Go/s (consulté le 2026-10-11). GPUwerk n'en a fait tourner aucune : le chiffre de 60,8 Gio du calculateur n'est donc que la moitié de 121,6, rien de plus. À cette taille, l'exemple du 70B en 4 bits (37 Gio) laisserait environ 24 Gio avant surcharge et KV. Le guide 64 Go vs 128 Go détaille quels modèles actuels tiennent sur chacun.

FAQ

De combien de mémoire un modèle 70B a-t-il besoin ?

Les poids correspondent aux paramètres multipliés par les octets par paramètre : environ 140 Go en FP16, 70 Go en FP8 et 37 Go en 4 bits, comme l'indique la page des modèles. Sur un DGX Spark avec environ 121,6 Gio adressables, le FP16 ne tient pas, le FP8 (70 Go) tient mais se situe juste sous le seuil de 75 Go où il devient un modèle pour un seul utilisateur, et le 4 bits laisse environ 84 Gio avant le cache KV. Llama 3.3 70B ajoute 327 680 octets de cache KV par token en FP16 : 8 192 tokens pour une séquence font donc environ 2,7 Go.

gpt-oss-120b tient-il sur un DGX Spark ?

Oui. Les poids MXFP4 du dépôt Hugging Face d'OpenAI totalisent 65,2 Go (60,8 Gio), ce qui laisse environ 61 Gio des 121,6 Gio de mémoire adressable pour le cache KV et la surcharge. GPUwerk n'a mesuré ni l'empreinte ni la vitesse de ce modèle. Les quelque 60 tok/s souvent cités pour lui sous llama.cpp proviennent d'un rapport tiers (tg32 sur un contexte vide, tombant à environ 40 tok/s à 32 768 tokens de contexte), pas d'une mesure de GPUwerk.

Qu'est-ce que la mémoire unifiée pour les LLM ?

Le DGX Spark dispose d'un seul pool de 128 Go de LPDDR5x utilisé à la fois par le CPU et le GPU : il n'y a donc pas de VRAM séparée. Les poids, le cache KV, le système d'exploitation, Docker et le cache de pages puisent tous dans le même pool, et un modèle « trop gros pour la VRAM » est simplement trop gros pour ce qui reste de ce pool. Cela signifie aussi que c'est la bande passante de 273 Go/s, et non la capacité, qui fixe la vitesse de décodage.

Deux Sparks, cela fait-il 256 Go pour un seul modèle ?

Non. Deux Sparks reliés sont deux pools distincts de 121,6 Gio reliés par un lien réseau, et non un seul pool de 256 Go. Un modèle doit être réparti entre eux, par exemple avec du parallélisme tensoriel ou de pipeline, et chaque nœud a toujours besoin de sa part de poids, de cache KV et de surcharge. Cette page vérifie l'adéquation par nœud et n'affirme rien sur la vitesse à deux nœuds ; la seule paire mesurée par GPUwerk, Qwen3-32B en parallélisme tensoriel, figure sur la page des benchmarks. Le guide du cluster à deux nœuds couvre la configuration.

Quelle est la précision de ce calculateur ?

C'est une estimation, pas un chiffre exact. Elle ne tient pas compte des tampons du moteur, des graphes CUDA, des métadonnées de quantification au-delà de la moyenne d'octets par paramètre, ni des allocations propres au moteur comme le pool KV pré-dimensionné de vLLM. Pour Llama 3.3 70B AWQ, l'estimation et les logs de benchmark de GPUwerk concordent à environ 3 Gio près, et les logs font foi. Testez une charge réelle avant de vous engager sur une configuration.

Première recharge : payez 20 $ recevez 30 $ de crédit

Vérifiez l'estimation sur un vrai Spark.

Louez un DGX Spark dédié en Europe, en Amérique du Nord ou en Asie de l'Est pour 0,79 $/h, facturé à la minute, et chargez le modèle que vous venez de dimensionner.

Créer un compte Voir les tarifs