DGX Spark/Calculadora de memoria
Calculadora

¿Cabe en un DGX Spark? Calculadora de memoria de LLM

Por Samuel Seidel · Publicado el 11 de octubre de 2026 · 6 min de lectura

Un modelo de 70B a 4 bits necesita unos 37 GiB de pesos, lo que deja unos 84 GiB de los 121,6 GiB de memoria unificada direccionable de un DGX Spark para la caché KV y la sobrecarga; en FP16 (unos 140 GB) el mismo modelo no cabe. gpt-oss-120b también cabe: sus pesos MXFP4 suman 65,2 GB (60,8 GiB), y quedan unos 61 GiB. Introduce tu propio modelo abajo; las fórmulas y sus límites siguen a la calculadora. Dirijo GPUwerk, que alquila DGX Sparks, así que tenlo en cuenta al valorar el enfoque.

Dos respuestas resueltas

ModeloPesosLibre de 121,6 GiBVeredicto
Llama 3.3 70B, AWQ de 4 bitsunos 37 GiB (log de GPUwerk)unos 84 GiB, unos 82 GiB tras 8192 tokens de KV para un usuarioCabe. La memoria deja margen para un equipo; la velocidad no (GPUwerk midió 6,0 tok/s para un usuario)
gpt-oss-120b, MXFP465,2 GB (60,8 GiB), repositorio de Hugging Faceunos 61 GiB antes de KV y sobrecargaCabe. Entre las líneas de 40 y 75 GB, así que caben unos pocos usuarios si la caché KV se mantiene pequeña

Los 37 GiB de pesos de Llama, los 6,0 tok/s y la cifra de 121,6 GiB proceden de la documentación de vLLM, la página de Llama 3.3 70B y la página de benchmarks de GPUwerk. El tamaño de gpt-oss-120b es la suma de los archivos safetensors MXFP4 de openai/gpt-oss-120b en Hugging Face, comprobado el 11-10-2026; llama.cpp indica que el GGUF MXFP4 ocupa 59,02 GiB en la discusión #16578. GPUwerk no ha medido la huella de memoria de gpt-oss-120b. La resta y el tamaño de KV son cálculos míos.

Que quepa es solo la mitad del asunto: un 70B denso que cabe de sobra sigue generando unos 6 tokens por segundo por solicitud, porque cada token lee todos sus pesos. Qué modelos grandes van lo bastante rápido en un Spark compara modelos densos y mixture-of-experts con velocidades medidas y publicadas.

Calculadora

Todo se ejecuta en tu navegador y no se guarda ni se envía nada. Elige un preajuste o escribe tus propias cifras. Los resultados aparecen debajo del formulario y se actualizan mientras escribes.

Modelo

Introduce tus propias cifras.

Caché KV
Máquina
Introduce un modelo arriba para ver la estimación. Sin JavaScript, usa las fórmulas de abajo o las dos respuestas resueltas de arriba.

La sobrecarga de 4 GiB por defecto es una suposición mía, basada en los "unos pocos gigabytes" que indica la página de modelos para las activaciones y el contexto CUDA. La opción de 64 GB escala a la mitad los 121,6 GiB observados por GPUwerk; GPUwerk no ha probado esa variante. El modo de dos nodos supone que los pesos y la KV se reparten a partes iguales.

Cómo funciona la estimación

Tres fórmulas, todas aritmética sencilla:

Los bytes por parámetro son promedios, no valores exactos. FP16 es 2 y FP8 es 1. Los formatos de 4 bits (INT4, AWQ, NVFP4, MXFP4) quedan entre 0,5 y 0,56 al contar las escalas, y esta página usa 0,56 por defecto. Un GGUF de 2 bits ronda 0,3. Las cuantizaciones GGUF dinámicas mezclan anchos de bits, así que los tamaños de archivo publicados son más fiables que cualquier fórmula.

El veredicto sigue la regla práctica de la página de modelos. Menos de unos 40 GB de pesos por nodo deja margen para servir a un equipo, más de unos 75 GB es un modelo para un solo usuario, y un margen negativo significa que no cabe. La franja de 40 a 75 GB entre ambos es mi interpretación de esa regla: cabe, pero la caché KV decide cuántos usuarios caben. Los tamaños de caché KV de 22 modelos actuales, calculados a partir de cada config.json, están en tamaño de la caché KV por modelo.

Comprobación de la fórmula con los logs de GPUwerk

Las ejecuciones de vLLM de GPUwerk registraron cuántos tokens KV caben con un uso de memoria de GPU de 0,85. Los logs son la referencia; la fórmula solo tiene que acercarse a ellos.

ModeloKV por tokenTokens KV registrados con 0,85Tamaño de KV según la fórmulaComprobación cruzada
Llama 3.3 70B AWQ327.680 bytes (80 capas, 8 cabezas KV, dimensión 128, FP16)207.12063,2 GiB37 GiB de pesos + 63,2 GiB de KV = 100,2 GiB, frente a un presupuesto de 0,85 x 121,6 = 103,4 GiB. Los 3,2 GiB restantes son la sobrecarga del motor.
Qwen3-Coder 30B-A3B AWQ98.304 bytes (48 capas, 4 cabezas KV, dimensión 128, FP16)924.91284,7 GiBDeja 18,7 GiB del presupuesto de 103,4 GiB para pesos y sobrecarga. Parámetros x 0,56 da unos 16 GiB de pesos, lo que cuadra.

Tokens KV y la cifra de 37 GiB: páginas y logs de Llama 3.3 70B y Qwen3-Coder 30B-A3B de GPUwerk. Número de capas, cabezas y dimensiones: los archivos config.json de los modelos en Hugging Face (réplica de Llama 3.3 70B, Qwen3-Coder, gpt-oss-120b), comprobados el 11-10-2026. Las sumas de la comprobación cruzada son cálculos míos.

Un matiz de unidades: la página de benchmarks de GPUwerk y la página de Llama 3.3 70B dividen 273 GB/s entre 37 para obtener un techo de 7,4 tok/s, tratando los 37 GiB registrados como 37 GB. Convertido (37 GiB son 39,7 GB), el techo es de 6,9 tok/s, y la calculadora usa esa cifra. Frente a 6,9, los 6,0 tok/s medidos son aproximadamente el 87% del techo, algo por encima de la franja del 50-80%.

Por qué la memoria unificada es distinta

Una GPU dedicada tiene su propia VRAM, y el modelo o cabe ahí o se desborda por un enlace PCIe lento. El DGX Spark tiene un solo bloque de 128 GB LPDDR5x compartido por la CPU y la GPU. Los logs de GPUwerk muestran unos 121,6 GiB direccionables, y eso tiene que cubrir el sistema operativo, Docker, la caché de páginas y cualquier otro proceso además de tus pesos y tu caché KV.

Las notas de la versión del DGX Spark de NVIDIA (comprobadas el 11-10-2026) indican que la memoria reservada para pantalla es ajustable en la versión de julio de 2026: 2 GB por defecto, 4 GB desde la BIOS. Si usas una pantalla, comprueba lo que indica tu propio sistema con free -h antes de dimensionar un modelo hasta el último gigabyte. Además, GPUwerk ejecuta sus Sparks sin swap desde una revisión de refuerzo de la gestión de memoria del 9 de septiembre de 2026, así que quedarse sin memoria es un error de memoria insuficiente, no una ralentización.

Ese bloque compartido es también la razón de que la velocidad la limite el ancho de banda y no la capacidad: 273 GB/s alimentan cada token, así que un modelo denso de 70B lee unos 37 GiB por token, mientras que un mixture-of-experts con 3B activos lee menos de 2 GB. Consulta la página de especificaciones para la lista completa de hardware.

Para una GPU dedicada o un Mac, FitLocally hace el mismo tipo de comprobación de compatibilidad para unos 110 modelos abiertos en tarjetas gráficas, Macs y mini PC. Es un sitio aparte que publico yo.

Modelos que no caben en un Spark

La calculadora incluye dos ejemplos que no caben. Ambos se basan en páginas de agregadores, no en fichas de modelos ni en cifras propias de GPUwerk, así que toma los tamaños como orientativos.

ModeloTamaño usadoFuente (agregador)Por qué falla
DeepSeek V4.1-Flash, Q2_K324 GB (763,2B parámetros)llmrun.devUnas 2,5 veces los 121,6 GiB (130,6 GB) de un Spark, y más de lo que caben en dos Sparks juntos (unos 261 GB)
Kimi K3, 4 bitsunos 1570 GB (2,8T parámetros x 0,56)slash-digital.io12 veces la capacidad de un Spark

Comprobado el 11-10-2026. El tamaño de Kimi a 4 bits es una multiplicación mía, no una cuantización publicada.

Dos Sparks y la variante de 64 GB

Dos Sparks enlazados te dan dos bloques de 121,6 GiB, no 256 GB para un único modelo. La calculadora reparte los pesos y la KV a partes iguales y comprueba cada nodo, lo cual es optimista porque los repartos reales rara vez son perfectamente iguales. Para la configuración, consulta la guía del clúster de dos nodos. Para probar un modelo en hardware real antes de comprar, la página de cómo alquilar explica el alquiler por minutos.

La página de producto de NVIDIA menciona una variante de 64 GB vendida a través de fabricantes OEM asociados (consulta la página de especificaciones), y la información de The Register del 2 de octubre de 2026 cubre el anuncio, incluido el ancho de banda sin cambios de 273 GB/s (comprobado el 11-10-2026). GPUwerk no ha probado ninguna, así que la cifra de 60,8 GiB de la calculadora es la mitad de 121,6 y nada más. Con ese tamaño, el ejemplo de 70B a 4 bits (37 GiB) dejaría unos 24 GiB antes de la sobrecarga y la KV. La guía de 64 GB frente a 128 GB analiza qué modelos actuales caben en cada una.

Preguntas frecuentes

¿Cuánta memoria necesita un modelo de 70B?

Los pesos son los parámetros por los bytes por parámetro: unos 140 GB en FP16, 70 GB en FP8 y 37 GB a 4 bits, como explica la página de modelos. En un DGX Spark con unos 121,6 GiB direccionables, FP16 no cabe, FP8 (70 GB) cabe pero queda justo por debajo de la línea de 75 GB a partir de la cual es un modelo para un solo usuario, y 4 bits deja unos 84 GiB antes de la caché KV. Llama 3.3 70B añade 327.680 bytes de caché KV por token en FP16, así que 8192 tokens para una secuencia son unos 2,7 GB.

¿Cabe gpt-oss-120b en un DGX Spark?

Sí. Los pesos MXFP4 del repositorio de OpenAI en Hugging Face suman 65,2 GB (60,8 GiB), lo que deja unos 61 GiB de los 121,6 GiB de memoria direccionable para la caché KV y la sobrecarga. GPUwerk no ha medido la huella ni la velocidad de este modelo. Los aproximadamente 60 tok/s que se citan a menudo con llama.cpp son un informe de terceros (tg32 con el contexto vacío, que baja a unos 40 tok/s con 32.768 tokens de contexto), no una medición de GPUwerk.

¿Qué es la memoria unificada para los LLM?

El DGX Spark tiene un único bloque de 128 GB de LPDDR5x que usan tanto la CPU como la GPU, así que no hay VRAM aparte. Los pesos, la caché KV, el sistema operativo, Docker y la caché de páginas salen todos del mismo bloque, y un modelo "demasiado grande para la VRAM" es simplemente demasiado grande para lo que queda de ese bloque. También significa que la velocidad de decodificación la fija el ancho de banda de 273 GB/s, no la capacidad.

¿Dos Sparks significan 256 GB para un solo modelo?

No. Dos Sparks enlazados son dos bloques separados de 121,6 GiB unidos por un enlace de red, no un único bloque de 256 GB. Hay que repartir el modelo entre ellos, por ejemplo con paralelismo de tensores o de pipeline, y cada nodo sigue necesitando su parte de los pesos, la caché KV y la sobrecarga. Esta página comprueba el encaje por nodo y no afirma nada sobre la velocidad con dos nodos; la única pareja medida por GPUwerk, Qwen3-32B con paralelismo de tensores, está en la página de benchmarks. La guía del clúster de dos nodos explica la configuración.

¿Qué precisión tiene esta calculadora?

Es una estimación, no una cifra exacta. Deja fuera los búferes del motor, los CUDA graphs, los metadatos de cuantización más allá del promedio de bytes por parámetro y la asignación específica de cada motor, como el pool de KV predimensionado de vLLM. Para Llama 3.3 70B AWQ, la estimación y los logs de benchmarks de GPUwerk coinciden con una diferencia de unos 3 GiB, y los logs son la referencia. Prueba una carga real antes de comprometerte con una configuración.

Primera recarga: paga 20 $ y recibe 30 $ de crédito

Comprueba la estimación en un Spark real.

Alquila un DGX Spark dedicado en Europa, Norteamérica o Asia Oriental por 0,79 $/h, facturado por minuto, y carga el modelo que acabas de dimensionar.

Crear cuenta Ver precios