Passt es auf eine DGX Spark? LLM-Speicherrechner
Ein 70B-Modell mit 4 Bit braucht etwa 37 GiB für die Gewichte; damit bleiben von den 121,6 GiB adressierbarem Unified Memory einer DGX Spark etwa 84 GiB für KV-Cache und Overhead. In FP16 (etwa 140 GB) passt dasselbe Modell nicht. Auch gpt-oss-120b passt: Seine MXFP4-Gewichte umfassen insgesamt 65,2 GB (60,8 GiB), es bleiben also etwa 61 GiB. Geben Sie unten Ihr eigenes Modell ein; die Formeln und ihre Grenzen folgen nach dem Rechner. Ich betreibe GPUwerk, das DGX Sparks vermietet – berücksichtigen Sie das bei der Einordnung.
Zwei durchgerechnete Antworten
| Modell | Gewichte | Übrig von 121,6 GiB | Urteil |
|---|---|---|---|
| Llama 3.3 70B, AWQ 4-Bit | etwa 37 GiB (GPUwerk-Log) | etwa 84 GiB, etwa 82 GiB nach 8.192 Tokens KV für einen Nutzer | Passt. Der Speicher reicht für ein Team, das Tempo nicht (GPUwerk hat 6,0 tok/s für einen Nutzer gemessen) |
| gpt-oss-120b, MXFP4 | 65,2 GB (60,8 GiB), Hugging-Face-Repo | etwa 61 GiB vor KV und Overhead | Passt. Zwischen den Linien bei 40 und 75 GB, also passen einige Nutzer, wenn der KV-Cache klein bleibt |
Die 37 GiB Llama-Gewichte, die 6,0 tok/s und der Wert von 121,6 GiB stammen aus GPUwerks vLLM-Dokumentation, der Seite zu Llama 3.3 70B und der Benchmark-Seite. Die Größe von gpt-oss-120b ist die Summe der MXFP4-safetensors-Dateien in openai/gpt-oss-120b auf Hugging Face, geprüft am 11.10.2026; llama.cpp gibt das MXFP4-GGUF in Diskussion #16578 mit 59,02 GiB an. GPUwerk hat den Speicherbedarf von gpt-oss-120b nicht gemessen. Subtraktion und KV-Größe sind meine Berechnung.
Passen ist nur die halbe Wahrheit: Ein dichtes 70B, das bequem passt, erzeugt für eine Anfrage trotzdem nur etwa 6 Tokens pro Sekunde, weil jeder Token alle Gewichte liest. Welche großen Modelle auf einer Spark schnell genug laufen vergleicht dichte und Mixture-of-Experts-Modelle mit gemessenen und berichteten Geschwindigkeiten.
Rechner
Alles läuft in Ihrem Browser, nichts wird gespeichert oder gesendet. Wählen Sie ein Preset oder geben Sie eigene Zahlen ein. Die Ergebnisse erscheinen unter dem Formular und aktualisieren sich beim Tippen.
Der Standard-Overhead von 4 GiB ist meine Annahme, basierend auf den "ein paar Gigabyte" für Aktivierungen und den CUDA-Kontext auf der Modellseite. Die 64-GB-Option halbiert GPUwerks beobachtete 121,6 GiB; GPUwerk hat diese Variante nicht betrieben. Der Modus mit zwei Nodes nimmt an, dass Gewichte und KV gleichmäßig aufgeteilt werden.
So funktioniert die Schätzung
Drei Formeln, alle einfache Arithmetik:
- Gewichte (GB) = Parameter gesamt in Milliarden x Byte pro Parameter. Ein 70B-Modell hat etwa 140 GB in FP16, 70 GB in FP8 und 37 GB in 4 Bit, dieselben Werte wie auf der Modellseite.
- KV-Cache (Byte) = 2 x Layer x KV-Heads x Head-Dimension x Byte pro Wert x Tokens x Sequenzen. Die 2 steht für einen Key und einen Value pro Head.
- Decode-Obergrenze (tok/s) = 273 GB/s geteilt durch die GB an Gewichten aktiver Parameter, die pro Token gelesen werden. Das ist eine rechnerische Obergrenze, keine erwartete Geschwindigkeit. GPUwerks Benchmark-Seite verortet echte Engines bei etwa 50 bis 80 % davon und zeigt, wo GPUwerks eigene Läufe lagen.
Byte pro Parameter sind Durchschnittswerte, nicht exakt. FP16 sind 2 und FP8 ist 1. Die 4-Bit-Formate (INT4, AWQ, NVFP4, MXFP4) liegen mit Skalierungsfaktoren zwischen 0,5 und 0,56, und diese Seite verwendet standardmäßig 0,56. Ein 2-Bit-GGUF liegt bei etwa 0,3. Dynamische GGUF-Quants mischen Bitbreiten, daher sind veröffentlichte Dateigrößen besser als jede Formel.
Das Urteil folgt der Faustregel der Modellseite. Unter etwa 40 GB Gewichten pro Node bleibt Platz, um ein Team zu bedienen, über etwa 75 GB ist es ein Modell für einen Nutzer, und ein negativer Spielraum bedeutet, dass es nicht passt. Der Bereich von 40 bis 75 GB dazwischen ist meine Lesart dieser Regel: Es passt, aber der KV-Cache entscheidet, wie viele Nutzer passen. KV-Cache-Größen für 22 aktuelle Modelle, aus der jeweiligen config.json berechnet, stehen in KV-Cache-Größe nach Modell.
Die Formel an GPUwerks Logs überprüfen
GPUwerks vLLM-Läufe haben protokolliert, wie viele KV-Tokens bei einer GPU-Speicherauslastung von 0,85 passen. Die Logs sind die Referenz; die Formel muss nur in ihrer Nähe landen.
| Modell | KV pro Token | Protokollierte KV-Tokens bei 0,85 | KV-Größe laut Formel | Gegenprüfung |
|---|---|---|---|---|
| Llama 3.3 70B AWQ | 327.680 Byte (80 Layer, 8 KV-Heads, 128 dim, FP16) | 207.120 | 63,2 GiB | 37 GiB Gewichte + 63,2 GiB KV = 100,2 GiB, bei einem Budget von 0,85 x 121,6 = 103,4 GiB. Die restlichen 3,2 GiB sind Engine-Overhead. |
| Qwen3-Coder 30B-A3B AWQ | 98.304 Byte (48 Layer, 4 KV-Heads, 128 dim, FP16) | 924.912 | 84,7 GiB | Lässt 18,7 GiB des Budgets von 103,4 GiB für Gewichte und Overhead. Parameter x 0,56 ergibt etwa 16 GiB Gewichte, was passt. |
KV-Tokens und der Wert von 37 GiB: GPUwerks Seiten und Logs zu Llama 3.3 70B und Qwen3-Coder 30B-A3B. Anzahl von Layern, Heads und Dimensionen: die config.json-Dateien der Modelle auf Hugging Face (Llama-3.3-70B-Mirror, Qwen3-Coder, gpt-oss-120b), geprüft am 11.10.2026. Die Summen der Gegenprüfung sind meine Berechnung.
Ein Einheitenhaken: GPUwerks Benchmark-Seite und die Seite zu Llama 3.3 70B teilen 273 GB/s durch 37 und kommen auf eine Obergrenze von 7,4 tok/s, wobei die protokollierten 37 GiB als 37 GB behandelt werden. Umgerechnet (37 GiB sind 39,7 GB) liegt die Obergrenze bei 6,9 tok/s, und der Rechner nutzt diesen Wert. Gegenüber 6,9 sind die gemessenen 6,0 tok/s etwa 87 % der Obergrenze, etwas über dem Bereich von 50 bis 80 %.
Warum Unified Memory anders ist
Eine dedizierte GPU hat ihren eigenen VRAM, und das Modell passt entweder dort hinein oder wird über eine langsame PCIe-Verbindung ausgelagert. Die DGX Spark hat einen Pool von 128 GB LPDDR5x, den sich CPU und GPU teilen. Laut GPUwerks Logs sind davon etwa 121,6 GiB adressierbar, und das muss neben Ihren Gewichten und dem KV-Cache auch Betriebssystem, Docker, Page Cache und alle anderen Prozesse abdecken.
NVIDIAs Release Notes zur DGX Spark (geprüft am 11.10.2026) nennen den für den Bildschirm reservierten Speicher im Release vom Juli 2026 als einstellbar: standardmäßig 2 GB, 4 GB über das BIOS. Wenn Sie einen Bildschirm betreiben, prüfen Sie mit free -h, was Ihr eigenes System meldet, bevor Sie ein Modell bis zum letzten Gigabyte dimensionieren. GPUwerk betreibt seine Sparks außerdem seit einer Speicherhärtung am 9. September 2026 ohne Swap, sodass ein volles RAM einen Out-of-Memory-Fehler auslöst, keine Verlangsamung.
Der Pool ist auch der Grund, warum die Bandbreite und nicht die Kapazität das Tempo begrenzt: 273 GB/s speisen jeden Token, daher liest ein dichtes 70B-Modell pro Token etwa 37 GiB, während ein Mixture-of-Experts-Modell mit 3B aktiven Parametern weniger als 2 GB liest. Die vollständige Hardwareliste steht auf der Datenseite.
Für eine dedizierte Grafikkarte oder einen Mac führt FitLocally dieselbe Art von Passungsprüfung für etwa 110 offene Modelle auf Grafikkarten, Macs und Mini-PCs durch. Es ist eine separate Website, die ich betreibe.
Modelle, die nicht auf eine Spark passen
Der Rechner enthält zwei Beispiele, die nicht passen. Beide stützen sich auf Aggregatorseiten, nicht auf Model Cards oder eigene Werte von GPUwerk, betrachten Sie die Größen also als Richtwert.
| Modell | Genutzte Größe | Quelle (Aggregator) | Warum es scheitert |
|---|---|---|---|
| DeepSeek V4.1-Flash, Q2_K | 324 GB (763,2B Parameter) | llmrun.dev | Etwa das 2,5-Fache der 121,6 GiB (130,6 GB) einer Spark, und mehr, als zwei Sparks zusammen fassen (etwa 261 GB) |
| Kimi K3, 4-Bit | etwa 1.570 GB (2,8T Parameter x 0,56) | slash-digital.io | 12-mal die Kapazität einer Spark |
Geprüft am 11.10.2026. Die 4-Bit-Größe von Kimi ist meine Multiplikation, kein veröffentlichter Quant.
Zwei Sparks und die 64-GB-Variante
Zwei verbundene Sparks bieten zwei Pools von 121,6 GiB, nicht 256 GB für ein einzelnes Modell. Der Rechner teilt Gewichte und KV gleichmäßig auf und prüft jeden Node, was optimistisch ist, weil echte Aufteilungen selten perfekt gleichmäßig sind. Zum Setup siehe den Guide zum Cluster aus zwei Nodes. Um ein Modell vor dem Kauf auf echter Hardware auszuprobieren, erklärt die Seite zum Mieten die minutengenaue Miete.
NVIDIAs Produktseite nennt eine 64-GB-Variante, die über OEM-Partner verkauft wird (siehe die Datenseite), und der Bericht von The Register vom 2. Oktober 2026 behandelt die Ankündigung, einschließlich der unveränderten Bandbreite von 273 GB/s (geprüft am 11.10.2026). GPUwerk hat keine betrieben, daher ist der Wert von 60,8 GiB im Rechner die Hälfte von 121,6 und nicht mehr. Bei dieser Größe würde das 4-Bit-70B-Beispiel (37 GiB) etwa 24 GiB vor Overhead und KV übrig lassen. Der Guide 64 GB vs. 128 GB rechnet durch, welche aktuellen Modelle jeweils passen.
FAQ
Wie viel Speicher braucht ein 70B-Modell?
Gewichte sind Parameter mal Byte pro Parameter: etwa 140 GB in FP16, 70 GB in FP8 und 37 GB in 4 Bit, wie die Modellseite darlegt. Auf einer DGX Spark mit etwa 121,6 GiB adressierbarem Speicher passt FP16 nicht, FP8 (70 GB) passt, liegt aber knapp unter der 75-GB-Linie, ab der es ein Modell für einen Nutzer wird, und 4 Bit lässt etwa 84 GiB vor dem KV-Cache. Llama 3.3 70B fügt in FP16 pro Token 327.680 Byte KV-Cache hinzu, 8.192 Tokens für eine Sequenz sind also etwa 2,7 GB.
Passt gpt-oss-120b auf eine DGX Spark?
Ja. Die MXFP4-Gewichte im Hugging-Face-Repository von OpenAI umfassen insgesamt 65,2 GB (60,8 GiB), was von den 121,6 GiB adressierbarem Speicher etwa 61 GiB für KV-Cache und Overhead lässt. GPUwerk hat Speicherbedarf und Tempo dieses Modells nicht gemessen. Die oft zitierten rund 60 tok/s unter llama.cpp sind ein Bericht Dritter (tg32 bei leerem Kontext, sinkend auf etwa 40 tok/s bei 32.768 Tokens Kontext), keine Messung von GPUwerk.
Was ist Unified Memory für LLMs?
Die DGX Spark hat einen 128-GB-Pool aus LPDDR5x, den CPU und GPU gemeinsam nutzen, es gibt also keinen separaten VRAM. Gewichte, KV-Cache, Betriebssystem, Docker und Page Cache bedienen sich alle aus demselben Pool, und ein Modell, das "zu groß für den VRAM" ist, ist schlicht zu groß für das, was von diesem Pool übrig ist. Es bedeutet auch, dass 273 GB/s Bandbreite, nicht die Kapazität, die Decode-Geschwindigkeit bestimmen.
Bedeuten zwei Sparks 256 GB für ein Modell?
Nein. Zwei verbundene Sparks sind zwei getrennte Pools von 121,6 GiB, verbunden über eine Netzwerkverbindung, kein einzelner 256-GB-Pool. Ein Modell muss auf beide aufgeteilt werden, etwa mit Tensor- oder Pipeline-Parallelität, und jeder Node braucht trotzdem seinen Anteil an Gewichten, KV-Cache und Overhead. Diese Seite prüft für jeden Node einzeln, ob ein Modell hineinpasst und macht keine Aussage zur Geschwindigkeit mit zwei Nodes; GPUwerks einziges gemessenes Paar, Qwen3-32B mit Tensor-Parallelität, steht auf der Benchmark-Seite. Der Guide zum Cluster aus zwei Nodes behandelt das Setup.
Wie genau ist dieser Rechner?
Es ist eine Schätzung, kein exakter Wert. Sie lässt Engine-Puffer, CUDA Graphs, Quantisierungs-Metadaten über den Durchschnitt an Byte pro Parameter hinaus und enginespezifische Allokation wie vLLMs vorab dimensionierten KV-Pool weg. Für Llama 3.3 70B AWQ stimmen die Schätzung und GPUwerks Benchmark-Logs auf etwa 3 GiB überein, und die Logs sind die Referenz. Testen Sie eine echte Last, bevor Sie sich auf eine Konfiguration festlegen.