Χωρά σε DGX Spark; Υπολογιστής μνήμης LLM
Ένα μοντέλο 70B σε 4-bit χρειάζεται περίπου 37 GiB βαρών, κάτι που αφήνει περίπου 84 GiB από τα 121,6 GiB προσβάσιμης ενοποιημένης μνήμης ενός DGX Spark για KV cache και επιβάρυνση· σε FP16 (περίπου 140 GB) το ίδιο μοντέλο δεν χωρά. Χωρά και το gpt-oss-120b: τα βάρη του σε MXFP4 είναι συνολικά 65,2 GB (60,8 GiB), αφήνοντας περίπου 61 GiB. Εισαγάγετε το δικό σας μοντέλο παρακάτω· οι τύποι και τα όριά τους ακολουθούν μετά τον υπολογιστή. Διαχειρίζομαι το GPUwerk, που νοικιάζει DGX Spark, οπότε λάβετε υπόψη αυτή την οπτική.
Δύο λυμένες απαντήσεις
| Μοντέλο | Βάρη | Υπόλοιπο από τα 121,6 GiB | Συμπέρασμα |
|---|---|---|---|
| Llama 3.3 70B, AWQ 4-bit | περίπου 37 GiB (log του GPUwerk) | περίπου 84 GiB, περίπου 82 GiB μετά από 8.192 tokens KV για έναν χρήστη | Χωρά. Η μνήμη αφήνει χώρο για μια ομάδα· η ταχύτητα όχι (το GPUwerk μέτρησε 6,0 tok/s για έναν χρήστη) |
| gpt-oss-120b, MXFP4 | 65,2 GB (60,8 GiB), αποθετήριο Hugging Face | περίπου 61 GiB πριν από KV και επιβάρυνση | Χωρά. Ανάμεσα στις γραμμές των 40 και 75 GB, οπότε χωρούν λίγοι χρήστες αν η KV cache μείνει μικρή |
Τα 37 GiB βαρών του Llama, τα 6,0 tok/s και ο αριθμός των 121,6 GiB προέρχονται από την τεκμηρίωση vLLM, τη σελίδα Llama 3.3 70B και τη σελίδα benchmarks του GPUwerk. Το μέγεθος του gpt-oss-120b είναι το άθροισμα των αρχείων safetensors MXFP4 στο openai/gpt-oss-120b στο Hugging Face, έλεγχος 2026-10-11· το llama.cpp αναφέρει το GGUF MXFP4 ως 59,02 GiB στη συζήτηση #16578. Το GPUwerk δεν έχει μετρήσει τη μνήμη που καταλαμβάνει το gpt-oss-120b. Η αφαίρεση και το μέγεθος KV είναι δικοί μου υπολογισμοί.
Το να χωρά είναι μόνο το μισό: ένα πυκνό 70B που χωρά άνετα παράγει ακόμη περίπου 6 tokens το δευτερόλεπτο για ένα αίτημα, επειδή κάθε token διαβάζει όλα τα βάρη του. Η σελίδα Ποια μεγάλα μοντέλα τρέχουν αρκετά γρήγορα σε ένα Spark συγκρίνει πυκνά μοντέλα και mixture-of-experts με μετρημένες και αναφερόμενες ταχύτητες.
Υπολογιστής
Όλα εκτελούνται στον browser σας και τίποτα δεν αποθηκεύεται ή αποστέλλεται. Επιλέξτε μια προεπιλογή ή πληκτρολογήστε τους δικούς σας αριθμούς. Τα αποτελέσματα εμφανίζονται κάτω από τη φόρμα και ενημερώνονται καθώς πληκτρολογείτε.
Η προεπιλεγμένη επιβάρυνση των 4 GiB είναι δική μου υπόθεση, με βάση τα «λίγα gigabyte» της σελίδας μοντέλων για activations και το CUDA context. Η επιλογή 64 GB κλιμακώνει στο μισό τα 121,6 GiB που παρατήρησε το GPUwerk· το GPUwerk δεν έχει λειτουργήσει αυτή την παραλλαγή. Η λειτουργία δύο κόμβων υποθέτει ότι βάρη και KV μοιράζονται εξίσου.
Πώς λειτουργεί η εκτίμηση
Τρεις τύποι, όλοι απλή αριθμητική:
- Βάρη (GB) = συνολικές παράμετροι σε δισεκατομμύρια x byte ανά παράμετρο. Ένα μοντέλο 70B είναι περίπου 140 GB σε FP16, 70 GB σε FP8 και 37 GB σε 4-bit, οι ίδιοι αριθμοί με τη σελίδα μοντέλων.
- KV cache (byte) = 2 x επίπεδα x KV heads x διάσταση head x byte ανά τιμή x tokens x ακολουθίες. Το 2 είναι ένα key και ένα value ανά head.
- Όριο αποκωδικοποίησης (tok/s) = 273 GB/s διαιρεμένα με τα GB βαρών ενεργών παραμέτρων που διαβάζονται ανά token. Αυτό είναι αριθμητικό όριο, όχι αναμενόμενη ταχύτητα. Η σελίδα benchmarks του GPUwerk τοποθετεί τις πραγματικές μηχανές περίπου στο 50 έως 80% αυτού και δείχνει πού έπεσαν οι δικές του εκτελέσεις.
Τα byte ανά παράμετρο είναι μέσοι όροι, όχι ακριβείς τιμές. Το FP16 είναι 2 και το FP8 είναι 1. Οι μορφές 4-bit (INT4, AWQ, NVFP4, MXFP4) καταλήγουν μεταξύ 0,5 και 0,56 όταν μετρηθούν οι κλίμακες, και αυτή η σελίδα χρησιμοποιεί προεπιλογή 0,56. Ένα GGUF 2-bit είναι περίπου 0,3. Τα δυναμικά GGUF quants συνδυάζουν διαφορετικά πλάτη bit, οπότε τα δημοσιευμένα μεγέθη αρχείων είναι πιο αξιόπιστα από οποιονδήποτε τύπο.
Το συμπέρασμα ακολουθεί τον πρακτικό κανόνα της σελίδας μοντέλων. Κάτω από περίπου 40 GB βαρών ανά κόμβο αφήνει χώρο για εξυπηρέτηση μιας ομάδας, πάνω από περίπου 75 GB είναι μοντέλο για έναν χρήστη, και αρνητικό περιθώριο σημαίνει ότι δεν χωρά. Το εύρος 40 έως 75 GB ανάμεσά τους είναι η δική μου ερμηνεία αυτού του κανόνα: χωρά, αλλά η KV cache καθορίζει πόσοι χρήστες χωρούν. Τα μεγέθη KV cache για 22 τρέχοντα μοντέλα, υπολογισμένα από το config.json του καθενός, βρίσκονται στο μέγεθος KV cache ανά μοντέλο.
Έλεγχος του τύπου με βάση τα logs του GPUwerk
Οι εκτελέσεις vLLM του GPUwerk κατέγραψαν πόσα KV tokens χωρούν με αξιοποίηση μνήμης GPU 0.85. Τα logs είναι η πραγματικότητα· ο τύπος απλώς πρέπει να πέφτει κοντά τους.
| Μοντέλο | KV ανά token | Καταγεγραμμένα KV tokens στο 0.85 | Μέγεθος KV με τον τύπο | Διασταύρωση |
|---|---|---|---|---|
| Llama 3.3 70B AWQ | 327.680 byte (80 επίπεδα, 8 KV heads, διάσταση 128, FP16) | 207.120 | 63,2 GiB | 37 GiB βάρη + 63,2 GiB KV = 100,2 GiB, έναντι προϋπολογισμού 0,85 x 121,6 = 103,4 GiB. Τα υπόλοιπα 3,2 GiB είναι επιβάρυνση της μηχανής εκτέλεσης. |
| Qwen3-Coder 30B-A3B AWQ | 98.304 byte (48 επίπεδα, 4 KV heads, διάσταση 128, FP16) | 924.912 | 84,7 GiB | Αφήνει 18,7 GiB από τον προϋπολογισμό των 103,4 GiB για βάρη και επιβάρυνση. Οι παράμετροι x 0,56 δίνουν περίπου 16 GiB βαρών, κάτι που συμφωνεί. |
Τα KV tokens και ο αριθμός των 37 GiB: οι σελίδες και τα logs του GPUwerk για Llama 3.3 70B και Qwen3-Coder 30B-A3B. Αριθμοί επιπέδων, heads και διαστάσεων: τα αρχεία config.json των μοντέλων στο Hugging Face (καθρέφτης Llama 3.3 70B, Qwen3-Coder, gpt-oss-120b), έλεγχος 2026-10-11. Τα αθροίσματα διασταύρωσης είναι δικοί μου υπολογισμοί.
Μια λεπτομέρεια μονάδων: η σελίδα benchmarks και η σελίδα Llama 3.3 70B του GPUwerk διαιρούν τα 273 GB/s με 37 για να βγάλουν όριο 7,4 tok/s, αντιμετωπίζοντας τα καταγεγραμμένα 37 GiB ως 37 GB. Με μετατροπή (37 GiB είναι 39,7 GB), το όριο είναι 6,9 tok/s, και ο υπολογιστής χρησιμοποιεί αυτόν τον αριθμό. Έναντι των 6.9, τα μετρημένα 6,0 tok/s είναι περίπου το 87% του ορίου, λίγο πάνω από το εύρος 50 έως 80%.
Γιατί η ενοποιημένη μνήμη είναι διαφορετική
Μια ξεχωριστή GPU έχει τη δική της VRAM, και το μοντέλο είτε χωρά εκεί είτε υπερχειλίζει μέσω μιας αργής σύνδεσης PCIe. Το DGX Spark έχει μία ενιαία δεξαμενή μνήμης 128 GB LPDDR5x, κοινή για CPU και GPU. Τα logs του GPUwerk δείχνουν περίπου 121,6 GiB προσβάσιμα, και αυτά πρέπει να καλύψουν το λειτουργικό σύστημα, το Docker, την page cache και κάθε άλλη διεργασία, εκτός από τα βάρη και την KV cache σας.
Οι σημειώσεις έκδοσης DGX Spark της NVIDIA (έλεγχος 2026-10-11) αναφέρουν τη μνήμη που δεσμεύεται για οθόνη ως ρυθμιζόμενη στην έκδοση του Ιουλίου 2026: 2 GB από προεπιλογή, 4 GB μέσω BIOS. Αν χρησιμοποιείτε οθόνη, ελέγξτε τι αναφέρει το δικό σας σύστημα με free -h πριν διαστασιολογήσετε ένα μοντέλο μέχρι το τελευταίο gigabyte. Το GPUwerk επίσης λειτουργεί τα Spark του χωρίς swap από μια διαδικασία θωράκισης μνήμης στις 9 Σεπτεμβρίου 2026, οπότε η εξάντληση είναι σφάλμα out-of-memory, όχι επιβράδυνση.
Η ενιαία δεξαμενή μνήμης είναι επίσης ο λόγος που την ταχύτητα την περιορίζει το εύρος ζώνης και όχι η χωρητικότητα: τα 273 GB/s τροφοδοτούν κάθε token, οπότε ένα πυκνό μοντέλο 70B διαβάζει περίπου 37 GiB ανά token ενώ ένα mixture-of-experts με 3B ενεργές διαβάζει κάτω από 2 GB. Δείτε τη σελίδα προδιαγραφών για την πλήρη λίστα υλικού.
Για αυτόνομη GPU ή Mac, το FitLocally κάνει τον ίδιο έλεγχο καταλληλότητας για περίπου 110 ανοιχτά μοντέλα σε κάρτες γραφικών, Mac και mini PC. Είναι ξεχωριστός ιστότοπος που δημοσιεύω εγώ.
Μοντέλα που δεν χωράνε σε ένα Spark
Ο υπολογιστής περιλαμβάνει δύο παραδείγματα που αποτυγχάνουν. Και τα δύο βασίζονται σε σελίδες συγκεντρωτών, όχι σε κάρτες μοντέλων ή σε στοιχεία του ίδιου του GPUwerk, οπότε θεωρήστε τα μεγέθη ενδεικτικά.
| Μοντέλο | Μέγεθος που χρησιμοποιήθηκε | Πηγή (συγκεντρωτής) | Γιατί αποτυγχάνει |
|---|---|---|---|
| DeepSeek V4.1-Flash, Q2_K | 324 GB (763,2B παράμετροι) | llmrun.dev | Περίπου 2,5 φορές τα 121,6 GiB ενός Spark (130,6 GB), και περισσότερα από όσα χωρούν δύο Spark μαζί (περίπου 261 GB) |
| Kimi K3, 4-bit | περίπου 1.570 GB (2,8T παράμετροι x 0,56) | slash-digital.io | 12 φορές τη χωρητικότητα ενός Spark |
Ελέγχθηκε 2026-10-11. Το μέγεθος του Kimi σε 4-bit είναι δικός μου πολλαπλασιασμός, όχι δημοσιευμένο quant.
Δύο Spark, και η παραλλαγή 64 GB
Δύο συνδεδεμένα Spark σας δίνουν δύο δεξαμενές μνήμης των 121,6 GiB, όχι 256 GB για ένα μοντέλο. Ο υπολογιστής μοιράζει βάρη και KV εξίσου και ελέγχει κάθε κόμβο, κάτι αισιόδοξο επειδή στην πράξη ο διαμοιρασμός σπάνια είναι απόλυτα ίσος. Για τη ρύθμιση, δείτε τον οδηγό cluster δύο κόμβων. Για να δοκιμάσετε ένα μοντέλο σε πραγματικό υλικό πριν αγοράσετε, η σελίδα ενοικίασης εξηγεί την ενοικίαση με το λεπτό.
Η σελίδα προϊόντος της NVIDIA αναφέρει μια παραλλαγή 64 GB που πωλείται μέσω συνεργατών OEM (δείτε τη σελίδα προδιαγραφών), και η αναφορά του The Register της 2ας Οκτωβρίου 2026 καλύπτει την ανακοίνωση, μαζί με το αμετάβλητο εύρος ζώνης των 273 GB/s (έλεγχος 2026-10-11). Το GPUwerk δεν έχει λειτουργήσει κάποιο, οπότε ο αριθμός των 60,8 GiB του υπολογιστή είναι το μισό των 121.6 και τίποτα περισσότερο. Σε αυτό το μέγεθος, το παράδειγμα 70B σε 4-bit (37 GiB) θα άφηνε περίπου 24 GiB πριν από επιβάρυνση και KV. Ο οδηγός 64 GB έναντι 128 GB εξετάζει ποια τρέχοντα μοντέλα χωράνε στο καθένα.
Συχνές ερωτήσεις
Πόση μνήμη χρειάζεται ένα μοντέλο 70B;
Τα βάρη είναι παράμετροι επί byte ανά παράμετρο: περίπου 140 GB σε FP16, 70 GB σε FP8 και 37 GB σε 4-bit, όπως παρουσιάζει η σελίδα μοντέλων. Σε ένα DGX Spark με περίπου 121,6 GiB προσβάσιμα, το FP16 δεν χωρά, το FP8 (70 GB) χωρά αλλά βρίσκεται λίγο κάτω από τη γραμμή των 75 GB όπου γίνεται μοντέλο για έναν χρήστη, και το 4-bit αφήνει περίπου 84 GiB πριν από την KV cache. Το Llama 3.3 70B προσθέτει 327.680 byte KV cache ανά token σε FP16, οπότε 8.192 tokens για μία ακολουθία είναι περίπου 2,7 GB.
Χωρά το gpt-oss-120b σε DGX Spark;
Ναι. Τα βάρη MXFP4 στο αποθετήριο Hugging Face της OpenAI είναι συνολικά 65,2 GB (60,8 GiB), κάτι που αφήνει περίπου 61 GiB από τα 121,6 GiB προσβάσιμης μνήμης για KV cache και επιβάρυνση. Το GPUwerk δεν έχει μετρήσει τη μνήμη ή την ταχύτητα αυτού του μοντέλου. Τα περίπου 60 tok/s που αναφέρονται συχνά γι' αυτό με llama.cpp είναι αναφορά τρίτου (tg32 σε άδειο context, που πέφτει σε περίπου 40 tok/s με 32.768 tokens context), όχι μέτρηση του GPUwerk.
Τι είναι η ενοποιημένη μνήμη για τα LLM;
Το DGX Spark έχει μία ενιαία δεξαμενή μνήμης 128 GB LPDDR5x που χρησιμοποιούν και η CPU και η GPU, οπότε δεν υπάρχει ξεχωριστή VRAM. Βάρη, KV cache, λειτουργικό σύστημα, Docker και page cache αντλούν όλα από την ίδια δεξαμενή, και ένα μοντέλο «πολύ μεγάλο για τη VRAM» είναι απλώς πολύ μεγάλο για ό,τι απομένει από αυτή τη δεξαμενή. Σημαίνει επίσης ότι την ταχύτητα αποκωδικοποίησης την καθορίζει το εύρος ζώνης των 273 GB/s, όχι η χωρητικότητα.
Σημαίνουν δύο Spark 256 GB για ένα μοντέλο;
Όχι. Δύο συνδεδεμένα Spark είναι δύο ξεχωριστές δεξαμενές μνήμης των 121,6 GiB ενωμένες με σύνδεση δικτύου, όχι μία δεξαμενή των 256 GB. Ένα μοντέλο πρέπει να μοιραστεί ανάμεσά τους, για παράδειγμα με tensor ή pipeline parallelism, και κάθε κόμβος χρειάζεται ακόμη το μερίδιό του από βάρη, KV cache και επιβάρυνση. Αυτή η σελίδα ελέγχει τη χωρητικότητα ανά κόμβο και δεν ισχυρίζεται τίποτα για ταχύτητα δύο κόμβων· το ένα μετρημένο ζεύγος του GPUwerk, Qwen3-32B με tensor parallelism, βρίσκεται στη σελίδα benchmarks. Ο οδηγός cluster δύο κόμβων καλύπτει τη ρύθμιση.
Πόσο ακριβής είναι αυτός ο υπολογιστής;
Είναι εκτίμηση, όχι ακριβής αριθμός. Παραλείπει buffers της μηχανής, CUDA graphs, μεταδεδομένα quantization πέρα από τον μέσο όρο byte ανά παράμετρο, και κατανομή ειδική για κάθε μηχανή όπως η προκαθορισμένη δεξαμενή KV του vLLM. Για το Llama 3.3 70B AWQ η εκτίμηση και τα logs benchmark του GPUwerk συμφωνούν με απόκλιση περίπου 3 GiB, και τα logs είναι η πραγματικότητα. Δοκιμάστε ένα πραγματικό φορτίο πριν δεσμευτείτε σε μια διαμόρφωση.