Εκτελέστε μοντέλα κατηγορίας 70B έως 120B σε 128 GB ενοποιημένης μνήμης
Ένα DGX Spark έχει 128 GB μνήμης κοινής για CPU και GPU, οπότε μοντέλα που δεν χωρούσαν ποτέ σε κάρτα γραφικών 24 ή 32 GB φορτώνουν ολόκληρα. Το να χωρά δεν σημαίνει ότι είναι γρήγορο. Η μνήμη μεταφέρει 273 GB/s, και κάθε παραγόμενο token διαβάζει μία φορά τα ενεργά βάρη του μοντέλου. Σε ένα από τα Spark μου, ένα πυκνό Llama 3.3 70B παρήγαγε 6,0 tokens το δευτερόλεπτο για ένα μόνο αίτημα. Ένα μοντέλο mixture-of-experts διαβάζει μόνο ένα κομμάτι των βαρών του ανά token: για το gpt-oss-120b αναφέρονται 58,7 tok/s στο ίδιο chip. Διαλέξτε το μοντέλο με βάση το εύρος ζώνης και μετά νοικιάστε ένα Spark για όσες ώρες χρειάζεστε.
Πρώτη ανανέωση υπολοίπου: πληρώνετε 20 $, παίρνετε 30 $ σε πίστωση, περίπου 37 ώρες σε ένα Spark. Χρέωση ανά λεπτό από προπληρωμένη πίστωση. Τερματίστε όταν τελειώσετε και η χρέωση σταματά.
Τι χωρά, και πόσο γρήγορα εκτελείται ένα αίτημα
| Μοντέλο και μορφή | Διαβάζονται ανά token | Ένα αίτημα | Πηγή |
|---|---|---|---|
| Qwen3-Coder 30B-A3B, AWQ 4-bit | περίπου 3B παράμετροι | 80,9 tok/s | Δική μου εκτέλεση, vLLM 0.27.1, 2 Σεπ. 2026 (πλήρες log) |
| gpt-oss-120b, MXFP4 | 5,1B από 117B | 58,7 tok/s | Αναφερόμενο: αποτελέσματα llama.cpp για DGX Spark, build 7941, 5 Φεβ. 2026 |
| gpt-oss-120b, MXFP4 | 5,1B από 117B | 33,5 tok/s | Αναφερόμενο: Dendro Logic, vLLM, prompts 1.500 tokens και έξοδος JSON, 22 Απρ. 2026 |
| Nemotron-3-Super-120B-A12B, NVFP4 | 12B από 120B | περίπου 24 tok/s | Αναφερόμενο: φόρουμ NVIDIA, vLLM με διόρθωση CUTLASS, 29 Μαρ. 2026 |
| Llama 3.3 70B, AWQ 4-bit | όλα τα 70B (πυκνό) | 6,0 tok/s | Δική μου εκτέλεση, vLLM 0.27.1, 2 Σεπ. 2026 (πλήρες log) |
| Nemotron Super 49B v1.5, NVFP4 | όλα τα 49B (πυκνό) | 5,79 tok/s | Αναφερόμενο: Dendro Logic, 22 Απρ. 2026 |
| Qwen3-235B-A22B, UD-Q4_K_XL (134 GB) | 22B από 235B | περίπου 1,8 tok/s· δεν χωρά | Αναφερόμενο: φόρουμ NVIDIA, llama.cpp, 17 Δεκ. 2025 |
Οι γραμμές «Αναφερόμενο» είναι μετρήσεις άλλων, που συγκέντρωσα και έλεγξα με τις πηγές τους στις 11 Οκτωβρίου 2026 για τη σελίδα benchmarks· δεν τις έχω αναπαραγάγει. Οι δύο γραμμές του gpt-oss-120b δείχνουν πόσο μετακινούν η μηχανή και ο φόρτος εργασίας ένα μοντέλο σε ένα chip. Οι αριθμοί παραμέτρων του gpt-oss-120b προέρχονται από την κάρτα του μοντέλου, μέσω του υπολογιστή μνήμης.
Γιατί ένα πυκνό 70B είναι αργό και ένα MoE 120B όχι
Η παραγωγή ενός token σημαίνει ότι τα ενεργά βάρη διαβάζονται μία φορά από τη μνήμη, οπότε το όριο είναι το εύρος ζώνης μνήμης διαιρεμένο με τα byte που διαβάζονται ανά token:
tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token Llama 3.3 70B, 4-bit: about 37 GB per token → about 7.4 tok/s (measured 6.0) gpt-oss-120b, MXFP4: about 3 GB per token → about 90 tok/s (reported 58.7)
Οι πραγματικές μηχανές πέφτουν περίπου μεταξύ του μισού και των τεσσάρων πέμπτων του ορίου. Κάτω από περίπου 10 tok/s ένα μοντέλο φαίνεται αργό σε παράθυρο συνομιλίας, γι' αυτό ένα πυκνό 70B σε ένα Spark είναι μοντέλο για παρτίδες: με 128 αιτήματα σε εξέλιξη η εκτέλεσή μου με το 70B έφτασε 485 tok/s συνολικά, μετρώντας tokens prompt και παραγόμενα, αλλά κάθε αίτημα επιβραδύνθηκε στα 1,4 tok/s. Οι πλήρεις καμπύλες ταυτοχρονισμού βρίσκονται στη σελίδα benchmarks.
Τι θα εκτελούσα
- Ένα μοντέλο κατηγορίας 120B με το οποίο μπορείτε να συνομιλήσετε: το gpt-oss-120b σε MXFP4. Τα βάρη είναι 65,2 GB, κάτι που αφήνει χώρο για μεγάλο context, και διαβάζει περίπου 5B παραμέτρους ανά token.
- Πρώτα η ταχύτητα: ένα μοντέλο mixture-of-experts Qwen3 σε 4 bit, όπως το Qwen3-30B-A3B ή το Qwen3.6-35B-A3B. Αυτά διαβάζουν περίπου 3B παραμέτρους ανά token.
- Ένα πυκνό 70B: μόνο για εργασίες παρτίδας ή όταν χρειάζεστε ακριβώς αυτό το μοντέλο. Αναμένετε περίπου 6 tok/s ανά αίτημα.
- Κάντε quantization σε 4 bit. Τα MXFP4, NVFP4, AWQ ή Q4_K_M μειώνουν στο μισό τα byte ανά token σε σχέση με το FP8 και περίπου διπλασιάζουν το όριο. Το κόστος σε ποιότητα διαφέρει ανά μορφή· ο οδηγός ταχύτητας quantization τις συγκρίνει σε αυτό το chip.
- Πάνω από 128 GB: δύο συνδεδεμένα Spark, με 1,79 $ την ώρα για το cluster δύο κόμβων όταν η κονσόλα το προσφέρει. Η αναφορά για το Qwen3-235B παραπάνω πήγε από περίπου 1,8 tok/s σε ένα Spark σε περίπου 12,5 σε δύο. Ο οδηγός δύο κόμβων καλύπτει τι προσφέρει η σύζευξη.
Εκτέλεση gpt-oss-120b με llama.cpp
Για έναν χρήστη τη φορά, το llama.cpp είναι η ταχύτερη μηχανή σε αυτό το chip. Αναπτύξτε DGX Spark 1× με το image DGX OS, ανοίξτε το τερματικό στον browser, κάντε build το llama.cpp για το GB10 (5 έως 10 λεπτά) και ξεκινήστε το μοντέλο. Τα βήματα build είναι τα ίδια με τον οδηγό llama.cpp μου.
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # downloads about 65 GB the first time ./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \ --host 127.0.0.1 --port 30000
Όταν το log λέει ότι ο server ακούει, μετρήστε τη δική σας ταχύτητα από ένα δεύτερο τερματικό. Το llama-server επιστρέφει τους χρόνους του με κάθε απάντηση:
curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
| python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'
Η λήψη τρέχει με το ρολόι, οπότε ξεκινήστε την πρώτα και διαβάστε όσο φορτώνει. Για να φτάσετε τον server από το laptop σας, χρησιμοποιήστε SSH tunnel με το δικό σας κλειδί, ή ξεκινήστε τον με --host 0.0.0.0 --api-key και ένα μακρύ τυχαίο κλειδί: κάθε instance έχει τη δική του δημόσια διεύθυνση IPv4. Για πολλούς χρήστες ταυτόχρονα, το vLLM κάνει καλύτερο batching· ο οδηγός vLLM έχει τους υπολογισμούς μνήμης για ενοποιημένη μνήμη.
Περιορισμοί που πρέπει να ξέρετε πρώτα
- Δεν έχω μετρήσει το gpt-oss-120b στον στόλο μου. Οι αριθμοί του παραπάνω είναι αναφερόμενοι, και τα δικά σας prompts θα καταλήξουν κάπου αλλού. Μετρήστε πριν βασίσετε τα σχέδιά σας σε έναν αριθμό.
- Τα μεγάλα prompts είναι αργά σε μεγάλα πυκνά μοντέλα. Η εκτέλεσή μου με το 70B διάβασε ένα prompt 8.192 tokens στα 391 tok/s, περίπου 21 δευτερόλεπτα πριν από το πρώτο token.
- Το quantization κοστίζει σε ποιότητα. Ένα μοντέλο 4-bit δεν είναι το μοντέλο πλήρους ακρίβειας. Ελέγξτε τις απαντήσεις στα δικά σας prompts.
- Το Spark είναι ARM64 με GPU sm_121. Οι μηχανές και τα πακέτα Python χρειάζονται builds aarch64 γι' αυτό, και ένα απλό
pip install vllmμπορεί να εγκατασταθεί κανονικά και μετά να μην ξεκινά· ο οδηγός vLLM εξηγεί την παγίδα. - Εκτελείται σε container. Σε πολλά Spark έχει δικό του daemon Docker, οπότε τρέχουν containers κατασκευαστών για arm64· τα υπόλοιπα εκτελούν ένα απλό container χωρίς Docker, όπου η διαδρομή είναι το εγγενές build παραπάνω. Δεν μπορείτε να επιλέξετε ποιο.
- Χωρίς SLA και χωρίς αντίγραφα ασφαλείας. Οι λήψεις μοντέλων εκτός του
/workspaceχάνονται σε ανακατασκευή, και ο τερματισμός διαγράφει τα πάντα.
Τιμή και πού βρίσκονται τα Spark
0,79 $ την ώρα για ένα Spark, με χρέωση ανά λεπτό από προπληρωμένη πίστωση: 6,32 $ για μια οκτάωρη μέρα. Πρώτη ανανέωση υπολοίπου: πληρώνετε 20 $, παίρνετε 30 $ σε πίστωση. Ένα σταματημένο instance διατηρεί τον χώρο εργασίας του και χρεώνεται με το 75% της ωριαίας τιμής. Τερματίστε όταν τελειώσετε και η χρέωση σταματά· αυτό διαγράφει τον χώρο εργασίας. Οι τιμές δεν περιλαμβάνουν ΦΠΑ, όπου εφαρμόζεται.
Τα δικά μου Spark βρίσκονται σε κέντρο δεδομένων στο Hradec Králové της Τσεχικής Δημοκρατίας. Τα Spark συνεργατών, που ανήκουν σε συνεργάτες και φιλοξενούνται στις δικές τους εγκαταστάσεις, βρίσκονται στις ΗΠΑ, τη Σουηδία, την Ολλανδία, τη Σλοβακία και το Χονγκ Κονγκ· ένας συνεργάτης έχει φυσική πρόσβαση στο μηχάνημά του. Η κονσόλα δείχνει τη χώρα, και αν είναι στον ΕΟΧ, πριν κάνετε ανάπτυξη. Κάθε τοποθεσία προσφέρει τα images DGX OS και Ubuntu που χρησιμοποιούνται παραπάνω.
Ποιος το διαχειρίζεται
Το GPUwerk είναι νέο. Το διαχειρίζομαι εγώ, ο Samuel Seidel, μέσω της PRINT IT! SE, εταιρείας εγγεγραμμένης στην Πράγα. Στις 9 Νοεμβρίου 2026, 94 developers είχαν ξεκινήσει 374 instances από τον Σεπτέμβριο. Η ζωντανή κατάσταση βρίσκεται στο status.gpuwerk.com, και η σελίδα επικοινωνίας φτάνει απευθείας σε εμένα αν θέλετε να ελέγξετε ένα μοντέλο πριν νοικιάσετε.
Συχνές ερωτήσεις
Μπορεί ένα DGX Spark να εκτελέσει μοντέλο 70B;
Ναι. Το Llama 3.3 70B σε AWQ 4-bit είναι περίπου 37 GiB βαρών και χωρά με άνεση, αλλά παρήγαγε 6,0 tokens το δευτερόλεπτο για ένα αίτημα σε ένα από τα Spark μου (vLLM 0.27.1, 2 Σεπτεμβρίου 2026). Αυτό ταιριάζει περισσότερο σε εργασίες παρτίδας παρά σε συνομιλία.
Χωρά το gpt-oss-120b σε ένα DGX Spark;
Ναι. Τα βάρη του σε MXFP4 είναι συνολικά 65,2 GB, και διαβάζει περίπου 5,1B παραμέτρους ανά token. Οι συντηρητές του llama.cpp αναφέρουν 58,7 tok/s για ένα αίτημα· η Dendro Logic αναφέρει 33,5 σε vLLM με μεγαλύτερα prompts και έξοδο JSON. Δεν το έχω μετρήσει στον στόλο μου.
Τι γίνεται με μοντέλα μεγαλύτερα από 128 GB;
Χρειάζονται δύο συνδεδεμένα Spark. Ένα build του Qwen3-235B-A22B των 134 GB έτρεξε με περίπου 1,8 tok/s σε ένα Spark και περίπου 12,5 σε δύο, σε μια αναφορά στο φόρουμ προγραμματιστών της NVIDIA. Το cluster δύο κόμβων του GPUwerk κοστίζει 1,79 $ την ώρα όταν το προσφέρει η κονσόλα.
Πόσο κοστίζει η δοκιμή ενός μεγάλου μοντέλου;
0,79 $ την ώρα για ένα Spark, με χρέωση ανά λεπτό από προπληρωμένη πίστωση· η πρώτη λήψη και η μεταγλώττιση του llama.cpp τρέχουν με αυτό το ρολόι. Πρώτη ανανέωση υπολοίπου: πληρώνετε 20 $, παίρνετε 30 $ σε πίστωση, περίπου 37 ώρες. Τερματίστε όταν τελειώσετε και η χρέωση σταματά.