DGX Spark/Μεγάλα μοντέλα
Περίπτωση χρήσης · Μεγάλα μοντέλα

Εκτελέστε μοντέλα κατηγορίας 70B έως 120B σε 128 GB ενοποιημένης μνήμης

Του Samuel Seidel · Ενημερώθηκε 10 Νοεμβρίου 2026 · 7 λεπτά ανάγνωσης

Ένα DGX Spark έχει 128 GB μνήμης κοινής για CPU και GPU, οπότε μοντέλα που δεν χωρούσαν ποτέ σε κάρτα γραφικών 24 ή 32 GB φορτώνουν ολόκληρα. Το να χωρά δεν σημαίνει ότι είναι γρήγορο. Η μνήμη μεταφέρει 273 GB/s, και κάθε παραγόμενο token διαβάζει μία φορά τα ενεργά βάρη του μοντέλου. Σε ένα από τα Spark μου, ένα πυκνό Llama 3.3 70B παρήγαγε 6,0 tokens το δευτερόλεπτο για ένα μόνο αίτημα. Ένα μοντέλο mixture-of-experts διαβάζει μόνο ένα κομμάτι των βαρών του ανά token: για το gpt-oss-120b αναφέρονται 58,7 tok/s στο ίδιο chip. Διαλέξτε το μοντέλο με βάση το εύρος ζώνης και μετά νοικιάστε ένα Spark για όσες ώρες χρειάζεστε.

Πρώτη ανανέωση υπολοίπου: πληρώνετε 20 $, παίρνετε 30 $ σε πίστωση, περίπου 37 ώρες σε ένα Spark. Χρέωση ανά λεπτό από προπληρωμένη πίστωση. Τερματίστε όταν τελειώσετε και η χρέωση σταματά.

Τι χωρά, και πόσο γρήγορα εκτελείται ένα αίτημα

Μοντέλο και μορφήΔιαβάζονται ανά tokenΈνα αίτημαΠηγή
Qwen3-Coder 30B-A3B, AWQ 4-bitπερίπου 3B παράμετροι80,9 tok/sΔική μου εκτέλεση, vLLM 0.27.1, 2 Σεπ. 2026 (πλήρες log)
gpt-oss-120b, MXFP45,1B από 117B58,7 tok/sΑναφερόμενο: αποτελέσματα llama.cpp για DGX Spark, build 7941, 5 Φεβ. 2026
gpt-oss-120b, MXFP45,1B από 117B33,5 tok/sΑναφερόμενο: Dendro Logic, vLLM, prompts 1.500 tokens και έξοδος JSON, 22 Απρ. 2026
Nemotron-3-Super-120B-A12B, NVFP412B από 120Bπερίπου 24 tok/sΑναφερόμενο: φόρουμ NVIDIA, vLLM με διόρθωση CUTLASS, 29 Μαρ. 2026
Llama 3.3 70B, AWQ 4-bitόλα τα 70B (πυκνό)6,0 tok/sΔική μου εκτέλεση, vLLM 0.27.1, 2 Σεπ. 2026 (πλήρες log)
Nemotron Super 49B v1.5, NVFP4όλα τα 49B (πυκνό)5,79 tok/sΑναφερόμενο: Dendro Logic, 22 Απρ. 2026
Qwen3-235B-A22B, UD-Q4_K_XL (134 GB)22B από 235Bπερίπου 1,8 tok/s· δεν χωράΑναφερόμενο: φόρουμ NVIDIA, llama.cpp, 17 Δεκ. 2025

Οι γραμμές «Αναφερόμενο» είναι μετρήσεις άλλων, που συγκέντρωσα και έλεγξα με τις πηγές τους στις 11 Οκτωβρίου 2026 για τη σελίδα benchmarks· δεν τις έχω αναπαραγάγει. Οι δύο γραμμές του gpt-oss-120b δείχνουν πόσο μετακινούν η μηχανή και ο φόρτος εργασίας ένα μοντέλο σε ένα chip. Οι αριθμοί παραμέτρων του gpt-oss-120b προέρχονται από την κάρτα του μοντέλου, μέσω του υπολογιστή μνήμης.

Γιατί ένα πυκνό 70B είναι αργό και ένα MoE 120B όχι

Η παραγωγή ενός token σημαίνει ότι τα ενεργά βάρη διαβάζονται μία φορά από τη μνήμη, οπότε το όριο είναι το εύρος ζώνης μνήμης διαιρεμένο με τα byte που διαβάζονται ανά token:

tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token

Llama 3.3 70B, 4-bit:  about 37 GB per token  → about 7.4 tok/s   (measured 6.0)
gpt-oss-120b, MXFP4:   about 3 GB per token   → about 90 tok/s    (reported 58.7)

Οι πραγματικές μηχανές πέφτουν περίπου μεταξύ του μισού και των τεσσάρων πέμπτων του ορίου. Κάτω από περίπου 10 tok/s ένα μοντέλο φαίνεται αργό σε παράθυρο συνομιλίας, γι' αυτό ένα πυκνό 70B σε ένα Spark είναι μοντέλο για παρτίδες: με 128 αιτήματα σε εξέλιξη η εκτέλεσή μου με το 70B έφτασε 485 tok/s συνολικά, μετρώντας tokens prompt και παραγόμενα, αλλά κάθε αίτημα επιβραδύνθηκε στα 1,4 tok/s. Οι πλήρεις καμπύλες ταυτοχρονισμού βρίσκονται στη σελίδα benchmarks.

Τι θα εκτελούσα

Εκτέλεση gpt-oss-120b με llama.cpp

Για έναν χρήστη τη φορά, το llama.cpp είναι η ταχύτερη μηχανή σε αυτό το chip. Αναπτύξτε DGX Spark 1× με το image DGX OS, ανοίξτε το τερματικό στον browser, κάντε build το llama.cpp για το GB10 (5 έως 10 λεπτά) και ξεκινήστε το μοντέλο. Τα βήματα build είναι τα ίδια με τον οδηγό llama.cpp μου.

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# downloads about 65 GB the first time
./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \
  --host 127.0.0.1 --port 30000

Όταν το log λέει ότι ο server ακούει, μετρήστε τη δική σας ταχύτητα από ένα δεύτερο τερματικό. Το llama-server επιστρέφει τους χρόνους του με κάθε απάντηση:

curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
  | python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'

Η λήψη τρέχει με το ρολόι, οπότε ξεκινήστε την πρώτα και διαβάστε όσο φορτώνει. Για να φτάσετε τον server από το laptop σας, χρησιμοποιήστε SSH tunnel με το δικό σας κλειδί, ή ξεκινήστε τον με --host 0.0.0.0 --api-key και ένα μακρύ τυχαίο κλειδί: κάθε instance έχει τη δική του δημόσια διεύθυνση IPv4. Για πολλούς χρήστες ταυτόχρονα, το vLLM κάνει καλύτερο batching· ο οδηγός vLLM έχει τους υπολογισμούς μνήμης για ενοποιημένη μνήμη.

Περιορισμοί που πρέπει να ξέρετε πρώτα

Τιμή και πού βρίσκονται τα Spark

0,79 $ την ώρα για ένα Spark, με χρέωση ανά λεπτό από προπληρωμένη πίστωση: 6,32 $ για μια οκτάωρη μέρα. Πρώτη ανανέωση υπολοίπου: πληρώνετε 20 $, παίρνετε 30 $ σε πίστωση. Ένα σταματημένο instance διατηρεί τον χώρο εργασίας του και χρεώνεται με το 75% της ωριαίας τιμής. Τερματίστε όταν τελειώσετε και η χρέωση σταματά· αυτό διαγράφει τον χώρο εργασίας. Οι τιμές δεν περιλαμβάνουν ΦΠΑ, όπου εφαρμόζεται.

Τα δικά μου Spark βρίσκονται σε κέντρο δεδομένων στο Hradec Králové της Τσεχικής Δημοκρατίας. Τα Spark συνεργατών, που ανήκουν σε συνεργάτες και φιλοξενούνται στις δικές τους εγκαταστάσεις, βρίσκονται στις ΗΠΑ, τη Σουηδία, την Ολλανδία, τη Σλοβακία και το Χονγκ Κονγκ· ένας συνεργάτης έχει φυσική πρόσβαση στο μηχάνημά του. Η κονσόλα δείχνει τη χώρα, και αν είναι στον ΕΟΧ, πριν κάνετε ανάπτυξη. Κάθε τοποθεσία προσφέρει τα images DGX OS και Ubuntu που χρησιμοποιούνται παραπάνω.

Ποιος το διαχειρίζεται

Το GPUwerk είναι νέο. Το διαχειρίζομαι εγώ, ο Samuel Seidel, μέσω της PRINT IT! SE, εταιρείας εγγεγραμμένης στην Πράγα. Στις 9 Νοεμβρίου 2026, 94 developers είχαν ξεκινήσει 374 instances από τον Σεπτέμβριο. Η ζωντανή κατάσταση βρίσκεται στο status.gpuwerk.com, και η σελίδα επικοινωνίας φτάνει απευθείας σε εμένα αν θέλετε να ελέγξετε ένα μοντέλο πριν νοικιάσετε.

Συχνές ερωτήσεις

Μπορεί ένα DGX Spark να εκτελέσει μοντέλο 70B;

Ναι. Το Llama 3.3 70B σε AWQ 4-bit είναι περίπου 37 GiB βαρών και χωρά με άνεση, αλλά παρήγαγε 6,0 tokens το δευτερόλεπτο για ένα αίτημα σε ένα από τα Spark μου (vLLM 0.27.1, 2 Σεπτεμβρίου 2026). Αυτό ταιριάζει περισσότερο σε εργασίες παρτίδας παρά σε συνομιλία.

Χωρά το gpt-oss-120b σε ένα DGX Spark;

Ναι. Τα βάρη του σε MXFP4 είναι συνολικά 65,2 GB, και διαβάζει περίπου 5,1B παραμέτρους ανά token. Οι συντηρητές του llama.cpp αναφέρουν 58,7 tok/s για ένα αίτημα· η Dendro Logic αναφέρει 33,5 σε vLLM με μεγαλύτερα prompts και έξοδο JSON. Δεν το έχω μετρήσει στον στόλο μου.

Τι γίνεται με μοντέλα μεγαλύτερα από 128 GB;

Χρειάζονται δύο συνδεδεμένα Spark. Ένα build του Qwen3-235B-A22B των 134 GB έτρεξε με περίπου 1,8 tok/s σε ένα Spark και περίπου 12,5 σε δύο, σε μια αναφορά στο φόρουμ προγραμματιστών της NVIDIA. Το cluster δύο κόμβων του GPUwerk κοστίζει 1,79 $ την ώρα όταν το προσφέρει η κονσόλα.

Πόσο κοστίζει η δοκιμή ενός μεγάλου μοντέλου;

0,79 $ την ώρα για ένα Spark, με χρέωση ανά λεπτό από προπληρωμένη πίστωση· η πρώτη λήψη και η μεταγλώττιση του llama.cpp τρέχουν με αυτό το ρολόι. Πρώτη ανανέωση υπολοίπου: πληρώνετε 20 $, παίρνετε 30 $ σε πίστωση, περίπου 37 ώρες. Τερματίστε όταν τελειώσετε και η χρέωση σταματά.

Πρώτη ανανέωση υπολοίπου: πληρώνετε 20 $, παίρνετε 30 $ σε πίστωση

Φορτώστε ένα μοντέλο 120B σε ένα δικό σας Spark.

Ένα αποκλειστικό DGX Spark με 128 GB ενοποιημένης μνήμης, 0,79 $/h με χρέωση ανά λεπτό. Τερματίστε όταν τελειώσετε και η χρέωση σταματά.

Ανάπτυξη τώρα