Οδηγοί DGX Spark
Εξήντα πέντε οδηγοί για την αγορά, τη χρήση και τη λειτουργία ενός DGX Spark, από το GPUwerk, που τα εκμισθώνει. Είναι ομαδοποιημένοι σε πέντε ενότητες: αγορά και λειτουργία ενός Spark, μοντέλα και μηχανές inference, απόδοση και benchmarks, clusters και κλιμάκωση, και λειτουργίες. Κάθε κάρτα δείχνει τη σύνοψη του οδηγού.
Αγορά και λειτουργία ενός Spark
Πριν αγοράσετε, και μετά ρεύμα, θόρυβος, ρύθμιση, ενημερώσεις, αποθήκευση και λειτουργικά έξοδα.
Τι να ξέρετε πριν αγοράσετε ένα DGX Spark
Ένας ειλικρινής οδηγός αγοράς DGX Spark από εταιρεία που τα εκμισθώνει: πραγματικά benchmarks, το όριο εύρους ζώνης 273 GB/s, τιμές αγοράς στην ΕΕ και αγορά ή ενοικίαση.
Κατανάλωση ενέργειας και λειτουργικό κόστος του DGX Spark
Μετρημένη κατανάλωση του DGX Spark: 22-45 W σε αδράνεια, 60-90 W κατά το LLM inference, περίπου 160-200 W σε πλήρες φορτίο, με τροφοδοτικό 240 W. Μηνιαίο κόστος με τιμές ρεύματος ΕΕ.
Θόρυβος DGX Spark: 29 dB σε πλήρες φορτίο, 13 dB σε αδράνεια
Η NVIDIA δηλώνει για το DGX Spark 35 dB LWA και 29 dB LpA σε μέγιστο φορτίο, 19 και 13 dB σε αδράνεια (ECMA-109). Μετρήσεις αξιολογητών, ψύξη και τοποθέτηση.
Οδηγός ρύθμισης DGX Spark: από την πρώτη εκκίνηση σε μοντέλο σε λειτουργία μέσα σε ένα βράδυ
Γρήγορη εκκίνηση με το DGX Spark από κάποιον που τα τοποθετεί σε rack καθημερινά: πρώτη εκκίνηση του DGX OS, SSH μόνο με κλειδί, επιλογή στοίβας εξυπηρέτησης και εξυπηρέτηση του πρώτου σας μοντέλου στα εργαλεία σας μέσα σε ένα βράδυ.
Ενημερώσεις drivers και firmware του DGX Spark: τι διαχειρίζεται το GPUwerk
Τι διατηρεί ενημερωμένο το GPUwerk σε επίπεδο host και κόμβου σε ένα νοικιασμένο DGX Spark, και τι βρίσκεται μέσα στο δικό σας root container και παραμένει αποκλειστικά δική σας ευθύνη.
Αποθήκευση DGX Spark: τι διατηρείται και τι να έχει αντίγραφο ασφαλείας
Ο NVMe 1 TB σε ένα νοικιασμένο DGX Spark, τι ακριβώς διατηρείται σε διακοπή έναντι τερματισμού, και γιατί έχει σημασία να κρατάτε δικό σας αντίγραφο ασφαλείας αφού το GPUwerk δεν κρατά κανένα.
Ψυχρή εκκίνηση ή συνεχής λειτουργία: επιλογή μοτίβου διαθεσιμότητας instance
Διακοπή ενός DGX Spark ανάμεσα στις χρήσεις έναντι συνεχούς λειτουργίας όλο το εικοσιτετράωρο: οι συμβιβασμοί σε κόστος, καθυστέρηση και δεδομένα, και πώς να αποφασίσετε ποιο μοτίβο ταιριάζει στην πραγματική χρήση.
Μεταφορά μιας υπάρχουσας αυτοφιλοξενούμενης εγκατάστασης AI σε DGX Spark
Μια πρακτική διαδρομή μετάβασης από σταθμό εργασίας ή άλλη cloud GPU σε νοικιασμένο DGX Spark: νέο quantization για ενοποιημένη μνήμη, μεταφορά δεδομένων και σχέδιο μετάβασης.
Πρόβλεψη κόστους και προϋπολογισμός για υποδομή AI
Πώς να εκτιμήσετε τη μηνιαία δαπάνη υποδομής AI για αυτοφιλοξενία έναντι ενός API με μέτρηση χρήσης, με την τιμή των 0,79 $/ώρα του GPUwerk ως λυμένο παράδειγμα και μια λίστα ελέγχου προϋπολογισμού.
Συνολικό κόστος ιδιοκτησίας: ενοικίαση GPU έναντι cloud AI API
Ένα cloud AI API ανά token, ένα νοικιασμένο αποκλειστικό DGX Spark με 0,79 $/ώρα και η αγορά υλικού, σε σύγκριση μόνο με αριθμούς δημοσιευμένους σε αυτόν τον ιστότοπο.
DGX Spark 64GB έναντι 128GB: ταχύτητα, τιμή, τι χωρά
DGX Spark 64GB έναντι 128GB, Νοέμβριος 2026: ίδιο GB10 και 273 GB/s, 4.999 $ έναντι 6.950 $, περίπου 54 GiB διαθέσιμα. Πίνακας για 8 μοντέλα με context, και ποιος το πουλά.
Ρύθμιση DGX Spark χωρίς οθόνη
Ρύθμιση DGX Spark χωρίς οθόνη: η διαδικασία με Wi-Fi hotspot, εύρεση του spark-xxxx.local, ο Wi-Fi Assistant του Οκτωβρίου 2026, δέσμευση 512 MB για οθόνη, και cloud-init για πολλές μονάδες.
Αποθήκευση DGX Spark: 1 TB έναντι 4 TB και πού να κρατάτε τα μοντέλα
Αποθήκευση DGX Spark 1 TB έναντι 4 TB: πόσα από 14 τρέχοντα μοντέλα χωράνε (το gpt-oss-120b είναι 65,3 GB), μία κοινή cache Hugging Face, ταχύτητα hf_xet, επιλογές USB-C και NFS.
Οδηγός ανάκτησης DGX Spark και επανεγκατάστασης DGX OS
Ανάκτηση DGX Spark: επιδιόρθωση αποτυχημένης ενημέρωσης χωρίς διαγραφή, αντίγραφο ασφαλείας από live USB, επανεγκατάσταση με το recovery image 1.155.49 (5,9 GB), images OEM, και πότε να ζητήσετε RMA.
Ενημερώσεις λογισμικού DGX Spark: ιστορικό εκδόσεων έως Οκτώβριο 2026
Ενημερώσεις λογισμικού DGX Spark από την κυκλοφορία έως την έκδοση Οκτωβρίου 2026: DGX OS 7.6.0, Linux 7.0, driver 580.178.04, τα γνωστά προβλήματα και πώς να ενημερώσετε με ασφάλεια.
Οδηγός NVIDIA Sync και απομακρυσμένης πρόσβασης για DGX Spark
Απομακρυσμένη πρόσβαση στο DGX Spark με NVIDIA Sync 0.148.0-153: τι εγκαθιστά, το DGX Dashboard στη θύρα 11000, Tailscale, μια απλή ρύθμιση SSH και ασφαλής έκθεση API.
Μοντέλα και μηχανές inference
Ποια μοντέλα να εκτελέσετε, με ποια μηχανή να τα εξυπηρετήσετε, και πώς να μετρήσετε το αποτέλεσμα.
Τα καλύτερα μοντέλα για DGX Spark, έκδοση Οκτωβρίου 2026
Τα καλύτερα μοντέλα για DGX Spark, Οκτώβριος 2026: Qwen3.6-35B-A3B NVFP4 στα 86,3 tok/s σε ένα Spark, DeepSeek-V4-Flash στα περίπου 44 tok/s σε δύο. Πίνακες με πηγές.
llama.cpp έναντι vLLM έναντι SGLang σε DGX Spark: tok/s και flags
vLLM 60,7 έναντι Ollama 42,1 tok/s για gpt-oss-120b σε ένα DGX Spark, και 116 έως 153 έναντι 42,5 με 8 χρήστες. Ποια μηχανή για έναν χρήστη, ομάδα ή δύο Spark, και ακριβή flags.
Πώς να εκτελέσετε ένα νεοκυκλοφορημένο μοντέλο σε DGX Spark (GB10)
Εκτελέστε ένα νέο μοντέλο ανοιχτών βαρών σε DGX Spark την εβδομάδα κυκλοφορίας: χωρητικότητα μνήμης, images arm64, NVFP4 ή GGUF, vLLM, SGLang ή llama.cpp, και πότε χρειάζεται δύο Spark.
Εξυπηρέτηση Qwen3 με vLLM σε DGX Spark
Εγκαταστήστε vLLM, εξυπηρετήστε το Qwen3-32B-AWQ με API συμβατό με OpenAI, συνδέστε το Open WebUI και κρατήστε το σε λειτουργία με systemd: οδηγός copy-paste για DGX Spark.
Μοντέλα με quantization έναντι πλήρους ακρίβειας σε παραγωγή
Πώς να αποφασίσετε ανάμεσα σε μοντέλο με quantization και μοντέλο πλήρους ακρίβειας για μια αυτοφιλοξενούμενη εγκατάσταση παραγωγής: χωρητικότητα μνήμης, κίνδυνος ποιότητας ανά εργασία, και πότε να δοκιμάσετε και τα δύο.
Κάντε fine-tuning ενός μοντέλου στα δεδομένα της εταιρείας σας, χωρίς τα δεδομένα σας να βγαίνουν από το κτίριο
Fine-tuning ενός ανοιχτού LLM σε εταιρικά δεδομένα χωρίς να βγουν από το κτίριο: πίνακες μνήμης LoRA και QLoRA, λυμένο παράδειγμα 32B, και fine-tuning έναντι RAG.
Εκτέλεση embeddings και αναζήτησης διανυσμάτων σε DGX Spark
Εκτελέστε ένα μοντέλο embedding και μια βάση διανυσμάτων δίπλα στο μοντέλο παραγωγής σας σε ένα DGX Spark: προϋπολογισμός μνήμης, εξυπηρέτηση embeddings και επιλογή βάσης διανυσμάτων.
Εκτέλεση μοντέλων όρασης και πολυτροπικών μοντέλων σε DGX Spark
Τι είναι εφικτό στα 128 GB ενοποιημένης μνήμης ενός DGX Spark για μοντέλα όρασης-γλώσσας και κατανόηση εικόνων, και γιατί το GPUwerk δεν έχει δημοσιεύσει ακόμη ειδικά benchmarks VLM.
ComfyUI και Stable Diffusion σε DGX Spark
Εκτελέστε ComfyUI, FLUX και SDXL σε DGX Spark: ρύθμιση σε ARM64, αναφερόμενοι χρόνοι εικόνας ανά μοντέλο, ανταγωνισμός για την ενοποιημένη μνήμη με LLM, και επιφυλάξεις για θερμοκρασίες.
Δομημένη έξοδος και function calling σε αυτοφιλοξενούμενο LLM
Ρύθμιση δομημένης εξόδου JSON-mode και tool/function calling σε αυτοφιλοξενούμενα μοντέλα με vLLM και llama.cpp, μαζί με το ποια μοντέλα το υποστηρίζουν και πώς να εντοπίζετε σφάλματα σε κακοσχηματισμένες κλήσεις.
Prompt caching για μείωση του κόστους inference
Πώς η επαναχρησιμοποίηση prefix και KV cache μειώνει τους επαναλαμβανόμενους υπολογισμούς σε μια αυτοφιλοξενούμενη εγκατάσταση: τι οδηγεί σε cache hit, πώς να δομείτε τα prompts γι' αυτό, και πού φαίνεται πραγματικά η εξοικονόμηση σε ένα Spark που νοικιάζεται με την ώρα.
Μαζική επεξεργασία μεγάλων εργασιών inference σε νοικιασμένο Spark
Εκτελέστε μαζική επεξεργασία εγγράφων και επισημείωση συνόλων δεδομένων σε νοικιασμένο DGX Spark: ρυθμίσεις απόδοσης vLLM, διαστασιολόγηση εργασιών με βάση την ωριαία τιμή, και checkpointing.
Αξιολόγηση ποιότητας μοντέλου πριν αλλάξετε μοντέλα
Σύνολα δοκιμών holdout, προσεγγίσεις A/B και έλεγχοι παλινδρόμησης για benchmark ενός υποψήφιου μοντέλου έναντι του τρέχοντος πριν την αλλαγή σε παραγωγή.
Πώς κάνει benchmarks το GPUwerk στο DGX Spark
Τι μετρά το GPUwerk σε ένα DGX Spark: μία ροή έναντι ταυτοχρονισμού, ποιες μηχανές και ρυθμίσεις, και γιατί δημοσιεύονται τα πλήρη logs, όχι μόνο μια σύνοψη.
DGX Spark με μεγάλο context: tok/s από 4k έως 100k, Νοέμβριος 2026
Απόδοση DGX Spark σε μεγάλο context, Νοέμβριος 2026: αποκωδικοποίηση σε 4k, 50k και 100k για έξι μοντέλα, περίπου 76 s για prefill 100k tokens, και μεγέθη KV cache στα 128k.
Docker και containers NGC στο DGX Spark: arm64, GPU, compose
Οδηγός Docker για DGX Spark, Νοέμβριος 2026: προεγκατεστημένα Docker 29.6.2 και Container Toolkit 1.20, ποια images NGC έχουν builds arm64, και αρχείο compose για vLLM.
LM Studio σε DGX Spark: Linux ARM64, llmster, ταχύτητα (2026)
LM Studio σε DGX Spark, Νοέμβριος 2026: build Linux ARM64 με μηχανή llama.cpp για CUDA 13 από τον Οκτώβριο του 2025, ρύθμιση llmster χωρίς γραφικό περιβάλλον, και ταχύτητα έναντι llama.cpp.
NVIDIA AI Workbench και JupyterLab σε DGX Spark
NVIDIA AI Workbench σε DGX Spark, Νοέμβριος 2026: έκδοση 2026.06.5, βασικά images arm64 με CUDA 13.1, το JupyterLab του DGX Dashboard και το απλό JupyterLab 4.6.6.
NIM σε DGX Spark: ποια NIM τρέχουν σε GB10, άδεια χρήσης, ρύθμιση
NVIDIA NIM σε DGX Spark, Νοέμβριος 2026: περίπου 20 NIM αναφέρουν υποστήριξη GB10, δωρεάν για ανάπτυξη σε έως 16 GPU, και η παραγωγή χρειάζεται άδεια AI Enterprise.
Ollama σε DGX Spark: ρύθμιση, ρυθμίσεις και tok/s
Ollama σε DGX Spark, Νοέμβριος 2026: εγκατάσταση arm64, οι έξι ρυθμίσεις που μετράνε, 42 tok/s στο gpt-oss-120b έναντι 59 για llama.cpp, και ασφαλής έκθεση API.
PyTorch σε DGX Spark: wheels aarch64 για CUDA 13
PyTorch σε DGX Spark, Νοέμβριος 2026: wheels aarch64 torch 2.15.0 cu132 ή 2.14.1 cu130, η ψευδής προειδοποίηση για sm_121, NGC 26.10, κατάσταση flash-attn και xformers.
SGLang σε DGX Spark: εγκατάσταση, flags και tok/s
SGLang σε DGX Spark, Νοέμβριος 2026: image arm64 v0.5.23 και wheels pip, --mem-fraction-static 0.80 σε GB10, και 52 έναντι 36 tok/s έναντι vLLM στο gpt-oss-120b.
Whisper και Parakeet σε DGX Spark: ομιλία σε κείμενο, Νοέμ. 2026
Μετατροπή ομιλίας σε κείμενο σε DGX Spark, Νοέμβριος 2026: Parakeet TDT 0,6B v3 στο 283x του πραγματικού χρόνου σε GB10, Whisper large-v3 στο 19 έως 25x, με WER από το Open ASR Leaderboard.
TensorRT-LLM σε DGX Spark: trtllm-serve, NVFP4, tok/s (2026)
TensorRT-LLM σε DGX Spark, Νοέμβριος 2026: το container 1.3.0rc13 της NVIDIA, trtllm-serve με NVFP4, 38,65 tok/s στο Llama 3.1 8B, και πότε αξίζει η ρύθμιση.
Παραγωγή βίντεο σε DGX Spark: δευτερόλεπτα ανά κλιπ, Νοέμβριος 2026
Παραγωγή βίντεο σε DGX Spark, Νοέμβριος 2026: κλιπ 5 δευτερολέπτων LTX-2.5 σε περίπου 70 s, Wan 2.2 5B 720p σε 14 λεπτά, και γιατί μια RTX 5090 είναι 2,4 έως 5,5x ταχύτερη.
Απόδοση και benchmarks
Μετρημένη και αναφερόμενη ταχύτητα: χρήστες ανά Spark, εύρος ζώνης μνήμης, CPU, υπολογιστική ισχύς, μορφές quantization και πώς αντέχει κάθε μηχάνημα GB10 υπό φορτίο.
Πόσους χρήστες εξυπηρετεί ένα DGX Spark; Δεδομένα ταυτοχρονισμού
Πόσους χρήστες εξυπηρετεί ένα DGX Spark, Νοέμβριος 2026: tok/s ανά χρήστη με 1 έως 256 αιτήματα, περίπου 52 ροές συνομιλίας στα 15 tok/s σε MoE με 3B ενεργές, και μέγεθος ομάδας.
Απόδοση CPU του DGX Spark: benchmarks GB10 έναντι x86 και M5
Απόδοση CPU του DGX Spark, Νοέμβριος 2026: το GB10 σκοράρει 3.123 single και 19.708 multi στο Geekbench 6 και 675 GFLOPS στο HPL, έναντι Ryzen AI Max+ 395 και M5 Max.
Μετρημένο εύρος ζώνης μνήμης DGX Spark: 273 GB/s έναντι πραγματικού
Μετρημένο εύρος ζώνης μνήμης DGX Spark, Νοέμβριος 2026: 234 έως 247 GB/s στο clpeak, 200 έως 213 GB/s στο STREAM triad, 38 GB/s ανά πυρήνα CPU, και αποκωδικοποίηση στο 73 έως 87%.
Ταχύτητα quantization στο DGX Spark: NVFP4 έναντι FP8 έναντι AWQ έναντι GGUF
Ταχύτερο quantization σε DGX Spark, Νοέμβριος 2026: ένα μοντέλο στα 31 tok/s σε BF16, 50 έως 55 σε FP8, 65 έως 66 σε NVFP4, 81 σε AWQ, και πότε το NVFP4 μένει πίσω.
Μετρημένα TFLOPS του DGX Spark: 1 PFLOP FP4 έναντι πραγματικού matmul
Μετρημένα TFLOPS του DGX Spark, Νοέμβριος 2026: 973 έως 1.022 FP4 με αραιότητα σε microbenchmark, 356 σε CUTLASS GEMM, 77 έως 99 BF16 σε διαρκή λειτουργία, και τι χρησιμοποιεί το prefill.
Θερμικός περιορισμός GB10: διαρκής ταχύτητα ανά OEM (2026)
Θερμικός περιορισμός GB10 ανά κατασκευαστή: πέντε κουτιά OEM έμειναν εντός 2,6% στο prefill του vLLM ενώ οι μέγιστες θερμοκρασίες CPU ήταν 74.7 έως 90 °C. Ο πραγματικός κίνδυνος είναι το firmware.
Clusters και κλιμάκωση
Δύο Spark, ένας στόλος, πολλά μοντέλα σε ένα μηχάνημα, και κοινή χρήση με μια ομάδα.
Cluster DGX Spark: δύο Spark, ρύθμιση, όρια και tok/s
Δύο DGX Spark δίνουν 256 GB και, με tensor parallelism, ταχύτερη αποκωδικοποίηση: 1,75× μετρημένο στο Qwen3-32B, έως περίπου 1,8× αναφερόμενο. Καλώδια, ονόματα θυρών, ρύθμιση, μοντέλα που χρειάζονται δύο Spark.
Κλιμάκωση από ένα DGX Spark σε στόλο
Πότε η ενοικίαση περισσότερων μεμονωμένων Spark υπερέχει ενός cluster δύο κόμβων, πώς να κάνετε εξισορρόπηση φορτίου σε ανεξάρτητους κόμβους, και οι λειτουργικοί συμβιβασμοί ενός μικρού στόλου.
Διαχείριση μνήμης GPU για πολλά μοντέλα σε ένα Spark
Κατανείμετε τα 128 GB ενοποιημένης μνήμης σε πολλά μοντέλα ή containers σε ένα DGX Spark, και μάθετε πότε να περάσετε σε cluster δύο κόμβων ή σε δεύτερο κόμβο.
Παρακολούθηση αξιοποίησης GPU και σωστό μέγεθος της εγκατάστασής σας
Πώς να διαβάσετε την πραγματική αξιοποίηση GPU και μνήμης σε ένα νοικιασμένο DGX Spark και να τη χρησιμοποιήσετε για να αποφασίσετε αν θα μείνετε ως έχετε, θα κλιμακωθείτε σε cluster δύο κόμβων ή θα επεκταθείτε σε στόλο.
Εκτέλεση πολλών containers και υπηρεσιών σε DGX Spark
Μοτίβα containers Docker για ένα μόνο DGX Spark: πότε αρκεί ένα απλό αρχείο docker-compose και πότε ο φόρτος εργασίας το έχει ξεπεράσει.
Ενημέρωση ή αλλαγή μοντέλων χωρίς διακοπή λειτουργίας
Ένα DGX Spark είναι ένα μόνο μηχάνημα, οπότε οι ενημερώσεις μοντέλων χωρίς καθόλου διακοπή λειτουργίας χρειάζονται ένα δεύτερο Spark για τη μετάβαση. Δείτε τι περιλαμβάνει αυτή η ρύθμιση, και την ειλικρινή εναλλακτική αν δέχεστε ένα σύντομο παράθυρο επανεκκίνησης.
Πρόσβαση ομάδας και πολλών χρηστών σε ένα κοινόχρηστο DGX Spark
Μοτίβα για κοινή χρήση ενός νοικιασμένου DGX Spark από μια ομάδα: ξεχωριστοί χρήστες Linux με τα δικά τους κλειδιά SSH, ή μια πύλη μπροστά ώστε οι περισσότεροι να μη χρειάζονται ποτέ shell.
Cluster DGX Spark με 4 ή 8 κόμβους: switch, ρύθμιση, tok/s
Clusters DGX Spark 4 και 8 κόμβων: υποστήριξη NVIDIA από 22 Οκτ. 2026, switch και καλώδια, ρύθμιση NCCL, 52,6 tok/s σε 8 κόμβους, και κόστος έναντι 8x B200.
Kimi K3 και DeepSeek V4 σε clusters DGX Spark: 1 έως 8 κόμβοι
Πόσα DGX Spark χρειάζονται τα Kimi K3, DeepSeek V4, GLM-5.3 και MiniMax M3; Υπολογισμοί μνήμης για 1 έως 8 κόμβους και αναφερόμενες ταχύτητες έως 132 tok/s σε 4 Spark.
Λειτουργίες
Παρακολούθηση, αντίγραφα ασφαλείας, ασφάλεια και έλεγχος πρόσβασης για μια αυτοφιλοξενούμενη εγκατάσταση.
Παρακολούθηση και παρατηρησιμότητα για ένα αυτοφιλοξενούμενο LLM
Τι να παρακολουθείτε σε ένα μεμονωμένο DGX Spark που εκτελεί ένα LLM, και ποια εργαλεία ανοιχτού κώδικα κάνουν τη δουλειά, από το nvidia-smi έως μια στοίβα Prometheus και Grafana. Το GPUwerk παρέχει πρόσβαση μέσω κονσόλας και API, όχι προϊόν παρακολούθησης.
Αντίγραφα ασφαλείας και ανάκαμψη από καταστροφή για τον φόρτο εργασίας του DGX Spark σας
Το GPUwerk δεν κρατά αντίγραφο του χώρου εργασίας ενός νοικιασμένου DGX Spark. Τι να έχει αντίγραφο ασφαλείας, πού να το στέλνετε και πόσο συχνά να το συγχρονίζετε.
Δοκιμή του σχεδίου ανάκαμψης από καταστροφή για ένα αυτοφιλοξενούμενο LLM
Ένα αντίγραφο ασφαλείας από το οποίο δεν έχετε κάνει επαναφορά είναι απλώς υπόθεση. Ασκήσεις επαναφοράς, game days και μέτρηση RTO/RPO για ένα αυτοφιλοξενούμενο LLM σε νοικιασμένο υλικό GPU.
Θωράκιση ασφαλείας ενός νοικιασμένου instance GPU
Πρακτική θωράκιση μέσα στο instance για μια νοικιασμένη GPU: διαχείριση κλειδιών SSH, έκθεση στο δίκτυο, εκτέλεση υπηρεσιών χωρίς root, μυστικά, και εφήμερη έναντι μόνιμης κατάστασης.
Βέλτιστες πρακτικές εναλλαγής κλειδιών API για μια ιδιωτική εγκατάσταση LLM
Εναλλαγή κλειδιών API και διαπιστευτηρίων για ένα αυτοφιλοξενούμενο endpoint inference: εύρος, χρονοδιαγράμματα εναλλαγής, ανάκληση, και τι να αυτοματοποιήσετε έναντι του τι να κάνετε χειροκίνητα.
Περιορισμός ρυθμού και ποσοστώσεις για μια εσωτερική εγκατάσταση LLM
Ένα σκέτο DGX Spark δεν έχει περιορισμό ρυθμού ανά χρήστη. Προσθέστε τον εσείς με τα όρια rpm/tpm ανά κλειδί και τους προϋπολογισμούς του LiteLLM, ή με έναν reverse proxy μπροστά.
Καταγραφή ελέγχου (audit logging) για μια αυτοφιλοξενούμενη εγκατάσταση LLM με απαιτήσεις συμμόρφωσης
Ρυθμίστε logs ελέγχου αιτημάτων και απαντήσεων στο δικό σας container σε ένα νοικιασμένο DGX Spark: τι να καταγράφετε, πού να το αποθηκεύετε, και πού τελειώνει η δουλειά του GPUwerk.
Ρύθμιση SSO και ελέγχου πρόσβασης για εγκατάσταση LLM ομάδας
Τοποθέτηση ενός επιπέδου ταυτοποίησης μπροστά από ένα αυτοφιλοξενούμενο endpoint inference ώστε μια ομάδα να συνδέεται με υπάρχουσες ταυτότητες αντί να μοιράζεται κλειδιά SSH ή tokens API.
Στρατηγική εκδόσεων μοντέλων και επαναφοράς για μια αυτοφιλοξενούμενη εγκατάσταση
Παρακολούθηση του ποια βάρη και διαμορφώσεις μοντέλων εκτελούνται πραγματικά, και καθαρή επαναφορά όταν μια νέα έκδοση υστερεί, σε μια αυτοφιλοξενούμενη εγκατάσταση DGX Spark.
Για το πώς συγκρίνεται το Spark με άλλα μηχανήματα, δείτε τις συγκρίσεις. Για το ίδιο το υλικό, δείτε τη σελίδα προδιαγραφών.