Ghiduri DGX Spark
Șaizeci și cinci de ghiduri despre cumpărarea, rularea și operarea unui DGX Spark, de la GPUwerk, care le închiriază. Sunt grupate în cinci secțiuni: cumpărarea și rularea unui Spark, modele și motoare de inferență, performanță și benchmark-uri, clustere și scalare și operațiuni. Fiecare card arată rezumatul propriu al ghidului.
Cumpărarea și rularea unui Spark
Înainte de cumpărare, apoi alimentare, zgomot, configurare, actualizări, stocare și costuri de funcționare.
Ce trebuie să știți înainte de a cumpăra un DGX Spark
Un ghid de cumpărare DGX Spark onest, de la o companie care le închiriază: benchmark-uri reale, plafonul de lățime de bandă de 273 GB/s, prețuri reale din UE și cumpărare vs închiriere.
Consumul de energie și costul de funcționare al DGX Spark
Consumul DGX Spark, măsurat: 22-45 W în repaus, 60-90 W în timpul inferenței LLM, aproximativ 160-200 W la sarcină maximă, față de o sursă de 240 W. Costul lunar la prețurile UE ale electricității.
Zgomotul DGX Spark: 29 dB la sarcină maximă, 13 dB în repaus
NVIDIA declară pentru DGX Spark 35 dB LWA și 29 dB LpA la sarcină maximă, 19 și 13 dB în repaus (ECMA-109). Măsurătorile recenzenților, răcirea și amplasarea.
Ghid de configurare DGX Spark: de la prima pornire la un model servit într-o seară
Un ghid rapid DGX Spark de la cineva care le montează în rack zilnic: prima pornire DGX OS, SSH doar cu cheie, alegerea stack-ului de servire și servirea primului model către instrumentele dvs. într-o singură seară.
Actualizări de driver și firmware DGX Spark: ce gestionează GPUwerk
Ce ține GPUwerk la zi la nivel de gazdă și nod pe un DGX Spark închiriat și ce se află în propriul container root și rămâne în întregime responsabilitatea dvs.
Stocare DGX Spark: ce este persistent și ce trebuie salvat
NVMe-ul de 1 TB de pe un DGX Spark închiriat, exact ce rezistă la o oprire față de o terminare și de ce contează propriul backup, din moment ce GPUwerk nu păstrează niciunul.
Pornire la rece vs pornit permanent: alegerea unui tipar de funcționare a instanței
Oprirea unui DGX Spark între utilizări vs menținerea lui pornit non-stop: compromisurile de cost, latență și date și cum decideți ce tipar se potrivește utilizării reale.
Migrarea unui sistem AI existent, găzduit de dvs., pe un DGX Spark
O cale practică de migrare de la o stație de lucru sau alt GPU în cloud la un DGX Spark închiriat: recuantizare pentru memoria unificată, mutarea datelor și un plan de comutare.
Prognoza costurilor și bugetarea infrastructurii AI
Cum să estimați cheltuielile lunare cu infrastructura AI pentru găzduirea proprie vs un API contorizat, cu tariful GPUwerk de 0,79 $/oră ca exemplu calculat și o listă de verificare pentru buget.
Costul total de deținere: închiriere GPU vs un API AI în cloud
Un API AI în cloud plătit per token, un DGX Spark dedicat închiriat la 0,79 $/oră și cumpărarea directă de hardware, comparate folosind doar cifre publicate pe acest site.
DGX Spark 64GB vs 128GB: viteză, preț, ce încape
DGX Spark 64GB vs 128GB, noiembrie 2026: același GB10 și 273 GB/s, 4.999 $ vs 6.950 $, aproximativ 54 GiB utilizabili. Tabel de potrivire pentru 8 modele cu context și cine îl vinde.
Configurare DGX Spark fără monitor
Configurare DGX Spark fără monitor: fluxul prin hotspot Wi-Fi, găsirea spark-xxxx.local, Wi-Fi Assistant din octombrie 2026, rezerva de 512 MB pentru afișaj și cloud-init pentru multe unități.
Stocare DGX Spark: 1 TB vs 4 TB și unde să țineți modelele
Stocare DGX Spark 1 TB vs 4 TB: câte dintre 14 modele actuale încap (gpt-oss-120b are 65,3 GB), un cache Hugging Face partajat, viteza hf_xet, opțiuni USB-C și NFS.
Ghid de recuperare DGX Spark și reinstalare DGX OS
Recuperarea DGX Spark: reparați o actualizare eșuată fără ștergere, faceți backup de pe un live USB, reinstalați cu imaginea de recuperare 1.155.49 (5,9 GB), imagini OEM și când să cereți RMA.
Actualizări software DGX Spark: jurnal de versiuni până în octombrie 2026
Actualizările software DGX Spark de la lansare până la versiunea din octombrie 2026: DGX OS 7.6.0, Linux 7.0, driverul 580.178.04, problemele cunoscute și cum actualizați în siguranță.
Ghid NVIDIA Sync și acces la distanță pentru DGX Spark
Acces la distanță la DGX Spark cu NVIDIA Sync 0.148.0-153: ce instalează, DGX Dashboard pe portul 11000, Tailscale, o configurație SSH simplă și expunerea sigură a API-ului.
Modele și motoare de inferență
Ce modele să rulați, cu ce motor să le serviți și cum să măsurați rezultatul.
Cele mai bune modele pentru DGX Spark, ediția octombrie 2026
Cele mai bune modele pentru DGX Spark, octombrie 2026: Qwen3.6-35B-A3B NVFP4 raportat la 86,3 tok/s pe un Spark, DeepSeek-V4-Flash la aproximativ 44 tok/s pe două. Tabele de verdict cu surse.
llama.cpp vs vLLM vs SGLang pe DGX Spark: tok/s și flaguri
vLLM 60,7 vs Ollama 42,1 tok/s pentru gpt-oss-120b pe un DGX Spark și 116 până la 153 vs 42,5 la 8 utilizatori. Ce motor pentru un utilizator, o echipă sau două Spark-uri, plus flagurile exacte.
Cum rulați un model nou lansat pe un DGX Spark (GB10)
Rulați un model open-weight nou pe un DGX Spark în săptămâna lansării: necesarul de memorie, imagini arm64, NVFP4 sau GGUF, vLLM, SGLang sau llama.cpp și când are nevoie de două Spark-uri.
Serviți Qwen3 cu vLLM pe un DGX Spark
Instalați vLLM, serviți Qwen3-32B-AWQ cu un API compatibil OpenAI, conectați Open WebUI și mențineți-l pornit cu systemd: un ghid copy-paste pentru DGX Spark.
Modele cuantizate vs cu precizie completă în producție
Cuantizat sau precizie completă într-un sistem de producție găzduit de dvs.: necesarul de memorie, riscul de calitate pe tip de sarcină și când le testați pe amândouă.
Faceți fine-tuning unui model pe datele companiei, fără ca datele să părăsească clădirea
Fine-tuning pentru un LLM deschis pe datele companiei, fără ca acestea să părăsească clădirea: tabele de memorie LoRA și QLoRA, un exemplu calculat pentru 32B și fine-tuning vs RAG.
Rularea embeddings și a căutării vectoriale pe un DGX Spark
Rulați un model de embedding și o bază de date vectorială lângă modelul de generare pe un singur DGX Spark: bugetarea memoriei, servirea embeddings și alegerea unei baze vectoriale.
Rularea modelelor de viziune computerizată și multimodale pe un DGX Spark
Ce este plauzibil pe cei 128 GB de memorie unificată ai unui DGX Spark pentru modele vision-language și înțelegerea imaginilor și de ce GPUwerk nu a publicat încă benchmark-uri VLM dedicate.
ComfyUI și Stable Diffusion pe un DGX Spark
Rulați ComfyUI, FLUX și SDXL pe un DGX Spark: configurare pe ARM64, timpi raportați per imagine și model, concurența pe memoria unificată cu LLM-urile și avertismente termice.
Ieșire structurată și apeluri de funcții pe un LLM găzduit de dvs.
Configurarea ieșirii structurate în mod JSON și a apelurilor de instrumente/funcții pe modele găzduite de dvs. cu vLLM și llama.cpp, inclusiv ce modele le suportă și cum depanați apelurile malformate.
Caching de prompturi pentru a reduce costul inferenței
Cum reduce reutilizarea cache-ului de prefix și KV calculul repetat pe un sistem găzduit de dvs.: ce se califică drept cache hit, cum să structurați prompturile pentru asta și unde apar de fapt economiile pe un Spark închiriat la oră.
Procesarea în lot a joburilor mari de inferență pe un Spark închiriat
Rulați procesarea de documente în masă și etichetarea seturilor de date pe un DGX Spark închiriat: setări de debit vLLM, dimensionarea joburilor față de tariful orar și checkpointuri.
Evaluarea calității modelului înainte de a schimba modelul
Seturi de test rezervate, abordări A/B și verificări de regresie pentru a compara un model candidat cu cel actual înainte de a-l schimba în producție.
Cum face GPUwerk benchmark-urile pentru DGX Spark
Ce măsoară GPUwerk pe un DGX Spark: un singur flux față de concurență, ce motoare și setări și de ce se publică logurile brute, nu doar un rezumat.
DGX Spark pe context lung: tok/s de la 4k la 100k, noiembrie 2026
Performanța DGX Spark pe context lung, noiembrie 2026: decodare la 4k, 50k și 100k pentru șase modele, aproximativ 76 s pentru prefill-ul a 100k tokeni și dimensiunile cache-ului KV la 128k.
Containere Docker și NGC pe DGX Spark: arm64, GPU, compose
Ghid Docker pentru DGX Spark, noiembrie 2026: Docker 29.6.2 și Container Toolkit 1.20 preinstalate, ce imagini NGC au build-uri arm64 și un fișier compose pentru vLLM.
LM Studio pe DGX Spark: Linux ARM64, llmster, viteză (2026)
LM Studio pe un DGX Spark, noiembrie 2026: un build Linux ARM64 cu motor llama.cpp pe CUDA 13 din octombrie 2025, configurarea headless llmster și viteza față de llama.cpp.
NVIDIA AI Workbench și JupyterLab pe DGX Spark
NVIDIA AI Workbench pe DGX Spark, noiembrie 2026: versiunea 2026.06.5, imagini de bază arm64 cu CUDA 13.1, JupyterLab din DGX Dashboard și JupyterLab 4.6.6 simplu.
NIM pe DGX Spark: ce NIM-uri rulează pe GB10, licență, configurare
NVIDIA NIM pe DGX Spark, noiembrie 2026: aproximativ 20 de NIM-uri listează suport GB10, gratuit pentru dezvoltare pe până la 16 GPU-uri, iar producția necesită o licență AI Enterprise.
Ollama pe DGX Spark: configurare, setări și tok/s
Ollama pe un DGX Spark, noiembrie 2026: instalare arm64, cele șase setări care contează, 42 tok/s pe gpt-oss-120b față de 59 pentru llama.cpp și expunerea sigură a API-ului.
PyTorch pe DGX Spark: wheels aarch64 pentru CUDA 13
PyTorch pe un DGX Spark, noiembrie 2026: wheels aarch64 torch 2.15.0 cu132 sau 2.14.1 cu130, avertismentul fals pentru sm_121, NGC 26.10, starea flash-attn și xformers.
SGLang pe DGX Spark: instalare, flaguri și tok/s
SGLang pe un DGX Spark, noiembrie 2026: imaginea arm64 v0.5.23 și wheels pip, --mem-fraction-static 0.80 pe GB10 și 52 vs 36 tok/s față de vLLM pe gpt-oss-120b.
Whisper și Parakeet pe DGX Spark: speech-to-text, nov. 2026
Speech-to-text pe un DGX Spark, noiembrie 2026: Parakeet TDT 0.6B v3 la 283x timp real pe GB10, Whisper large-v3 la 19 până la 25x, cu WER din Open ASR Leaderboard.
TensorRT-LLM pe DGX Spark: trtllm-serve, NVFP4, tok/s (2026)
TensorRT-LLM pe un DGX Spark, noiembrie 2026: containerul NVIDIA 1.3.0rc13, trtllm-serve cu NVFP4, 38,65 tok/s pe Llama 3.1 8B și când merită configurarea.
Generare video pe DGX Spark: secunde per clip, noiembrie 2026
Generare video pe DGX Spark, noiembrie 2026: clipuri LTX-2.5 de 5 secunde în aproximativ 70 s, Wan 2.2 5B 720p în 14 min și de ce un RTX 5090 rulează de 2,4 până la 5,5x mai repede.
Performanță și benchmark-uri
Viteze măsurate și raportate: utilizatori per Spark, lățimea de bandă a memoriei, CPU, putere de calcul, formate de cuantizare și cum se comportă fiecare mașină GB10 sub sarcină.
Câți utilizatori poate servi un DGX Spark? Date de concurență
Câți utilizatori servește un DGX Spark, noiembrie 2026: tok/s per utilizator la 1 până la 256 de cereri, aproximativ 52 de fluxuri de chat la 15 tok/s pe un MoE cu 3B activi și dimensionarea echipei.
Performanța CPU DGX Spark: benchmark-uri GB10 vs x86 și M5
Performanța CPU DGX Spark, noiembrie 2026: GB10 obține 3.123 single-core și 19.708 multi-core în Geekbench 6 și 675 GFLOPS în HPL, față de Ryzen AI Max+ 395 și M5 Max.
Lățimea de bandă a memoriei DGX Spark măsurată: 273 GB/s vs realitate
Lățimea de bandă a memoriei DGX Spark măsurată, noiembrie 2026: 234 până la 247 GB/s în clpeak, 200 până la 213 GB/s în STREAM triad, 38 GB/s per nucleu CPU și decodare la 73 până la 87%.
Viteza cuantizărilor pe DGX Spark: NVFP4 vs FP8 vs AWQ vs GGUF
Cea mai rapidă cuantizare pe DGX Spark, noiembrie 2026: un model la 31 tok/s în BF16, 50 până la 55 în FP8, 65 până la 66 în NVFP4, 81 în AWQ și când rămâne NVFP4 în urmă.
TFLOPS DGX Spark măsurați: 1 PFLOP FP4 vs matmul real
TFLOPS DGX Spark măsurați, noiembrie 2026: 973 până la 1.022 FP4 sparse într-un microbenchmark, 356 într-un GEMM CUTLASS, 77 până la 99 BF16 susținut și ce folosește prefill-ul.
Throttling termic GB10: viteza susținută pe OEM (2026)
Throttling termic GB10 pe producători: cinci mașini OEM au rămas în limita a 2,6% la prefill vLLM, în timp ce temperaturile CPU de vârf au fost între 74,7 și 90 °C. Firmware-ul este riscul real.
Clustere și scalare
Două Spark-uri, o flotă, mai multe modele pe o singură mașină și partajarea ei cu o echipă.
Cluster DGX Spark: două Spark-uri, configurare, limite și tok/s
Două DGX Spark-uri oferă 256 GB și, cu paralelism tensorial, decodare mai rapidă: 1,75× măsurat pe Qwen3-32B, până la aproximativ 1,8× raportat. Piese de cablare, numele porturilor, configurare, modele care au nevoie de două Spark-uri.
Scalarea de la un DGX Spark la o flotă
Când mai multe Spark-uri individuale bat un cluster cu două noduri, cum distribuiți sarcina între noduri independente și compromisurile operaționale ale unei flote mici.
Gestionarea memoriei GPU pentru mai multe modele pe un Spark
Împărțiți 128 GB de memorie unificată între mai multe modele sau containere pe un singur DGX Spark și aflați când să treceți la un cluster cu două noduri sau la un al doilea nod.
Monitorizarea utilizării GPU și dimensionarea corectă a sistemului dvs.
Cum să citiți utilizarea reală a GPU-ului și a memoriei pe un DGX Spark închiriat și să o folosiți pentru a decide dacă rămâneți așa, treceți la un cluster cu două noduri sau extindeți la o flotă.
Rularea mai multor containere și servicii pe un DGX Spark
Tipare de containere Docker pentru un singur DGX Spark: când un simplu fișier docker-compose este suficient și când workload-ul l-a depășit.
Actualizarea sau schimbarea modelelor fără întrerupere
Un DGX Spark este o singură mașină, așa că actualizările de model cu adevărat fără downtime necesită un al doilea Spark pe care să comutați. Iată ce implică această configurație și alternativa onestă, dacă acceptați totuși o scurtă fereastră de repornire.
Acces pentru echipă și mai mulți utilizatori la un DGX Spark partajat
Cum partajați un DGX Spark închiriat într-o echipă: utilizatori Linux separați, cu chei SSH proprii, sau un gateway în față, ca majoritatea să nu aibă nevoie de shell.
Cluster DGX Spark cu 4 sau 8 noduri: switch, configurare, tok/s
Clustere DGX Spark de 4 și 8 noduri: suport NVIDIA din 22 oct. 2026, switch-ul și cablurile, configurarea NCCL, 52,6 tok/s raportați la 8 noduri și costul față de 8x B200.
Kimi K3 și DeepSeek V4 pe clustere DGX Spark: 1 până la 8 noduri
De câte DGX Spark-uri au nevoie Kimi K3, DeepSeek V4, GLM-5.3 și MiniMax M3? Calculul memoriei pentru 1 până la 8 noduri și viteze raportate de până la 132 tok/s pe 4 Spark-uri.
Operațiuni
Monitorizare, backupuri, securitate și controlul accesului pentru un sistem găzduit de dvs.
Monitorizare și observabilitate pentru un LLM găzduit de dvs.
Ce să urmăriți pe un singur DGX Spark care rulează un LLM și ce instrumente open-source fac treaba, de la nvidia-smi la un stack Prometheus și Grafana. GPUwerk oferă acces prin consolă și API, nu un produs de monitorizare.
Backup și recuperare în caz de dezastru pentru workload-ul de pe DGX Spark
GPUwerk nu păstrează nicio copie a spațiului de lucru al unui DGX Spark închiriat. Ce să salvați, unde să trimiteți backupul și cât de des să sincronizați.
Testarea planului de recuperare în caz de dezastru pentru un LLM găzduit de dvs.
Un backup din care nu ați restaurat niciodată este o ipoteză. Exerciții de restaurare, game days și măsurarea RTO/RPO pentru un LLM găzduit de dvs. pe hardware GPU închiriat.
Întărirea securității unei instanțe GPU închiriate
Întărirea practică a securității în interiorul unei instanțe GPU închiriate: chei SSH, expunerea în rețea, servicii fără root, secrete și stare efemeră vs persistentă.
Bune practici pentru rotația cheilor API într-un LLM privat găzduit de dvs.
Rotația cheilor API și a credențialelor pentru un endpoint de inferență propriu: permisiuni, program de rotație, revocare și ce automatizați față de ce faceți manual.
Limitarea ratei și cote pentru un LLM intern
Un DGX Spark simplu nu are limitare de rată per utilizator. Adăugați-o singur cu limitele rpm/tpm și bugetele per cheie din LiteLLM sau cu un reverse proxy în față.
Jurnalizarea de audit pentru un LLM găzduit de dvs., sensibil la cerințe de conformitate
Configurați loguri de audit pentru cereri și răspunsuri în propriul container pe un DGX Spark închiriat: ce să capturați, unde să stocați și unde se termină treaba GPUwerk.
Configurarea SSO și a controlului accesului pentru un LLM de echipă
Un strat de autentificare în fața unui endpoint de inferență propriu, ca echipa să se conecteze cu identitățile existente, nu cu chei SSH sau tokenuri API partajate.
Strategia de versionare și rollback a modelelor pentru un sistem găzduit de dvs.
Urmărirea ponderilor și configurațiilor de model care rulează efectiv și revenirea curată la versiunea anterioară când una nouă are performanțe slabe, pe un DGX Spark găzduit de dvs.
Pentru cum se compară Spark-ul cu alte mașini, vedeți comparațiile. Pentru hardware-ul în sine, vedeți pagina de specificații.