DGX Sparki juhendid
Kuuskümmend viis juhendit DGX Sparki ostmise, käitamise ja haldamise kohta GPUwerkilt, mis neid välja rendib. Need on rühmitatud viide jaotisse: Sparki ostmine ja käitamine, mudelid ja inferentsimootorid, jõudlus ja võrdlustestid, klastrid ja skaleerimine ning käitus. Iga kaart näitab juhendi enda kokkuvõtet.
Sparki ostmine ja käitamine
Enne ostmist, seejärel toide, müra, seadistamine, uuendused, salvestusruum ja käituskulud.
Mida teada enne DGX Sparki ostmist
Aus DGX Sparki ostujuhend ettevõttelt, mis neid välja rendib: päris võrdlustestid, 273 GB/s ribalaiuse lagi, EL-i jaehinnad ning ostmine vs rentimine.
DGX Sparki energiatarve ja käituskulu
DGX Sparki mõõdetud energiatarve: 22-45 W jõudeolekus, 60-90 W mudeli käitamise ajal, umbes 160-200 W täiskoormusel, toiteplokk 240 W. Kuukulu EL-i elektrihindadega.
DGX Sparki müra: 29 dB täiskoormusel, 13 dB jõudeolekus
NVIDIA deklareerib DGX Sparki müratasemeks maksimaalse koormuse all 35 dB LWA ja 29 dB LpA, jõudeolekus 19 ja 13 dB (ECMA-109). Arvustajate mõõtmised, jahutus ja paigutus.
DGX Sparki seadistusjuhend: esimesest käivitusest serveeritud mudelini ühe õhtuga
DGX Sparki kiirjuhend inimeselt, kes paigaldab neid iga päev räkkidesse: DGX OS-i esimene käivitus, ainult võtmega SSH, serveerimistarkvara valimine ja esimese mudeli serveerimine oma tööriistadele ühe õhtuga.
DGX Sparki draiveri- ja püsivarauuendused: mida GPUwerk haldab
Mida GPUwerk renditud DGX Sparkil hosti ja sõlme tasemel ajakohasena hoiab ning mis on sinu enda root-konteineris ja jääb täielikult sinu vastutusele.
DGX Sparki salvestusruum: mis on püsiv ja mida varundada
1 TB NVMe renditud DGX Sparkil, täpselt mis säilib peatamisel võrreldes lõpetamisega ja miks on oluline hoida oma varukoopiat, kuna GPUwerk seda ei tee.
Külmkäivitus vs pidevalt töös: eksemplari tööaja mustri valimine
DGX Sparki peatamine kasutuskordade vahel vs ööpäevaringselt töös hoidmine: kulu, latentsuse ja andmetega seotud kompromissid ning kuidas otsustada, milline muster tegelikule kasutusele sobib.
Olemasoleva ise majutatud AI-juurutuse üleviimine DGX Sparkile
Praktiline üleminekutee tööjaamast või teisest pilve-GPU-st renditud DGX Sparkile: ümberkvantimine ühismälu jaoks, andmete teisaldamine ja üleminekuplaan.
AI-infrastruktuuri kulude prognoosimine ja eelarvestamine
Kuidas hinnata AI-infrastruktuuri igakuist kulu ise majutamisel vs tarbimispõhise API puhul, GPUwerki hinnaga 0,79 $/tund näidisarvutusena ja eelarvestamise kontrollnimekirjaga.
Omamise kogukulu: GPU-rent vs pilve AI API
Tokenipõhine pilve AI API, renditud dedikeeritud DGX Spark hinnaga 0,79 $/tund ja riistvara otse ostmine, võrreldud ainult sellel saidil avaldatud näitajate põhjal.
DGX Spark 64GB vs 128GB: kiirus, hind, mis mahub
DGX Spark 64GB vs 128GB, november 2026: sama GB10 ja 273 GB/s, 4999 $ vs 6950 $, umbes 54 GiB kasutatav. 8 mudeli mahtumise tabel kontekstiga ja kes seda müüb.
DGX Sparki seadistus ilma monitorita
DGX Sparki seadistus ilma ekraanita: Wi-Fi leviala protsess, spark-xxxx.local leidmine, oktoobri 2026 Wi-Fi Assistant, 512 MB ekraanireserv ja cloud-init paljudele seadmetele.
DGX Sparki salvestusruum: 1 TB vs 4 TB ja kus mudeleid hoida
DGX Sparki salvestusruum 1 TB vs 4 TB: mitu 14 praegusest mudelist mahub (gpt-oss-120b on 65,3 GB), üks jagatud Hugging Face'i vahemälu, hf_xet kiirus, USB-C ja NFS valikud.
DGX Sparki taastamise ja DGX OS-i uuesti paigaldamise juhend
DGX Sparki taastamine: paranda ebaõnnestunud uuendus ilma kustutamata, varunda live-USB-lt, paigalda uuesti taastetõmmisega 1.155.49 (5,9 GB), OEM-tõmmised ja millal teha RMA.
DGX Sparki tarkvarauuendused: väljalasete logi kuni oktoobrini 2026
DGX Sparki tarkvarauuendused turuletulekust oktoobri 2026 väljalaskeni: DGX OS 7.6.0, Linux 7.0, draiver 580.178.04, teadaolevad probleemid ja kuidas turvaliselt uuendada.
DGX Sparki NVIDIA Synci ja kaugjuurdepääsu juhend
DGX Sparki kaugjuurdepääs NVIDIA Sync 0.148.0-153-ga: mida see paigaldab, DGX Dashboard pordil 11000, Tailscale, lihtne SSH-konfiguratsioon ja API turvaline avamine.
Mudelid ja inferentsimootorid
Milliseid mudeleid käitada, millise mootoriga neid serveerida ja kuidas tulemust mõõta.
Parimad mudelid DGX Sparkile, oktoober 2026
Parimad mudelid DGX Sparkile, oktoober 2026: Qwen3.6-35B-A3B NVFP4 teatatud kiirus 86,3 tok/s ühel Sparkil, DeepSeek-V4-Flash umbes 44 tok/s kahel. Hinnangutabelid koos allikatega.
llama.cpp vs vLLM vs SGLang DGX Sparkil: tok/s ja lipud
vLLM 60,7 vs Ollama 42,1 tok/s gpt-oss-120b-l ühel DGX Sparkil ning 116 kuni 153 vs 42,5 8 kasutaja juures. Milline mootor ühele kasutajale, meeskonnale või kahele Sparkile, pluss täpsed lipud.
Kuidas käitada DGX Sparkil (GB10) äsja välja antud mudelit
Käita uut avatud kaaludega mudelit DGX Sparkil väljalaskenädalal: mälu mahtumine, arm64 tõmmised, NVFP4 või GGUF, vLLM, SGLang või llama.cpp ja millal see vajab kahte Sparki.
Serveeri Qwen3 vLLM-iga DGX Sparkil
Paigalda vLLM, serveeri Qwen3-32B-AWQ OpenAI-ga ühilduva API-ga, ühenda Open WebUI ja hoia seda systemd-ga töös: kopeeri-kleebi juhend DGX Sparkile.
Kvantitud vs täistäpsusega mudelid tootmises
Kuidas valida tootmises ise majutatud juurutuse jaoks kvantitud ja täistäpsusega mudeli vahel: mälu mahtumine, kvaliteedirisk ülesande kaupa ja millal testida mõlemat.
Peenhäälesta mudel oma ettevõtte andmetel, ilma et andmed hoonest lahkuksid
Peenhäälesta avatud LLM ettevõtte andmetel ilma, et need hoonest lahkuksid: LoRA ja QLoRA mälutabelid, 32B näidisarvutus ning peenhäälestus vs RAG.
Manuste ja vektorotsingu käitamine DGX Sparkil
Käita manustamismudelit ja vektorandmebaasi oma genereerimismudeli kõrval ühel DGX Sparkil: mälu eelarvestamine, manuste serveerimine ja vektorandmebaasi valimine.
Visiooni- ja multimodaalsete mudelite käitamine DGX Sparkil
Mis on DGX Sparki 128 GB ühismäluga võimalik nägemis-keelemudelite ja pildimõistmise jaoks ning miks GPUwerk pole veel spetsiaalseid VLM-i võrdlusteste avaldanud.
ComfyUI ja Stable Diffusion DGX Sparkil
Käita ComfyUI-d, FLUX-i ja SDXL-i DGX Sparkil: seadistus ARM64-l, teatatud pildiajad mudeli kaupa, ühismälu konkurents LLM-idega ja temperatuuriga seotud hoiatused.
Struktureeritud väljund ja funktsioonikutsed ise majutatud LLM-il
JSON-režiimi struktureeritud väljundi ja tööriista/funktsioonikutsete seadistamine ise majutatud mudelitel vLLM-i ja llama.cpp-ga, sealhulgas millised mudelid seda toetavad ja kuidas vigaseid kutseid siluda.
Päringute vahemällu salvestamine inferentsikulu vähendamiseks
Kuidas prefiksi- ja KV-vahemälu taaskasutus vähendab korduvat arvutust ise majutatud juurutuses: mis kvalifitseerub vahemälu tabamuseks, kuidas päringuid selle jaoks struktureerida ja kus sääst tunnipõhiselt renditud Sparkil tegelikult välja paistab.
Suurte inferentsitööde pakktöötlus renditud Sparkil
Käita dokumentide masstöötlust ja andmestike märgendamist renditud DGX Sparkil: vLLM-i läbilaskevõime seaded, töö suuruse arvestamine tunnihinna suhtes ja kontrollpunktid.
Mudeli kvaliteedi hindamine enne mudelite vahetamist
Kõrvale jäetud testikomplektid, A/B lähenemised ja regressioonikontrollid kandidaatmudeli võrdlemiseks praegusega enne tootmises vahetamist.
Kuidas GPUwerk DGX Sparki võrdlusteste teeb
Mida GPUwerk DGX Sparkil mõõdab: üks voog vs samaaegsus, millised mootorid ja seaded ning miks avaldatakse toorlogid, mitte ainult kokkuvõte.
DGX Sparki pikk kontekst: tok/s 4k kuni 100k, november 2026
DGX Sparki pika konteksti jõudlus, november 2026: dekodeerimine 4k, 50k ja 100k juures kuue mudeli puhul, umbes 76 s 100k tokeni eeltäitmiseks ja KV-vahemälu suurused 128k juures.
DGX Sparki Docker ja NGC konteinerid: arm64, GPU, compose
DGX Sparki Dockeri juhend, november 2026: Docker 29.6.2 ja Container Toolkit 1.20 eelpaigaldatud, millistel NGC tõmmistel on arm64 versioon ja vLLM-i compose-fail.
LM Studio DGX Sparkil: Linux ARM64, llmster, kiirus (2026)
LM Studio DGX Sparkil, november 2026: Linux ARM64 versioon CUDA 13 llama.cpp mootoriga alates oktoobrist 2025, llmsteri seadistus ilma ekraanita ja kiirus vs llama.cpp.
NVIDIA AI Workbench ja JupyterLab DGX Sparkil
NVIDIA AI Workbench DGX Sparkil, november 2026: väljalase 2026.06.5, arm64 baastõmmised CUDA 13.1-ga, DGX Dashboardi JupyterLab ja tavaline JupyterLab 4.6.6.
NIM DGX Sparkil: millised NIM-id töötavad GB10-l, litsents, seadistus
NVIDIA NIM DGX Sparkil, november 2026: umbes 20 NIM-i märgib GB10 toe, arenduseks tasuta kuni 16 GPU-l ning tootmine vajab AI Enterprise'i litsentsi.
Ollama DGX Sparkil: seadistus, seaded ja tok/s
Ollama DGX Sparkil, november 2026: arm64 paigaldus, kuus olulist seadet, gpt-oss-120b-l 42 tok/s vs llama.cpp 59 ja API turvaline avamine.
PyTorch DGX Sparkil: CUDA 13 aarch64 wheel-paketid
PyTorch DGX Sparkil, november 2026: torch 2.15.0 cu132 või 2.14.1 cu130 aarch64 wheel-paketid, vale sm_121 hoiatus, NGC 26.10, flash-attn-i ja xformersi olek.
SGLang DGX Sparkil: paigaldus, lipud ja tok/s
SGLang DGX Sparkil, november 2026: v0.5.23 arm64 tõmmis ja pip wheel-paketid, --mem-fraction-static 0.80 GB10-l ning 52 vs 36 tok/s võrreldes vLLM-iga gpt-oss-120b-l.
Whisper ja Parakeet DGX Sparkil: kõnetuvastus, nov 2026
Kõnetuvastus DGX Sparkil, november 2026: Parakeet TDT 0.6B v3 GB10-l 283x reaalajast kiiremini, Whisper large-v3 19 kuni 25x, koos Open ASR Leaderboardi WER-iga.
TensorRT-LLM DGX Sparkil: trtllm-serve, NVFP4, tok/s (2026)
TensorRT-LLM DGX Sparkil, november 2026: NVIDIA 1.3.0rc13 konteiner, trtllm-serve NVFP4-ga, Llama 3.1 8B-l 38,65 tok/s ja millal seadistus end ära tasub.
DGX Sparki videogenereerimine: sekundit klipi kohta, november 2026
DGX Sparki videogenereerimine, november 2026: LTX-2.5 5-sekundilised klipid umbes 70 s-ga, Wan 2.2 5B 720p 14 minutiga ja miks RTX 5090 on 2,4 kuni 5,5 korda kiirem.
Jõudlus ja võrdlustestid
Mõõdetud ja teatatud kiirus: kasutajad Sparki kohta, mälu ribalaius, protsessor, arvutusvõimsus, kvantimisvormingud ja kuidas iga GB10 masin koormuse all vastu peab.
Mitut kasutajat suudab DGX Spark teenindada? Samaaegsuse andmed
Mitut kasutajat üks DGX Spark teenindab, november 2026: tok/s kasutaja kohta 1 kuni 256 päringu juures, umbes 52 vestlusvoogu kiirusega 15 tok/s 3B aktiivse parameetriga MoE-l ja meeskonna suuruse arvestamine.
DGX Sparki protsessori jõudlus: GB10 testid vs x86 ja M5
DGX Sparki protsessori jõudlus, november 2026: GB10 saab Geekbench 6-s 3123 ühe ja 19 708 mitme tuuma punkti ning HPL-is 675 GFLOPS, võrreldes Ryzen AI Max+ 395 ja M5 Maxiga.
DGX Sparki mälu ribalaius mõõdetud: 273 GB/s vs tegelik
DGX Sparki mälu ribalaius mõõdetud, november 2026: clpeakis 234 kuni 247 GB/s, STREAM triad 200 kuni 213 GB/s, 38 GB/s protsessori tuuma kohta ja dekodeerimine 73 kuni 87%.
DGX Sparki kvantimise kiirus: NVFP4 vs FP8 vs AWQ vs GGUF
Kiireim kvantimine DGX Sparkil, november 2026: üks mudel 31 tok/s BF16-s, 50 kuni 55 FP8-s, 65 kuni 66 NVFP4-s, 81 AWQ-s ja millal NVFP4 maha jääb.
DGX Sparki TFLOPS mõõdetud: 1 PFLOP FP4 vs tegelik matmul
DGX Sparki TFLOPS mõõdetud, november 2026: mikrotestis 973 kuni 1022 hõredat FP4, CUTLASS GEMM-is 356, püsivalt 77 kuni 99 BF16 ja mida eeltäitmine kasutab.
GB10 termiline drosseldamine: püsiv kiirus OEM-i kaupa (2026)
GB10 termiline drosseldamine tootjate kaupa: viis OEM-masinat jäid vLLM-i eeltäitmisel 2,6% piiresse, samal ajal kui protsessori tipptemperatuurid olid 74,7 kuni 90 °C. Tegelik risk on püsivara.
Klastrid ja skaleerimine
Kaks Sparki, park, mitu mudelit ühel masinal ja selle jagamine meeskonnaga.
DGX Sparki klaster: kaks Sparki, seadistus, piirangud ja tok/s
Kaks DGX Sparki annavad 256 GB ja tensorparalleelsusega kiirema dekodeerimise: Qwen3-32B-l mõõdetud 1,75×, teatatud kuni umbes 1,8×. Kaablid, portide nimed, seadistus, mudelid, mis vajavad kahte Sparki.
Skaleerimine ühest DGX Sparkist pargini
Millal on rohkemate üksikute Sparkide rentimine parem kui kahe sõlmega klaster, kuidas sõltumatute sõlmede vahel koormust jaotada ja väikese pargi käitamise kompromissid.
GPU-mälu haldamine mitme mudeli jaoks ühel Sparkil
Jaota 128 GB ühismälu mitme mudeli või konteineri vahel ühel DGX Sparkil ja tea, millal minna üle kahe sõlmega klastrile või teisele sõlmele.
GPU kasutuse jälgimine ja juurutuse õige suuruse valimine
Kuidas lugeda renditud DGX Sparki tegelikku GPU ja mälu kasutust ning selle põhjal otsustada, kas jääda, skaleerida üles kahe sõlmega klastrile või laiendada pargiks.
Mitme konteineri ja teenuse käitamine DGX Sparkil
Dockeri konteinerimustrid ühe DGX Sparki jaoks: millal piisab lihtsast docker-compose failist ja millal on töökoormus sellest välja kasvanud.
Mudelite uuendamine või vahetamine ilma seisakuta
DGX Spark on üksik masin, seega vajavad tõeliselt katkestusteta mudeliuuendused teist Sparki, millele üle minna. Siin on, mida selline seadistus hõlmab, ja aus alternatiiv, kui oled nõus lühikese taaskäivitusaknaga.
Meeskonna ja mitme kasutaja juurdepääs jagatud DGX Sparkile
Mustrid ühe renditud DGX Sparki jagamiseks meeskonnas: eraldi Linuxi kasutajad oma SSH-võtmetega või ette paigutatud lüüs, nii et enamik inimesi ei vaja kunagi shelli.
DGX Sparki klaster 4 või 8 sõlmega: kommutaator, seadistus, tok/s
DGX Sparki klastrid 4 ja 8 sõlmega: NVIDIA tugi alates 22. okt 2026, kommutaator ja kaablid, NCCL-i seadistus, 8 sõlme juures teatatud 52,6 tok/s ja kulu vs 8x B200.
Kimi K3 ja DeepSeek V4 DGX Sparki klastritel: 1 kuni 8 sõlme
Mitu DGX Sparki vajavad Kimi K3, DeepSeek V4, GLM-5,3 ja MiniMax M3? Mäluarvutus 1 kuni 8 sõlme jaoks ja teatatud kiirused kuni 132 tok/s 4 Sparkil.
Käitus
Seire, varukoopiad, turvalisus ja juurdepääsukontroll ise majutatud juurutuse jaoks.
Isehostitud LLM-i seire ja jälgitavus
Mida jälgida ühel LLM-i käitaval DGX Sparkil ja millised avatud lähtekoodiga tööriistad selle tööga hakkama saavad, nvidia-smi-st kuni Prometheuse ja Grafana komplektini. GPUwerk pakub konsooli ja API juurdepääsu, mitte seiretoodet.
Sinu DGX Sparki töökoormuse varundamine ja avariitaaste
GPUwerk ei hoia renditud DGX Sparki tööruumist koopiat. Mida varundada, kuhu see saata ja kui tihti sünkroonida.
Isehostitud LLM-i avariitaasteplaani testimine
Varukoopia, millest sa pole taastanud, on hüpotees. Taastamisharjutused, rikkepäevad ja RTO/RPO mõõtmine ise majutatud LLM-i jaoks renditud GPU riistvaral.
Renditud GPU-eksemplari turvalisuse karastamine
Praktiline eksemplarisisene karastamine renditud GPU jaoks: SSH-võtmete haldamine, võrgu avatus, teenuste käitamine ilma root-õigusteta, saladused ning ajutine vs püsiv olek.
API-võtmete roteerimise parimad tavad privaatse LLM-i juurutuse jaoks
API-võtmete ja volituste roteerimine ise majutatud inferentsi lõpp-punkti jaoks: ulatuse piiramine, roteerimisgraafikud, tühistamine ja mida automatiseerida vs käsitsi teha.
Päringute piiramine ja kvoodid sisemise LLM-i juurutuse jaoks
DGX Sparkil endal ei ole kasutajapõhist päringupiirangut. Lisa see ise LiteLLM-i võtmepõhiste rpm/tpm piirangute ja eelarvetega või ette paigutatud pöördproksiga.
Auditilogimine nõuetele vastavuse suhtes tundliku ise majutatud LLM-i juurutuse jaoks
Seadista päringute ja vastuste auditilogid oma konteineris renditud DGX Sparkil: mida salvestada, kus seda hoida ja kus GPUwerki töö lõpeb.
SSO ja juurdepääsukontrolli seadistamine meeskonna LLM-i juurutuse jaoks
Autentimiskihi paigutamine ise majutatud inferentsi lõpp-punkti ette, et meeskond logiks sisse olemasolevate identiteetidega, selle asemel et jagada SSH-võtmeid või API-tokeneid.
Mudelite versioonimise ja tagasipööramise strateegia ise majutatud juurutuse jaoks
Jälgimine, millised mudeli kaalud ja konfiguratsioonid tegelikult töötavad, ja puhas tagasipööramine, kui uus versioon jääb alla, ise majutatud DGX Sparki juurutuses.
Sparki võrdlust teiste masinatega vaata võrdlustest. Riistvara enda kohta vaata spetsifikatsioonide lehte.