DGX Spark/Ceļveži
Ceļveži

DGX Spark ceļveži

Autors: Samuel Seidel · Atjaunināts 2026. gada 7. novembrī

Sešdesmit pieci ceļveži par DGX Spark iegādi, darbināšanu un ekspluatāciju no GPUwerk, kas tos iznomā. Tie ir sagrupēti piecās sadaļās: Spark iegāde un darbināšana, modeļi un inferences dzinēji, veiktspēja un etalontesti, klasteri un mērogošana un darbība. Katrā kartītē redzams ceļveža kopsavilkums.

Spark iegāde un darbināšana

Pirms iegādes, pēc tam barošana, troksnis, iestatīšana, atjauninājumi, krātuve un darbības izmaksas.

Kas jāzina pirms DGX Spark iegādes

Godīgs DGX Spark pirkšanas ceļvedis no uzņēmuma, kas tos iznomā: reāli etalontesti, 273 GB/s joslas platuma maksimums, ES tirgus cenas un pirkt vai nomāt.

DGX Spark enerģijas patēriņš un darbības izmaksas

DGX Spark enerģijas patēriņš, izmērīts: 22-45 W dīkstāvē, 60-90 W LLM inferences laikā, aptuveni 160-200 W pilnā slodzē, salīdzinājumā ar 240 W barošanas bloku. Mēneša izmaksas pie ES elektroenerģijas cenām.

DGX Spark troksnis: 29 dB pilnā slodzē, 13 dB dīkstāvē

NVIDIA deklarē DGX Spark trokšņa līmeni 35 dB LWA un 29 dB LpA pie maksimālās slodzes, 19 un 13 dB dīkstāvē (ECMA-109). Recenzentu mērījumi, dzesēšana un novietojums.

DGX Spark iestatīšanas ceļvedis: no pirmās palaišanas līdz apkalpotam modelim vienā vakarā

DGX Spark ātrais sākums no cilvēka, kurš tos ikdienā montē statnēs: DGX OS pirmā palaišana, SSH tikai ar atslēgu, apkalpošanas steka izvēle un pirmā modeļa nodošana jūsu rīkiem vienā vakarā.

DGX Spark draiveru un programmaparatūras atjauninājumi: ko pārvalda GPUwerk

Ko GPUwerk uztur aktuālu resursdatora un mezgla līmenī nomātā DGX Spark un kas atrodas jūsu pašu root konteinerā un paliek pilnībā jūsu atbildībā.

DGX Spark krātuve: kas saglabājas un ko dublēt

1 TB NVMe nomātā DGX Spark, tieši tas, kas saglabājas pēc apturēšanas un kas pēc izbeigšanas, un kāpēc ir svarīgi veidot savu dublējumu, jo GPUwerk to nedara.

Aukstais starts vs. nepārtraukta darbība: instances darbības laika modeļa izvēle

DGX Spark apturēšana starp lietošanas reizēm salīdzinājumā ar darbināšanu visu diennakti: izmaksas, latentums un datu kompromisi, un kā izlemt, kurš modelis atbilst faktiskajam lietojumam.

Esoša pašmitināta MI izvietojuma migrācija uz DGX Spark

Praktisks migrācijas ceļš no darbstacijas vai cita mākoņa GPU uz nomātu DGX Spark: pārkvantēšana vienotajai atmiņai, datu pārvietošana un pārslēgšanās plāns.

MI infrastruktūras izmaksu prognozēšana un budžeta plānošana

Kā novērtēt ikmēneša MI infrastruktūras izdevumus pašmitināšanai salīdzinājumā ar API ar uzskaiti, ar GPUwerk 0,79 $/stundā likmi kā aprēķina piemēru un budžeta kontrolsarakstu.

Kopējās īpašumtiesību izmaksas: GPU noma vs. mākoņa MI API

Mākoņa MI API ar maksu par tokenu, nomāts atsevišķs DGX Spark par 0,79 $/stundā un aparatūras iegāde, salīdzināti, izmantojot tikai šajā vietnē publicētos skaitļus.

DGX Spark 64GB vs. 128GB: ātrums, cena, kas ietilpst

DGX Spark 64GB vs. 128GB, 2026. gada novembris: tas pats GB10 un 273 GB/s, 4 999 $ vs. 6 950 $, aptuveni 54 GiB izmantojami. Ietilpības tabula 8 modeļiem ar kontekstu un kas to pārdod.

DGX Spark iestatīšana bez monitora

DGX Spark iestatīšana bez monitora: Wi-Fi tīklāja process, spark-xxxx.local atrašana, 2026. gada oktobra Wi-Fi Assistant, 512 MB displeja rezerve un cloud-init daudzām iekārtām.

DGX Spark krātuve: 1 TB vs. 4 TB un kur glabāt modeļus

DGX Spark krātuve 1 TB vs. 4 TB: cik no 14 aktuāliem modeļiem ietilpst (gpt-oss-120b aizņem 65,3 GB), viena koplietota Hugging Face kešatmiņa, hf_xet ātrums, USB-C un NFS iespējas.

DGX Spark atkopšanas un DGX OS pārinstalēšanas ceļvedis

DGX Spark atkopšana: salabojiet neizdevušos atjauninājumu bez dzēšanas, izveidojiet dublējumu no live USB, pārinstalējiet ar atkopšanas attēlu 1.155.49 (5,9 GB), OEM attēli un kad izmantot RMA.

DGX Spark programmatūras atjauninājumi: laidienu žurnāls līdz 2026. gada oktobrim

DGX Spark programmatūras atjauninājumi no palaišanas līdz 2026. gada oktobra laidienam: DGX OS 7.6.0, Linux 7.0, draiveris 580.178.04, zināmās problēmas un kā droši atjaunināt.

DGX Spark NVIDIA Sync un attālinātās piekļuves ceļvedis

DGX Spark attālinātā piekļuve ar NVIDIA Sync 0.148.0-153: ko tas instalē, DGX Dashboard 11000. portā, Tailscale, vienkārša SSH konfigurācija un droša API atvēršana.

Modeļi un inferences dzinēji

Kurus modeļus darbināt, ar kuru dzinēju tos apkalpot un kā izmērīt rezultātu.

Labākie modeļi DGX Spark, 2026. gada oktobra izdevums

Labākie modeļi DGX Spark, 2026. gada oktobris: Qwen3.6-35B-A3B NVFP4 ar ziņotiem 86,3 tok/s vienā Spark, DeepSeek-V4-Flash ar aptuveni 44 tok/s divos. Secinājumu tabulas ar avotiem.

llama.cpp vs. vLLM vs. SGLang uz DGX Spark: tok/s un karodziņi

vLLM 60,7 salīdzinājumā ar Ollama 42,1 tok/s ar gpt-oss-120b vienā DGX Spark un 116 līdz 153 vs. 42,5 ar 8 lietotājiem. Kurš dzinējs vienam lietotājam, komandai vai diviem Spark, plus precīzi karodziņi.

Kā palaist jaunizlaistu modeli uz DGX Spark (GB10)

Darbiniet jaunu atvērto svaru modeli uz DGX Spark izlaišanas nedēļā: atmiņas ietilpība, arm64 attēli, NVFP4 vai GGUF, vLLM, SGLang vai llama.cpp, un kad tam vajag divus Spark.

Qwen3 apkalpošana ar vLLM uz DGX Spark

Instalējiet vLLM, apkalpojiet Qwen3-32B-AWQ ar OpenAI saderīgu API, pievienojiet Open WebUI un uzturiet to darbībā ar systemd: kopējams ceļvedis DGX Spark.

Kvantēti vs. pilnas precizitātes modeļi produkcijā

Kā izvēlēties starp kvantētu un pilnas precizitātes modeli produkcijas pašmitinātam izvietojumam: atmiņas ietilpība, kvalitātes risks pēc uzdevuma un kad testēt abus.

Pielāgojiet modeli ar sava uzņēmuma datiem, datiem neizejot ārpus ēkas

Pielāgojiet atvērtu LLM uzņēmuma datiem, tiem neizejot ārpus ēkas: LoRA un QLoRA atmiņas tabulas, 32B piemērs un fine-tuning salīdzinājumā ar RAG.

Iegultņu un vektoru meklēšanas darbināšana uz DGX Spark

Darbiniet iegulšanas modeli un vektoru datubāzi līdzās ģenerēšanas modelim vienā DGX Spark: atmiņas budžets, iegultņu apkalpošana un vektoru krātuves izvēle.

Redzes un multimodālo modeļu darbināšana uz DGX Spark

Kas ir reāli ar DGX Spark 128 GB vienotās atmiņas redzes-valodas modeļiem un attēlu izpratnei, un kāpēc GPUwerk vēl nav publicējis atsevišķus VLM etalontestus.

ComfyUI un Stable Diffusion uz DGX Spark

Darbiniet ComfyUI, FLUX un SDXL uz DGX Spark: iestatīšana uz ARM64, ziņotie attēlu ģenerēšanas laiki katram modelim, vienotās atmiņas konkurence ar LLM un termiskie brīdinājumi.

Strukturēta izvade un funkciju izsaukšana pašmitinātā LLM

JSON režīma strukturētas izvades un rīku/funkciju izsaukumu iestatīšana pašmitinātiem modeļiem ar vLLM un llama.cpp, ieskaitot to, kuri modeļi to atbalsta un kā atkļūdot nepareizi formētus izsaukumus.

Promptu kešošana inferences izmaksu samazināšanai

Kā prefiksu un KV kešatmiņas atkārtota izmantošana samazina atkārtotu skaitļošanu pašmitinātā izvietojumā: kas kvalificējas kešatmiņas trāpījumam, kā tam strukturēt promptus un kur ietaupījums patiešām parādās uz stundu nomātā Spark.

Lielu inferences uzdevumu pakešapstrāde nomātā Spark

Veiciet masveida dokumentu apstrādi un datu kopu marķēšanu nomātā DGX Spark: vLLM caurlaidspējas iestatījumi, uzdevumu izmēra plānošana salīdzinājumā ar stundas likmi un kontrolpunkti.

Modeļa kvalitātes izvērtēšana pirms modeļu maiņas

Atlikti testa komplekti, A/B pieejas un regresijas pārbaudes kandidāta modeļa salīdzināšanai ar pašreizējo pirms pārslēgšanās produkcijā.

Kā GPUwerk veic DGX Spark etalontestus

Ko GPUwerk mēra uz DGX Spark: viena plūsma salīdzinājumā ar vienlaicīgumu, kuri dzinēji un iestatījumi, un kāpēc tiek publicēti neapstrādāti žurnāli, nevis tikai kopsavilkums.

DGX Spark garš konteksts: tok/s no 4k līdz 100k, 2026. gada novembris

DGX Spark veiktspēja ar garu kontekstu, 2026. gada novembris: dekodēšana pie 4k, 50k un 100k sešiem modeļiem, aptuveni 76 s 100k tokenu sākotnējai apstrādei un KV kešatmiņas izmēri pie 128k.

DGX Spark Docker un NGC konteineri: arm64, GPU, compose

DGX Spark Docker ceļvedis, 2026. gada novembris: iepriekš instalēti Docker 29.6.2 un Container Toolkit 1.20, kuriem NGC attēliem ir arm64 versijas, un vLLM compose fails.

LM Studio uz DGX Spark: Linux ARM64, llmster, ātrums (2026)

LM Studio uz DGX Spark, 2026. gada novembris: Linux ARM64 versija ar CUDA 13 llama.cpp dzinēju kopš 2025. gada oktobra, llmster iestatīšana bez saskarnes un ātrums salīdzinājumā ar llama.cpp.

NVIDIA AI Workbench un JupyterLab uz DGX Spark

NVIDIA AI Workbench uz DGX Spark, 2026. gada novembris: laidiens 2026.06.5, arm64 bāzes attēli ar CUDA 13.1, DGX Dashboard JupyterLab un vienkāršs JupyterLab 4.6.6.

NIM uz DGX Spark: kuri NIM darbojas uz GB10, licence, iestatīšana

NVIDIA NIM uz DGX Spark, 2026. gada novembris: aptuveni 20 NIM norāda GB10 atbalstu, bez maksas izstrādei līdz 16 GPU, un produkcijai vajag AI Enterprise licenci.

Ollama uz DGX Spark: iestatīšana, iestatījumi un tok/s

Ollama uz DGX Spark, 2026. gada novembris: arm64 instalēšana, seši svarīgākie iestatījumi, 42 tok/s ar gpt-oss-120b salīdzinājumā ar 59 ar llama.cpp un droša API atvēršana.

PyTorch uz DGX Spark: CUDA 13 aarch64 wheel pakotnes

PyTorch uz DGX Spark, 2026. gada novembris: torch 2.15.0 cu132 vai 2.14.1 cu130 aarch64 wheel pakotnes, viltus sm_121 brīdinājums, NGC 26.10, flash-attn un xformers statuss.

SGLang uz DGX Spark: instalēšana, karodziņi un tok/s

SGLang uz DGX Spark, 2026. gada novembris: v0.5.23 arm64 attēls un pip wheel pakotnes, --mem-fraction-static 0.80 uz GB10 un 52 vs. 36 tok/s salīdzinājumā ar vLLM ar gpt-oss-120b.

Whisper un Parakeet uz DGX Spark: runa uz tekstu, 2026. gada nov.

Runas pārvēršana tekstā uz DGX Spark, 2026. gada novembris: Parakeet TDT 0,6B v3 ar 283x reāllaika ātrumu uz GB10, Whisper large-v3 ar 19 līdz 25x, ar Open ASR Leaderboard WER.

TensorRT-LLM uz DGX Spark: trtllm-serve, NVFP4, tok/s (2026)

TensorRT-LLM uz DGX Spark, 2026. gada novembris: NVIDIA 1.3.0rc13 konteiners, trtllm-serve ar NVFP4, 38,65 tok/s ar Llama 3.1 8B un kad šī konfigurācija atmaksājas.

DGX Spark video ģenerēšana: sekundes uz klipu, 2026. gada novembris

DGX Spark video ģenerēšana, 2026. gada novembris: LTX-2.5 5 sekunžu klipi aptuveni 70 s, Wan 2.2 5B 720p 14 min un kāpēc RTX 5090 ir 2,4 līdz 5,5x ātrāka.

Veiktspēja un etalontesti

Izmērītais un ziņotais ātrums: lietotāji uz vienu Spark, atmiņas joslas platums, CPU, skaitļošana, kvantēšanas formāti un kā katra GB10 iekārta iztur slodzi.

Cik lietotājus var apkalpot DGX Spark? Vienlaicīguma dati

Cik lietotājus apkalpo viens DGX Spark, 2026. gada novembris: tok/s uz lietotāju pie 1 līdz 256 pieprasījumiem, aptuveni 52 tērzēšanas plūsmas ar 15 tok/s uz 3B aktīvo MoE un komandas izmēra plānošana.

DGX Spark CPU veiktspēja: GB10 etalontesti vs. x86 un M5

DGX Spark CPU veiktspēja, 2026. gada novembris: GB10 iegūst 3123 viena kodola un 19 708 vairāku kodolu punktus Geekbench 6 un 675 GFLOPS HPL testā, salīdzinot ar Ryzen AI Max+ 395 un M5 Max.

DGX Spark atmiņas joslas platums izmērīts: 273 GB/s vs. realitāte

DGX Spark atmiņas joslas platums izmērīts, 2026. gada novembris: 234 līdz 247 GB/s ar clpeak, 200 līdz 213 GB/s STREAM triad, 38 GB/s uz CPU kodolu un dekodēšana 73 līdz 87% apmērā.

DGX Spark kvantēšanas ātrums: NVFP4 vs. FP8 vs. AWQ vs. GGUF

Ātrākā kvantēšana DGX Spark, 2026. gada novembris: viens modelis ar 31 tok/s BF16, 50 līdz 55 FP8, 65 līdz 66 NVFP4, 81 AWQ, un kad NVFP4 atpaliek.

DGX Spark TFLOPS izmērīti: 1 PFLOP FP4 vs. reāls matmul

DGX Spark TFLOPS izmērīti, 2026. gada novembris: 973 līdz 1022 FP4 ar retināšanu mikroetalontestā, 356 CUTLASS GEMM, 77 līdz 99 BF16 ilgstoši un ko izmanto sākotnējā apstrāde.

GB10 termiskā drosele: ilgstošs ātrums pēc OEM (2026)

GB10 termiskā drosele pēc ražotāja: piecas OEM iekārtas vLLM sākotnējā apstrādē palika 2,6% robežās, kamēr CPU maksimālā temperatūra bija 74,7 līdz 90 °C. Patiesais risks ir programmaparatūra.

Klasteri un mērogošana

Divi Spark, flote, vairāki modeļi vienā iekārtā un tās koplietošana ar komandu.

DGX Spark klasteris: divi Spark, iestatīšana, ierobežojumi un tok/s

Divi DGX Spark dod 256 GB un ar tenzoru paralēlismu ātrāku dekodēšanu: izmērīti 1,75× ar Qwen3-32B, ziņoti līdz aptuveni 1,8×. Kabeļu daļas, portu nosaukumi, iestatīšana, modeļi, kuriem vajag divus Spark.

Mērogošana no viena DGX Spark līdz flotei

Kad vairāku atsevišķu Spark noma pārspēj divu mezglu klasteri, kā līdzsvarot slodzi starp neatkarīgiem mezgliem un kādi ir nelielas flotes darbības kompromisi.

GPU atmiņas pārvaldība vairākiem modeļiem vienā Spark

Sadaliet 128 GB vienotās atmiņas starp vairākiem modeļiem vai konteineriem vienā DGX Spark un ziniet, kad pāriet uz divu mezglu klasteri vai otru mezglu.

GPU noslodzes uzraudzība un pareiza izvietojuma izmēra izvēle

Kā nolasīt faktisko GPU un atmiņas noslodzi nomātā DGX Spark un izmantot to, lai izlemtu, vai palikt pie esošā, palielināt līdz divu mezglu klasterim vai paplašināt līdz flotei.

Vairāku konteineru un pakalpojumu darbināšana uz DGX Spark

Docker konteineru modeļi vienam DGX Spark: kad pietiek ar vienkāršu docker-compose failu un kad darba slodze tam ir izaugusi pāri.

Modeļu atjaunināšana vai maiņa bez dīkstāves

DGX Spark ir viena iekārta, tāpēc patiesi bezdīkstāves modeļu atjauninājumiem vajag otru Spark, uz kuru pārslēgties. Lūk, ko ietver šāda konfigurācija, un godīga alternatīva, ja esat gatavi pieņemt īsu restartēšanas logu.

Komandas un vairāku lietotāju piekļuve koplietotam DGX Spark

Modeļi viena nomāta DGX Spark koplietošanai komandā: atsevišķi Linux lietotāji ar savām SSH atslēgām vai vārteja priekšā, lai lielākajai daļai cilvēku nekad nevajadzētu čaulu.

DGX Spark klasteris ar 4 vai 8 mezgliem: komutators, iestatīšana, tok/s

DGX Spark klasteri ar 4 un 8 mezgliem: NVIDIA atbalsts kopš 2026. gada 22. oktobra, komutators un kabeļi, NCCL iestatīšana, ziņoti 52,6 tok/s ar 8 mezgliem un izmaksas salīdzinājumā ar 8x B200.

Kimi K3 un DeepSeek V4 DGX Spark klasteros: 1 līdz 8 mezgli

Cik DGX Spark vajag Kimi K3, DeepSeek V4, GLM-5.3 un MiniMax M3? Atmiņas aprēķini 1 līdz 8 mezgliem un ziņotie ātrumi līdz 132 tok/s ar 4 Spark.

Darbība

Uzraudzība, dublēšana, drošība un piekļuves kontrole pašmitinātam izvietojumam.

Pašmitināta LLM uzraudzība un novērojamība

Ko uzraudzīt vienā DGX Spark, kas darbina LLM, un kuri atvērtā koda rīki to paveic, no nvidia-smi līdz Prometheus un Grafana stekam. GPUwerk nodrošina piekļuvi konsolei un API, nevis uzraudzības produktu.

Dublēšana un avārijas atkopšana jūsu DGX Spark darba slodzei

GPUwerk neglabā nomāta DGX Spark darbvietas kopiju. Ko dublēt, kur to sūtīt un cik bieži sinhronizēt.

Avārijas atkopšanas plāna testēšana pašmitinātam LLM

Dublējums, no kura neesat atjaunojuši datus, ir tikai hipotēze. Atjaunošanas mācības, avāriju simulācijas un RTO/RPO mērīšana pašmitinātam LLM uz nomātas GPU aparatūras.

Nomātas GPU instances drošības nostiprināšana

Praktiska nomāta GPU drošības nostiprināšana pašā instancē: SSH atslēgu pārvaldība, tīkla pieejamība no ārpuses, pakalpojumu darbināšana bez root tiesībām, slepenie dati un īslaicīgs stāvoklis pret pastāvīgu.

API atslēgu rotācijas labākā prakse privātam LLM izvietojumam

API atslēgu un akreditācijas datu rotācija pašmitinātam inferences galapunktam: tvērums, rotācijas grafiki, atsaukšana un ko automatizēt, ko darīt manuāli.

Pieprasījumu ierobežošana un kvotas iekšējam LLM izvietojumam

Tīram DGX Spark nav pieprasījumu ierobežošanas katram lietotājam. Pievienojiet to paši ar LiteLLM rpm/tpm ierobežojumiem un budžetiem katrai atslēgai vai ar reverso starpniekserveri priekšā.

Audita žurnalēšana atbilstības ziņā jutīgam pašmitinātam LLM izvietojumam

Iestatiet pieprasījumu un atbilžu audita žurnālus savā konteinerā nomātā DGX Spark: ko fiksēt, kur glabāt un kur beidzas GPUwerk atbildība.

SSO un piekļuves kontroles iestatīšana komandas LLM izvietojumam

Autentifikācijas slāņa novietošana pirms pašmitināta inferences galapunkta, lai komanda pieteiktos ar esošām identitātēm, nevis koplietotu SSH atslēgas vai API pilnvaras.

Modeļu versiju pārvaldības un atgriešanas stratēģija pašmitinātam izvietojumam

Izsekošana, kuri modeļu svari un konfigurācijas patiešām darbojas, un tīra atgriešana, ja jauna versija nedarbojas pietiekami labi, pašmitinātā DGX Spark izvietojumā.

Kā Spark salīdzināms ar citām iekārtām, skatiet salīdzinājumos. Par pašu aparatūru skatiet specifikāciju lapu.

Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā

Izmēģiniet ceļvedi īstā Spark par 0,79 $/stundā.

Nomājiet visu DGX Spark iekārtu tikai sev Eiropā, Ziemeļamerikā vai Austrumāzijā un sekojiet līdzi. Maksa par katru minūti no priekšapmaksas kredīta.

Izveidot kontu Skatīt cenas