DGX Spark/Vadovai
Vadovai

DGX Spark vadovai

Autorius Samuel Seidel · Atnaujinta 2026 m. lapkričio 7 d.

Šešiasdešimt penki vadovai apie DGX Spark pirkimą, naudojimą ir eksploataciją iš GPUwerk, kuri juos nuomoja. Jie sugrupuoti į penkias dalis: Spark pirkimas ir naudojimas, modeliai ir inferencijos varikliai, našumas ir lyginamieji testai, klasteriai ir mastelio didinimas bei eksploatacija. Kiekvienoje kortelėje pateikta paties vadovo santrauka.

Spark pirkimas ir naudojimas

Prieš perkant, tada maitinimas, triukšmas, sąranka, atnaujinimai, diskas ir eksploatacijos išlaidos.

Ką žinoti prieš perkant DGX Spark

Sąžiningas DGX Spark pirkimo vadovas iš įmonės, kuri juos nuomoja: tikri lyginamieji testai, 273 GB/s pralaidumo riba, ES rinkos kainos ir pirkti ar nuomotis.

DGX Spark energijos suvartojimas ir eksploatacijos kaina

Išmatuotas DGX Spark energijos suvartojimas: 22–45 W ramybėje, 60–90 W LLM inferencijos metu, apie 160–200 W esant visai apkrovai, kai maitinimo šaltinis 240 W. Mėnesio kaina pagal ES elektros kainas.

DGX Spark triukšmas: 29 dB esant visai apkrovai, 13 dB ramybėje

NVIDIA deklaruoja, kad DGX Spark esant didžiausiai apkrovai skleidžia 35 dB LWA ir 29 dB LpA, ramybės būsenoje – 19 ir 13 dB (ECMA-109). Apžvalgininkų matavimai, aušinimas ir vieta.

DGX Spark sąrankos vadovas: nuo pirmojo paleidimo iki veikiančio modelio per vieną vakarą

DGX Spark greitoji pradžia, parengta žmogaus, kuris juos kasdien montuoja į serverių stovus: pirmasis DGX OS paleidimas, SSH tik su raktais, modelių paleidimo programinės įrangos pasirinkimas ir pirmojo modelio paleidimas jūsų įrankiams per vieną vakarą.

DGX Spark tvarkyklių ir programinės aparatinės įrangos atnaujinimai: ką tvarko GPUwerk

Ką GPUwerk atnaujina nuomojamo DGX Spark pagrindinės sistemos ir mazgo lygiu ir kas yra jūsų pačių root konteineryje bei lieka visiškai jūsų atsakomybė.

DGX Spark diskas: kas išlieka ir ką reikia kopijuoti

1 TB NVMe nuomojamame DGX Spark, kas tiksliai išlieka sustabdžius ir nutraukus ir kodėl svarbu turėti savo atsarginę kopiją, nes GPUwerk jos nelaiko.

Šaltas paleidimas vs. nuolatinis veikimas: egzemplioriaus veikimo modelio pasirinkimas

DGX Spark sustabdymas tarp naudojimų vs. nuolatinis veikimas visą parą: kainos, delsos ir duomenų kompromisai bei kaip nuspręsti, kuris modelis atitinka tikrąjį naudojimą.

Esamo savarankiškai talpinamo DI diegimo perkėlimas į DGX Spark

Praktinis perkėlimo iš darbo stoties ar kitos debesijos GPU į nuomojamą DGX Spark kelias: pakartotinis kvantavimas bendrai atminčiai, duomenų perkėlimas ir persijungimo planas.

DI infrastruktūros išlaidų prognozavimas ir biudžeto sudarymas

Kaip įvertinti mėnesio DI infrastruktūros išlaidas talpinant savarankiškai ir naudojant matuojamą API, su GPUwerk 0,79 USD/val. tarifu kaip išspręstu pavyzdžiu ir biudžeto kontroliniu sąrašu.

Bendra nuosavybės kaina: GPU nuoma vs. debesijos DI API

Mokama už tokeną debesijos DI API, nuomojamas dedikuotas DGX Spark už 0,79 USD/val. ir įrangos pirkimas, palyginti naudojant tik šioje svetainėje paskelbtus skaičius.

DGX Spark 64GB vs. 128GB: greitis, kaina, kas telpa

DGX Spark 64GB vs. 128GB, 2026 m. lapkritis: tas pats GB10 ir 273 GB/s, 4 999 USD vs. 6 950 USD, apie 54 GiB naudojamos. 8 modelių tinkamumo lentelė su kontekstu ir kas jį parduoda.

DGX Spark sąranka be monitoriaus

DGX Spark sąranka be ekrano: Wi-Fi viešosios prieigos taško eiga, kaip rasti spark-xxxx.local, 2026 m. spalio Wi-Fi Assistant, 512 MB ekrano rezervas ir cloud-init daugeliui įrenginių.

DGX Spark diskas: 1 TB vs. 4 TB ir kur laikyti modelius

DGX Spark diskas 1 TB vs. 4 TB: kiek iš 14 dabartinių modelių telpa (gpt-oss-120b užima 65,3 GB), vienas bendras Hugging Face podėlis, hf_xet greitis, USB-C ir NFS galimybės.

DGX Spark atkūrimo ir DGX OS perdiegimo vadovas

DGX Spark atkūrimas: kaip pataisyti nepavykusį atnaujinimą neištrinant duomenų, padaryti atsarginę kopiją iš live USB, perdiegti su atkūrimo atvaizdu 1.155.49 (5,9 GB), OEM atvaizdai ir kada kreiptis dėl RMA.

DGX Spark programinės įrangos atnaujinimai: leidimų žurnalas iki 2026 m. spalio

DGX Spark programinės įrangos atnaujinimai nuo pristatymo iki 2026 m. spalio leidimo: DGX OS 7.6.0, Linux 7.0, tvarkyklė 580.178.04, žinomos problemos ir kaip saugiai atnaujinti.

DGX Spark NVIDIA Sync ir nuotolinės prieigos vadovas

DGX Spark nuotolinė prieiga su NVIDIA Sync 0.148.0-153: ką jis įdiegia, DGX Dashboard per 11000 prievadą, Tailscale, paprasta SSH konfigūracija ir saugus API atvėrimas.

Modeliai ir inferencijos varikliai

Kuriuos modelius paleisti, kuriuo varikliu juos aptarnauti ir kaip išmatuoti rezultatą.

Geriausi modeliai DGX Spark, 2026 m. spalio leidimas

Geriausi modeliai DGX Spark įrenginiui, 2026 m. spalis: pranešama, kad Qwen3.6-35B-A3B NVFP4 viename DGX Spark įrenginyje pasiekia 86,3 tok/s, DeepSeek-V4-Flash dviejuose – apie 44 tok/s. Išvadų lentelės su šaltiniais.

llama.cpp vs. vLLM vs. SGLang su DGX Spark: tok/s ir parametrai

vLLM 60,7 vs. Ollama 42,1 tok/s su gpt-oss-120b viename DGX Spark ir 116–153 vs. 42,5 esant 8 naudotojams. Kurį variklį rinktis vienam naudotojui, komandai ar dviem Spark įrenginiams, ir tikslios parametrai.

Kaip paleisti naujai išleistą modelį DGX Spark įrenginyje (GB10)

Paleiskite naują atvirųjų svorių modelį DGX Spark įrenginyje jo išleidimo savaitę: atminties tinkamumas, arm64 atvaizdai, NVFP4 ar GGUF, vLLM, SGLang ar llama.cpp ir kada reikia dviejų Spark.

Qwen3 paleidimas su vLLM DGX Spark

Įdiekite vLLM, aptarnaukite Qwen3-32B-AWQ su OpenAI suderinama API, prijunkite Open WebUI ir palaikykite veikimą su systemd: kopijuok ir įklijuok vadovas DGX Spark.

Kvantuoti vs. visas tikslumas gamybinėje aplinkoje

Kaip pasirinkti tarp kvantuoto ir viso tikslumo modelio gamybiniame savarankiškai talpinamame diegime: atminties tinkamumas, kokybės rizika pagal užduotį ir kada išbandyti abu.

Pritaikykite modelį savo įmonės duomenims, duomenims neišeinant iš pastato

Pritaikykite atvirą LLM įmonės duomenims, jiems neišeinant iš pastato: LoRA ir QLoRA atminties lentelės, 32B išspręstas pavyzdys ir pritaikymas (fine-tuning) vs. RAG.

Įterpiniai ir vektorinė paieška DGX Spark įrenginyje

Paleiskite įterpinių modelį ir vektorinę duomenų bazę šalia generavimo modelio viename DGX Spark: atminties biudžetas, įterpinių modelio paleidimas ir vektorinės saugyklos pasirinkimas.

Vaizdo ir multimodalinių modelių vykdymas DGX Spark įrenginyje

Kas realu su DGX Spark 128 GB bendros atminties regos ir kalbos modeliams bei vaizdų supratimui ir kodėl GPUwerk dar nepaskelbė specialių VLM lyginamųjų testų.

ComfyUI ir Stable Diffusion DGX Spark įrenginyje

Paleiskite ComfyUI, FLUX ir SDXL DGX Spark įrenginyje: sąranka ARM64, pranešami vaizdų generavimo laikai kiekvienam modeliui, konkurencija dėl bendros atminties su LLM ir šiluminiai apribojimai.

Struktūrizuota išvestis ir funkcijų iškvietimai savarankiškai talpinamame LLM

JSON režimo struktūrizuotos išvesties ir įrankių/funkcijų iškvietimų sąranka savarankiškai talpinamiems modeliams su vLLM ir llama.cpp, įskaitant tai, kurie modeliai tai palaiko ir kaip derinti netinkamai suformuotus iškvietimus.

Užklausų podėliavimas inferencijos išlaidoms mažinti

Kaip prefiksų ir KV podėlio pakartotinis naudojimas sumažina pasikartojančius skaičiavimus savarankiškai talpinamame diegime: kas laikoma podėlio pataikymu, kaip tam struktūrizuoti užklausas ir kur sutaupymai iš tikrųjų matyti valandomis nuomojamame Spark.

Didelių inferencijos užduočių paketinis apdorojimas nuomojamame Spark

Vykdykite masinį dokumentų apdorojimą ir duomenų rinkinių žymėjimą nuomojamame DGX Spark: vLLM pralaidumo nustatymai, užduočių dydžio parinkimas pagal valandinį tarifą ir kontroliniai taškai.

Modelio kokybės vertinimas prieš keičiant modelius

Atidėti testų rinkiniai, A/B metodai ir regresijos patikros kandidato modelio palyginimui su dabartiniu prieš keičiant gamybinėje aplinkoje.

Kaip GPUwerk atlieka DGX Spark lyginamuosius testus

Ką GPUwerk matuoja DGX Spark įrenginyje: vienas srautas vs. lygiagretumas, kurie varikliai ir nustatymai ir kodėl skelbiami neapdoroti žurnalai, o ne tik suvestinė.

DGX Spark ilgas kontekstas: tok/s nuo 4k iki 100k, 2026 m. lapkritis

DGX Spark ilgo konteksto našumas, 2026 m. lapkritis: dekodavimas esant 4k, 50k ir 100k šešiems modeliams, apie 76 s 100k tokenų užpildymui ir KV podėlio dydžiai esant 128k.

DGX Spark Docker ir NGC konteineriai: arm64, GPU, compose

DGX Spark Docker vadovas, 2026 m. lapkritis: iš anksto įdiegti Docker 29.6.2 ir Container Toolkit 1.20, kurie NGC atvaizdai turi arm64 versijas, ir vLLM compose failas.

LM Studio DGX Spark: Linux ARM64, llmster, greitis (2026)

LM Studio DGX Spark įrenginyje, 2026 m. lapkritis: Linux ARM64 versija su CUDA 13 llama.cpp varikliu nuo 2025 m. spalio, llmster sąranka be ekrano ir greitis palyginti su llama.cpp.

NVIDIA AI Workbench ir JupyterLab DGX Spark

NVIDIA AI Workbench DGX Spark, 2026 m. lapkritis: leidimas 2026.06.5, arm64 baziniai atvaizdai su CUDA 13.1, DGX Dashboard JupyterLab ir paprastas JupyterLab 4.6.6.

NIM DGX Spark: kurie NIM veikia GB10, licencija, sąranka

NVIDIA NIM DGX Spark, 2026 m. lapkritis: apie 20 NIM nurodo GB10 palaikymą, nemokama kūrimui iki 16 GPU, o gamybinei aplinkai reikia AI Enterprise licencijos.

Ollama DGX Spark: sąranka, nustatymai ir tok/s

Ollama DGX Spark įrenginyje, 2026 m. lapkritis: arm64 diegimas, šeši svarbūs nustatymai, 42 tok/s su gpt-oss-120b vs. 59 su llama.cpp ir saugus API atvėrimas.

PyTorch DGX Spark: CUDA 13 aarch64 wheel paketai

PyTorch DGX Spark įrenginyje, 2026 m. lapkritis: torch 2.15.0 cu132 arba 2.14.1 cu130 aarch64 wheel paketai, klaidingas sm_121 įspėjimas, NGC 26.10, flash-attn ir xformers būsena.

SGLang DGX Spark: diegimas, parametrai ir tok/s

SGLang DGX Spark įrenginyje, 2026 m. lapkritis: v0.5.23 arm64 atvaizdas ir pip wheel paketai, --mem-fraction-static 0.80 GB10 ir 52 vs. 36 tok/s palyginti su vLLM su gpt-oss-120b.

Whisper ir Parakeet DGX Spark: kalbos pavertimas tekstu, 2026 m. lapkritis

Kalbos pavertimas tekstu DGX Spark įrenginyje, 2026 m. lapkritis: Parakeet TDT 0.6B v3 – 283 kartus greičiau už realųjį laiką GB10, Whisper large-v3 – 19–25x, su Open ASR Leaderboard WER.

TensorRT-LLM DGX Spark: trtllm-serve, NVFP4, tok/s (2026)

TensorRT-LLM DGX Spark įrenginyje, 2026 m. lapkritis: NVIDIA 1.3.0rc13 konteineris, trtllm-serve su NVFP4, 38,65 tok/s su Llama 3.1 8B ir kada sąranka atsiperka.

DGX Spark vaizdo įrašų generavimas: sekundės klipui, 2026 m. lapkritis

DGX Spark vaizdo įrašų generavimas, 2026 m. lapkritis: LTX-2.5 5 sekundžių klipai per maždaug 70 s, Wan 2.2 5B 720p per 14 min. ir kodėl RTX 5090 veikia 2,4–5,5 karto greičiau.

Našumas ir lyginamieji testai

Išmatuotas ir praneštas greitis: naudotojai vienam DGX Spark įrenginiui, atminties pralaidumas, CPU, skaičiavimai, kvantavimo formatai ir kaip kiekvienas GB10 įrenginys laikosi esant apkrovai.

Kiek naudotojų gali aptarnauti DGX Spark? Lygiagretumo duomenys

Kiek naudotojų aptarnauja vienas DGX Spark, 2026 m. lapkritis: tok/s vienam naudotojui esant 1–256 užklausoms, apie 52 pokalbių srautai po 15 tok/s su 3B aktyvių parametrų MoE ir komandos dydžio parinkimas.

DGX Spark CPU našumas: GB10 testai vs. x86 ir M5

DGX Spark CPU našumas, 2026 m. lapkritis: GB10 Geekbench 6 surenka 3 123 vienam ir 19 708 keliems branduoliams bei 675 GFLOPS HPL teste, palyginti su Ryzen AI Max+ 395 ir M5 Max.

DGX Spark atminties pralaidumas: 273 GB/s vs. realus

DGX Spark atminties pralaidumo matavimai, 2026 m. lapkritis: 234–247 GB/s clpeak, 200–213 GB/s STREAM triad, 38 GB/s vienam CPU branduoliui ir dekodavimas 73–87% ribos.

DGX Spark kvantavimo greitis: NVFP4 vs. FP8 vs. AWQ vs. GGUF

Greičiausias kvantavimas DGX Spark įrenginyje, 2026 m. lapkritis: vienas modelis BF16 formatu – 31 tok/s, FP8 – 50–55, NVFP4 – 65–66, AWQ – 81, ir kada NVFP4 atsilieka.

DGX Spark TFLOPS matavimai: 1 PFLOP FP4 vs. realus matmul

DGX Spark TFLOPS matavimai, 2026 m. lapkritis: 973–1 022 sparse FP4 mikroteste, 356 CUTLASS GEMM teste, 77–99 BF16 ilgalaikėje apkrovoje ir ką naudoja užpildymas (prefill).

GB10 terminis ribojimas: ilgalaikis greitis pagal OEM (2026)

GB10 terminis ribojimas pagal gamintoją: penkių OEM įrenginių vLLM užpildymo greitis skyrėsi ne daugiau kaip 2,6%, o didžiausia CPU temperatūra buvo 74,7–90 °C. Tikroji rizika – programinė aparatinė įranga.

Klasteriai ir mastelio didinimas

Du Spark, parkas, keli modeliai viename įrenginyje ir dalijimasis su komanda.

DGX Spark klasteris: du Spark, sąranka, ribos ir tok/s

Du DGX Spark suteikia 256 GB, o su tenzoriniu lygiagretinimu – greitesnį dekodavimą: išmatuota 1,75× su Qwen3-32B, pranešama iki maždaug 1,8×. Kabelių dalys, prievadų pavadinimai, sąranka, modeliai, kuriems reikia dviejų Spark.

Mastelio didinimas nuo vieno DGX Spark iki parko

Kada daugiau pavienių Spark nuomojimas lenkia dviejų mazgų klasterį, kaip paskirstyti apkrovą tarp nepriklausomų mazgų ir kokie nedidelio parko eksploatavimo kompromisai.

GPU atminties valdymas keliems modeliams viename DGX Spark įrenginyje

Paskirstykite 128 GB bendros atminties keliems modeliams ar konteineriams viename DGX Spark ir žinokite, kada verčiau pereiti prie dviejų mazgų klasterio ar antro mazgo.

GPU apkrovos stebėsena ir tinkamo diegimo dydžio parinkimas

Kaip nuomojamame DGX Spark nuskaityti tikrąją GPU ir atminties apkrovą ir pagal ją nuspręsti, ar likti kaip yra, plėstis į dviejų mazgų klasterį, ar į parką.

Kelių konteinerių ir paslaugų vykdymas DGX Spark įrenginyje

Docker konteinerių šablonai vienam DGX Spark įrenginiui: kada pakanka paprasto docker-compose failo ir kada darbo krūvis jį jau peraugo.

Modelių atnaujinimas ar keitimas be prastovų

DGX Spark yra vienas įrenginys, todėl tikram modelių atnaujinimui be prastovų reikia antro Spark, į kurį būtų galima persijungti. Štai ką apima tokia sąranka ir sąžininga alternatyva, jei sutinkate su trumpa paleidimo iš naujo pertrauka.

Komandos ir kelių naudotojų prieiga prie bendro DGX Spark

Vieno nuomojamo DGX Spark bendro naudojimo komandoje šablonai: atskiri Linux naudotojai su savo SSH raktais arba šliuzas priekyje, kad daugumai žmonių niekada neprireiktų apvalkalo.

DGX Spark klasteris su 4 ar 8 mazgais: komutatorius, sąranka, tok/s

DGX Spark klasteriai iš 4 ir 8 mazgų: NVIDIA palaikymas nuo 2026 m. spalio 22 d., komutatorius ir kabeliai, NCCL sąranka, pranešama 52,6 tok/s su 8 mazgais ir kaina palyginti su 8x B200.

Kimi K3 ir DeepSeek V4 DGX Spark klasteriuose: nuo 1 iki 8 mazgų

Kiek DGX Spark reikia Kimi K3, DeepSeek V4, GLM-5.3 ir MiniMax M3? Atminties skaičiavimai nuo 1 iki 8 mazgų ir pranešami greičiai iki 132 tok/s 4 Spark.

Eksploatacija

Stebėsena, atsarginės kopijos, saugumas ir prieigos kontrolė savarankiškai talpinamam diegimui.

Savarankiškai talpinamo LLM stebėsena ir stebimumas

Ką stebėti viename DGX Spark, vykdančiame LLM, ir kurie atvirojo kodo įrankiai tai atlieka, nuo nvidia-smi iki Prometheus ir Grafana derinio. GPUwerk suteikia konsolės ir API prieigą, o ne stebėsenos produktą.

Atsarginės kopijos ir atkūrimas po avarijų jūsų DGX Spark darbo krūviui

GPUwerk nelaiko išnuomoto DGX Spark darbo srities kopijos. Ką kopijuoti, kur siųsti ir kaip dažnai sinchronizuoti.

Savarankiškai talpinamo LLM atkūrimo po avarijų plano testavimas

Atsarginė kopija, iš kurios dar neatkūrėte duomenų, yra tik hipotezė. Atkūrimo pratybos, „game days“ ir RTO/RPO matavimas savarankiškai talpinamam LLM nuomojamoje GPU įrangoje.

Nuomojamo GPU egzemplioriaus apsaugos stiprinimas

Praktinis nuomojamos GPU apsaugos stiprinimas egzemplioriaus viduje: SSH raktų valdymas, tinklo atvėrimas, paslaugų vykdymas be root, slaptieji duomenys ir laikina vs. nuolatinė būsena.

Geriausia API raktų rotacijos praktika privačiam LLM diegimui

API raktų ir prisijungimo duomenų rotacija savarankiškai talpinamam inferencijos galiniam taškui: apimtis, rotacijos grafikai, atšaukimas ir ką automatizuoti, o ką daryti rankiniu būdu.

Užklausų ribojimas ir kvotos vidiniam LLM diegimui

Pats DGX Spark užklausų ribojimo neturi kiekvienam naudotojui. Pridėkite jį patys naudodami LiteLLM rpm/tpm ribas ir biudžetus kiekvienam raktui arba atvirkštinį tarpinį serverį priekyje.

Audito žurnalai reikalavimų atitikčiai jautriam savarankiškai talpinamam LLM diegimui

Sukonfigūruokite užklausų ir atsakymų audito žurnalus savo konteineryje nuomojamame DGX Spark: ką fiksuoti, kur saugoti ir kur baigiasi GPUwerk darbas.

SSO ir prieigos kontrolės sąranka komandos LLM diegimui

Autentifikavimo sluoksnio įrengimas prieš savarankiškai talpinamą inferencijos galinį tašką, kad komanda prisijungtų esamomis tapatybėmis, o ne dalytųsi SSH raktais ar API žetonais.

Modelių versijavimo ir atšaukimo strategija savarankiškai talpinamam diegimui

Sekimas, kurie modelių svoriai ir konfigūracijos iš tikrųjų veikia, ir švarus atšaukimas, kai nauja versija veikia prasčiau, savarankiškai talpinamame DGX Spark diegime.

Kaip Spark atrodo palyginti su kitais įrenginiais, žr. palyginimus. Apie pačią įrangą – specifikacijų puslapyje.

Pirmasis papildymas: sumokėkite 20 USD, gaukite 30 USD kredito

Išbandykite vadovą tikrame Spark už 0,79 USD/val.

Išsinuomokite dedikuotą DGX Spark Europoje, Šiaurės Amerikoje ar Rytų Azijoje ir sekite žingsnius. Apmokestinama už minutę iš išankstinio kredito.

Susikurti paskyrą Žr. kainas