NVIDIA DGX Spark · GB10 Grace Blackwell

L-NVIDIA DGX Spark: ikri wieħed minn $0.79/h jew ixtri wieħed

L-NVIDIA DGX Spark huwa kompjuter tal-AI għall-iskrivanija: GB10 Grace Blackwell Superchip wieħed b'128 GB ta' memorja unifikata b'273 GB/s, li jħaddem id-DGX OS ta' NVIDIA. Tista' tikri DGX Spark fuq GPUwerk għal $0.79 fis-siegħa, iffatturat bil-minuta, jew tixtri wieħed. Din il-paġna tispjega x'inhu, x'ikejjel fuq il-flotta ta' GPUwerk u fejn jitlef.

Minn Samuel Seidel · Aġġornat 24 ta' Ottubru 2026. Fil-fond: speċifikazzjonijiet tad-DGX Spark, prezz tad-DGX Spark, benchmarks tad-DGX Spark u l-cluster DGX Spark ta' żewġ magni marbuta.

128GBMemorja unifikata, b'273 GB/s ta' bandwidth tal-memorja
$0.79Kull siegħa fuq GPUwerk, iffatturat bil-minuta, jew $1.79 kull siegħa għal cluster ta' 256 GB b'żewġ nodi
1PFLOPCompute tal-AI FP4, sparse, mis-Superchip NVIDIA GB10 Grace Blackwell
200Gb/sNetwerking ConnectX-7 b'żewġ portijiet QSFP. NVIDIA tikklassifika żewġ magni konnessi għal mudelli sa 400B parametru

GPUwerk tikri magni NVIDIA DGX Spark dedikati bil-minuta fl-Ewropa, fl-Amerika ta' Fuq u fl-Asja tal-Lvant: il-magni tagħha stess fir-Repubblika Ċeka u Sparks ta' sħab f'pajjiżi oħra. Spark wieħed huwa $0.79 fis-siegħa u cluster ta' 256 GB b'żewġ nodi huwa $1.79 fis-siegħa, minn kreditu mħallas minn qabel mingħajr abbonament. Taħdem f'terminal fil-browser jew permezz ta' SSH bħala root. Ittermina meta tispiċċa u l-fatturazzjoni tieqaf. Kif tikri DGX Spark.

Il-prezz tal-lista ta' NVIDIA fl-Istati Uniti huwa $6,950 (iċċekkjat fil-11 ta' Ottubru 2026), minn $3,999 mal-varar: ara l-istorja tal-prezz tad-DGX Spark u l-listi tal-UE. Ixtri NVIDIA DGX Spark fil-ħanut ta' GPUwerk →

Speċifikazzjonijiet

Il-hardware f'tabella waħda.

Għal kull nodu. Kull istanza ta' GPUwerk hija magna sħiħa waħda, għalhekk dawn iċ-ċifri huma kollha tiegħek. Kull valur, b'dak li jfisser għall-LLMs, jinsab fuq il-paġna tal-ispeċifikazzjonijiet tad-DGX Spark.

NVIDIA DGX Spark
SuperchipGB10 Grace Blackwell
Prestazzjoni AI1 PFLOPS FP4 (sparse)
Memorja128 GB LPDDR5x unifikati
Bandwidth tal-memorja273 GB/s
CPUArm b'20 core (10× X925 + 10× A725)
Storage1 TB NVMe fuq l-Sparks ta' GPUwerk stess, maqsum mas-sistema u l-cache tal-mudelli; xi Sparks tas-sħab għandhom 2 jew 4 TB (NVIDIA tbigħ 1 TB jew 4 TB)
NetwerkConnectX-7 · 200 Gb/s
Enerġija240 W massimu
OSDGX OS 7 · Ubuntu 24.04
CUDAStack sħiħ preinstallat

Sorsi, moqrija fl-24 ta' Ottubru 2026: il-paġna tal-prodott NVIDIA DGX Spark (CPU, memorja, 273 GB/s, 1 PFLOP FP4 bl-isparsità, provvista ta' 240 W, sa 200B parametru fuq magna waħda u 400B fuq tnejn) u d-dokumentazzjoni tal-hardware ta' NVIDIA (1 TB jew 4 TB NVMe, memorja ta' 256-bit b'4266 MHz). Data tal-varar u prezz: newsroom ta' NVIDIA, 13 ta' Ottubru 2025.

Il-bandwidth tal-memorja ta' 273 GB/s huwa l-limitu li jgħodd għall-veloċità tal-ġenerazzjoni LLM b'stream wieħed. Il-qawwa tal-Spark hija l-kapaċità: mudelli li sempliċement ma joqogħdux fuq GPUs tal-konsumatur, flimkien ma' compute FP4 għal batch serving u fine-tuning, fejn it-throughput jiskala ħafna aħjar milli jissuġġerixxu n-numri ta' stream wieħed.

Prezz, kera u xiri

Ikri wieħed jew ixtri wieħed.

Jekk tikri bil-minuta tkun taf jekk il-mudell tiegħek joqgħodx u jaħdimx malajr biżżejjed qabel ma tonfoq eluf fuq il-hardware. Spark mikri jagħtik terminal fil-browser jew SSH bħala root fil-container tiegħek stess, it-toolkit CUDA 13.0 preinstallat (u Docker, fuq xi magni), u endpoint kompatibbli ma' OpenAI minn image ta' mudell: b'xiex taħdem.

Imkejjel fuq il-flotta ta' GPUwerk

Benchmarks tal-flotta.

Iż-żewġ mudelli mqiegħda fuq kull nodu tal-flotta, imkejla b'vllm bench serve fuq wieħed min-nodi ta' GPUwerk stess mingħajr xejn ieħor fuq il-GPU tiegħu. Ir-reġistri mhux ipproċessati jinsabu hawn taħt, u aktar mudelli jinsabu fuq il-paġna tal-benchmarks tad-DGX Spark. Iċ-ċifri ta' partijiet terzi għal mudelli oħra huma miġbura u diskussi fi gwida tax-xiri.

Riżultati tal-benchmarks tal-flotta fuq nodu DGX Spark wieħed
MudellKwantizzazzjoniQafasTok/s tal-prefillTok/s tal-ġenerazzjoniKuntest massimu
Qwen3-Coder 30B-A3BAWQvLLM 0.27.15,705 tok/s80.9 tok/s262,144
Llama 3.3 70BAWQvLLM 0.27.1391 tok/s6.0 tok/s131,072

Kif taqra dan.

Il-prefill huwa l-ħin medjan sal-ewwel token fuq prompt ta' 8,192 token. Il-ġenerazzjoni hija stream waħda, 128 dieħla u 512 ħerġin, mingħajr xejn ieħor għaddej. Il-kuntest massimu huwa prompt ta' dak it-tul li fil-fatt ġie servut, mhux ċifra mislufa mid-daqs tal-KV cache. Il-prefill isir aktar bil-mod hekk kif jikber il-prompt, għax l-ispiża tal-attention hija kwadratika: il-30B jagħmel 5,705 tok/s b'8k u 586 tok/s meta jimla s-262,144 sħaħ tiegħu.

Id-daqs tal-batch ibiddel it-tweġiba għalkollox.

Stream waħda hija l-agħar każ fuq dan il-hardware, u hija ċ-ċifra li ħafna tqabbil jieqaf fiha. B'talbiet għaddejjin il-30B jilħaq 3,235 tok/s b'kollox b'256 simultanji, u l-70B jilħaq 485 tok/s b'128, imbagħad jinżel għal 300 b'256, bil-ħin medjan sal-ewwel token jitla' minn 8 għal 40 sekonda. Il-mudell mixture-of-experts jimtela wara l-punt ta' tdawwir tiegħu; dak dens jiġġarraf wara tiegħu. Iż-żewġ kurvi jinsabu fir-reġistri.

Imkejjel fuq nodu li ma kien qed jintuża minn ħadd.

Kull prova saret fuq nodu li inkella ma kien qed jintuża minn ħadd, mingħajr ebda mudell ieħor mgħobbi fuq il-GPU. Kull reġistru hawn taħt jiftaħ bil-lista tal-proċessi u l-memorja libera tal-GPU fl-istess mument li bdiet il-prova, biex tkun tista' tiċċekkjaha minflok ma taċċettaha.

Reġistri mhux ipproċessati, kull prova, mhux editjati ħlief li ġabru flimkien ir-ridisinji tal-barri tal-progress: Qwen3-Coder 30B-A3B · Llama 3.3 70B. Biex tħaddem tiegħek: agħmel top-up ta' $20 l-ewwel darba u ikseb $30 kreditu, biżżejjed għal ġurnata ta' evalwazzjoni fuq nodu dedikat.

Workloads

X'għandi nħaddem fuqu?

Pariri b'opinjoni minn min iħaddem flotta ta' dawn.

Assistent tal-kodiċi għat-tim

Qwen3-Coder 30B-A3B (AWQ, il-mudell li tagħmillu benchmark GPUwerk) iħalli lok għal kuntesti twal u diversi utenti fl-istess ħin. Aqdih b'vLLM wara endpoint kompatibbli ma' OpenAI u immira l-editors tiegħek lejh.

Chat privat + RAG

Mudell instruct tal-klassi 70B f'Q4 joqgħod f'nodu wieħed b'lok għal mudell ta' embedding u vector store fuq l-istess magna, assistent privat sħiħ fuq magna waħda. Ara s-setup tal-ChatGPT privat →

Fine-tuning

Il-fine-tunes b'LoRA ta' mudelli tal-klassi 70B joqogħdu f'memorja unifikata mingħajr ġinnastika ta' model-parallel. Aktar bil-mod f'kull pass minn GPU tad-datacenter, imma jaħdem fejn il-karti tal-konsumatur sempliċement ma jistgħux.

Kera għal xogħol wieħed

Għalxiex jikru Spark in-nies.

Tliet xogħlijiet, kull wieħed bil-kmandi, biċ-ċifri mkejla u bil-limiti f'paġna waħda.

Tqabbil

Kif iqabbel.

Tqabbil li jibda bil-verdett kontra l-magni li x-xerrejja verament iqabblu. Kull wieħed jgħid fejn jirbaħ ir-rivali.

DGX Spark vs Mac Studio

Memorja unifikata fiż-żewġ każijiet, l-ekosistema CUDA kontra bandwidth safi. Aġġornat għall-Mac Studio M5 Ultra ta' Apple: il-Mac jirbaħ fid-decode, l-Spark jirbaħ fil-prefill u fil-portabbiltà tas-CUDA.

Qari ta' 9 min

DGX Spark vs RTX 5090

32 GB ta' VRAM mgħaġġla kontra 128 GB ta' kapaċità. Fuq il-veloċità mhix ġlieda mill-qrib: il-mistoqsija kollha hija jekk il-mudell tiegħek joqgħodx.

Qari ta' 6 min

DGX Spark vs Strix Halo

Ġenerazzjoni ta' tokens kważi identika, differenza ta' 2-3x fil-prefill, u madwar $4,000 inqas biex tixtri. X'sabet il-prova prattika ta' The Register.

Qari ta' 5 min

Fornituri tad-DGX Spark fil-cloud imqabbla

Kull kera ta' Spark bis-siegħa b'lista pubblika, bil-prezz, il-post, il-granularità tal-fatturazzjoni u x'jiġri mid-data tiegħek meta twaqqaf. Ikkwotata mill-paġna ta' kull fornitur, inkluża dik ta' GPUwerk.

Qari ta' 7 min

DGX Spark vs H100 għall-inferenza ta' LLMs

Meta 128 GB u l-fatturazzjoni bil-minuta jegħlbu karta tad-datacenter, u meta l-bandwidth tal-memorja u t-throughput f'batches ifissru li teħtieġ l-H100 minflok.

Qari ta' 8 min

DGX Spark vs H200 għall-inferenza ta' LLMs

L-akbar differenza fil-bandwidth fuq dan is-sit, 273 GB/s kontra madwar 4.8 TB/s. Fejn dan jgħodd, u fejn le.

Qari ta' 7 min

DGX Spark vs Jetson AGX Thor: żewġ xogħlijiet differenti

Għaliex dawn mhumiex tassew jikkompetu għall-istess xerrej, bis-suq fil-mira, il-forma u l-istack tas-software imqabbla.

Qari ta' 7 min

DGX Spark vs RTX PRO 6000 Blackwell

128 GB ta' memorja unifikata b'273 GB/s kontra 96 GB ta' GDDR7 b'madwar 1.8 TB/s: liema mudelli joqogħdu fuq kull wieħed, u liema veloċità ta' decode tippermetti l-bandwidth.

Tqabbil

ASUS Ascent GX10 vs DGX Spark

L-istess ċippa GB10 u 128 GB. Dak li jvarja huwa l-istorage, il-prezz, id-daqs u l-firmware, kull wieħed bis-sors tiegħu.

Tqabbil

Kull magna GB10 imqabbla

DGX Spark, ASUS, Dell, HP, Lenovo, MSI, Gigabyte u Acer ħdejn xulxin: ċippa waħda, u d-differenzi li jibqgħu.

Tqabbil

It-tmienja ħdejn xulxin, bil-memorja, il-bandwidth u fejn jirbaħ kull rivali: tqabbil tal-alternattivi għad-DGX Spark.

Gwidi

Gwidi u analiżi.

Għal kull min qed jevalwa, jixtri, jew jissettja DGX Spark, miktub mill-kamra tal-flotta, mhux minn press kit.

Setup tad-DGX Spark: mill-kaxxa sal-ewwel token

L-ewwel boot tad-DGX OS, SSH, drivers, u kif isservi l-ewwel mudell tiegħek: il-gwida li xtaqt li kienet teżisti meta qegħedt l-ewwel unità tiegħi fir-rack.

Setup · 4 min qari

X'għandek tkun taf qabel ma tixtri DGX Spark

L-enerġija, il-ħsejjes, kif tqabbad żewġ unitajiet, f'xiex tassew hija tajba, u l-ispiża totali tas-sjieda kontra rig b'5090 jew il-cloud.

Analiżi tax-xiri · 11 min qari

Ikri jew ixtri DGX Spark

Sigħat fil-ġimgħa, prezz tax-xiri, u l-kalkoli tal-punt ta' bilanċ, b'kalkulatur għaċ-ċifri tiegħek stess.

Analiżi tax-xiri · 8 min qari

Aqdi Qwen3 b'vLLM fuq Spark

Rotta ta' copy-paste għal endpoint kompatibbli ma' OpenAI fuq il-hardware tiegħek stess, bil-frontend Open WebUI u systemd inklużi.

Setup · 6 min qari

L-aqwa mudelli li m'intix permess tibgħatilhom id-data tiegħek

Liema mudelli miftuħa kbar joqogħdu f'128 GB / 256 GB, u kemm huma tassew lura mill-ogħla livell.

AI privata · 7 min qari

Agħmel fine-tune ta' mudell fuq id-data tal-kumpanija tiegħek

LoRA fuq mudelli tal-klassi 70B joqgħod f'128 GB ta' memorja unifikata, bis-sett tat-taħriġ jibqa' fuq l-NVMe lokali tan-nodu.

Fine-tuning · 11 min qari

Impjegat tal-AI jeħtieġ uffiċċju. Agħtih wieħed li hu tiegħek.

OpenClaw, Hermes, u għaliex aġent li jaqra l-inbox tiegħek jappartjeni fuq hardware li tikkontrolla inti.

Aġenti tal-AI · 9 min qari

Awtomatizza t-80% tedjanti

Ipproċessar ta' dokumenti f'batch fuq magna b'rata fissa: it-token marġinali huwa b'xejn, għalhekk ħaddem il-mudell fuq kollox.

Awtomatizzazzjoni · 7 min qari

Cluster ta' żewġ nodi DGX Spark: is-setup u x'jagħtik verament

Ir-rabta ta' żewġ Sparks b'ConnectX-7 200 GbE, x'tgħid id-dokumentazzjoni ta' NVIDIA stess, u qari onest ta' x'jagħtik u x'ma jagħtikx l-ipparjar.

Setup · 9 min qari

Kif taqla' l-flus bid-DGX Spark tiegħek

Agħti bil-kera Spark li hu tiegħek permezz ta' GPUwerk Platform: is-sehem ta' 70%, x'ma jaqla' xejn, eżempju b'sigħat iddikjarati, u l-ispejjeż tiegħek.

Sidien · 7 min qari

Konsum tal-enerġija u spiża tat-tħaddim tad-DGX Spark

Iċ-ċifri ppubblikati tal-enerġija, xi jfissru fil-plakka tal-ħajt, u kif taħdem l-ispiża tal-elettriku tiegħek kull siegħa.

Analiżi tax-xiri · 6 min qari

ComfyUI u Stable Diffusion fuq DGX Spark

Il-playbook ta' ComfyUI ta' NVIDIA fuq ARM64, il-ħinijiet irrappurtati għall-immaġni skont il-mudell, u kif taqsam il-memorja unifikata ma' LLM.

Mudelli

Kif tħaddem mudell għadu kemm ħareġ fuq DGX Spark

Jekk joqgħodx fil-memorja, images arm64, NVFP4 jew GGUF, liema engine, u meta mudell li jkun għadu kemm ħareġ jeħtieġ żewġ Sparks.

Mudelli

L-aħjar mudelli b'piżijiet miftuħa biex tħaddem fuq DGX Spark

Liema mudell jaqbel għall-chat, għall-kodiċi, għall-batches u għax-xogħol tal-aġenti, u verifika realistika tal-mudelli densi, b'ċifri ta' tok/s imkejla biss.

Mudelli · 8 min qari

Spiża totali tas-sjieda: kera ta' GPU kontra API tal-AI fil-cloud

API fil-cloud bit-token, GPU dedikat mikri, u x-xiri tal-hardware kollu kemm hu, imqabbla ma' xulxin biċ-ċifri diġà ppubblikati fuq dan is-sit.

Analiżi tax-xiri · 9 min qari

Kif tagħmel GPUwerk il-benchmarks tad-DGX Spark

X'jitkejjel, stream waħda kontra talbiet simultanji, liema engines u settings, u għaliex jiġu ppubblikati r-reġistri mhux ipproċessati u mhux biss it-tabella tas-sommarju.

Benchmarks · 4 min qari

Ħsejjes u tkessiħ tad-DGX Spark: x'tistenna

X'inhu dokumentat dwar il-ħsejjes tal-fannijiet u t-tkessiħ għal skrivanija jew uffiċċju tad-dar, x'għadu ma tkejjilx b'mod indipendenti, u fejn tiċċekkja qabel ma tixtri.

Analiżi tax-xiri · 4 min qari

Kif tħaddem mudelli tal-viżjoni u multimodali fuq DGX Spark

X'inhu plawżibbli fuq 128 GB ta' memorja unifikata għal mudelli tal-viżjoni u tal-lingwa u għall-fehim tal-immaġni, u għaliex għadhom ma ġewx ippubblikati benchmarks apposta għall-VLMs.

Mudelli · 3 min qari

Aġġornamenti tad-drivers u tal-firmware tad-DGX Spark: x'timmaniġġja GPUwerk

X'jinżamm aġġornat fil-livell tal-host u tan-nodu fuq Spark mikri, u x'jinsab ġol-container root tiegħek stess u jibqa' għalkollox ir-responsabbiltà tiegħek.

Setup · 4 min qari

Storage tad-DGX Spark: x'jibqa' u x'għandek tagħmillu backup

L-NVMe ta' 1 TB fuq Spark mikri, eżattament x'jibqa' wara twaqqif kontra terminazzjoni, u għaliex teħtieġ backup tiegħek: GPUwerk ma żżomm ebda kopja tal-ispazju tax-xogħol tiegħek.

Setup · 4 min qari

Monitoraġġ u osservabbiltà għal LLM self-hosted

X'issegwi fuq Spark li jaqdi traffiku ta' produzzjoni, mill-memorja tal-GPU sal-latenza ta' kull talba.

Operazzjonijiet · 6 min qari

Backup u rkupru minn diżastru għall-workload tad-DGX Spark tiegħek

X'verament jeħtieġ backup fuq Spark mikri, u kif tirkuprah wara ħsara.

Operazzjonijiet · 6 min qari

Aċċess għat-tim u għal diversi utenti fuq DGX Spark maqsum

Kif tagħti lil tim aċċess maqsum għal Spark wieħed mingħajr ma kulħadd jaqsam key waħda tal-API.

Operazzjonijiet · 5 min qari

Limitazzjoni tar-rata u kwoti għal deployment intern ta' LLM

Kif iżżomm tim wieħed jew script wieħed milli jħalli t-talbiet ta' kulħadd bil-ġuħ fuq endpoint maqsum.

Operazzjonijiet · 5 min qari

Kif taġġorna jew tibdel il-mudelli mingħajr downtime

Kif iddaħħal mudell jew verżjoni ġdida ta' mudell fil-produzzjoni fuq Spark mingħajr perjodu ta' waqfien.

Operazzjonijiet · 6 min qari

Kif tikber minn DGX Spark wieħed għal flotta

Meta l-kera ta' aktar Sparks singoli tkun aħjar minn cluster b'żewġ nodi, kif tqassam it-tagħbija bejn nodi indipendenti, u l-kompromessi operattivi ta' tħaddim ta' flotta żgħira.

Operazzjonijiet · 7 min qari

Mudelli kkwantizzati vs bi preċiżjoni sħiħa fil-produzzjoni

Kif tiddeċiedi bejn mudell ikkwantizzat u wieħed bi preċiżjoni sħiħa għal deployment self-hosted fil-produzzjoni: jekk joqgħodx fil-memorja, ir-riskju għall-kwalità skont ix-xogħol, u meta tittestja t-tnejn.

Operazzjonijiet · 6 min qari

Tbassir tal-ispejjeż u bbaġitjar għall-infrastruttura tal-AI

Kif tistma l-infiq ta' kull xahar fuq l-infrastruttura tal-AI meta tospita inti stess kontra meta tuża API bil-kejl, bir-rata ta' $0.79/siegħa ta' GPUwerk bħala eżempju maħdum u lista ta' kontroll għall-ibbaġitjar.

Analiżi tax-xiri · 7 min qari

Tisħiħ tas-sigurtà ta' istanza GPU mikrija

Tisħiħ prattiku ġol-istanza għal GPU mikri: immaniġġjar taċ-ċwievet SSH, espożizzjoni tan-netwerk, tħaddim ta' servizzi mingħajr root, sigrieti, u stat temporanju vs permanenti.

Operazzjonijiet · 6 min qari

Kif tittrasferixxi deployment eżistenti ta' AI self-hosted għal DGX Spark

Rotta prattika ta' migrazzjoni minn workstation jew cloud GPU ieħor għal DGX Spark mikri: ir-ri-kwantizzazzjoni għall-memorja unifikata, iċ-ċaqliq tad-data, u pjan ta' qlib.

Setup · 7 min qari

Immaniġġjar tal-memorja tal-GPU għal diversi mudelli fuq Spark wieħed

Kif tqassam 128 GB ta' memorja unifikata bejn diversi mudelli jew containers fuq DGX Spark wieħed, u meta l-kalkoli jgħidu li aħjar taqsam f'cluster b'żewġ nodi.

Operazzjonijiet · 6 min qari

llama.cpp vs vLLM vs SGLang fuq DGX Spark: flags u bidu

Kumpann prattiku għall-għażla ta' inference engine: flags eżatti, kmandi tal-bidu, u fejn llama.cpp, vLLM u SGLang verament ivarjaw fuq il-memorja unifikata tal-GB10.

Setup · 6 min qari

Kif tittestja l-pjan ta' rkupru minn diżastru għal LLM self-hosted

Pjan ta' backup li qatt ma rkuprajt minnu huwa ipoteżi. Eżerċizzji ta' rkupru, game days u kejl tal-RTO/RPO għal deployment ta' LLM self-hosted.

Operazzjonijiet · 6 min qari

L-aqwa prattiki għar-rotazzjoni taċ-ċwievet tal-API għal deployment ta' LLM privat

Kif iddawwar iċ-ċwievet tal-API u l-kredenzjali għal endpoint tal-inferenza self-hosted: l-ambitu, l-iskedi tar-rotazzjoni, ir-revoka, u x'tawtomatizza kontra x'tagħmel bl-idejn.

Operazzjonijiet · 6 min qari

Kif tevalwa l-kwalità ta' mudell qabel ma tibdel il-mudelli

Settijiet ta' test imwarrba, approċċi A/B, u verifiki ta' rigressjoni biex tagħmel benchmark ta' mudell kandidat kontra dak attwali tiegħek qabel ma taqleb fil-produzzjoni.

Operazzjonijiet · 6 min qari

Caching tal-prompts biex tnaqqas l-ispiża tal-inferenza

Kif l-użu mill-ġdid tal-prefix u tal-KV cache inaqqas il-compute ripetut f'deployment self-hosted: x'jikkwalifika bħala cache hit, kif tibni l-prompts għalih, u fejn verament jidhru l-iffrankar fuq Spark mikri bis-siegħa.

Operazzjonijiet · 6 min qari

Output strutturat u sejħiet għal funzjonijiet fuq LLM self-hosted

Kif tissettja output strutturat f'JSON mode u sejħiet għal tools/funzjonijiet fuq mudelli self-hosted b'vLLM u llama.cpp, inkluż liema mudelli jappoġġjawhom u kif issib il-problemi f'sejħiet ħżiena.

Setup · 5 min qari

Kif tħaddem embeddings u tfittxija vettorjali fuq DGX Spark

Kif tospita inti stess mudell ta' embedding flimkien ma' database vettorjali għal pipeline RAG fuq Spark wieħed: kif tqassam il-memorja, kif taqdi l-mudell tal-embedding, u kif tagħżel vector store.

Mudelli · 5 min qari

Ipproċessar f'batch ta' xogħlijiet kbar ta' inferenza fuq Spark mikri

Kif tħaddem l-ipproċessar ta' dokumenti bil-massa u t-tikkettar ta' datasets kbar fuq DGX Spark mikri bis-siegħa: settings tat-throughput, kif tkejjel ix-xogħol, u kif l-ispiża tal-inferenza f'batches tqabbel mas-serving interattiv.

Operazzjonijiet · 5 min qari

Monitoraġġ tal-utilizzazzjoni tal-GPU u kif tagħżel id-daqs it-tajjeb għad-deployment tiegħek

Kif taqra l-utilizzazzjoni reali tal-GPU u tal-memorja fuq DGX Spark mikri u tużaha biex tiddeċiedi jekk tibqax fejn int, titlax għal cluster b'żewġ nodi, jew tifrixx fuq flotta.

Operazzjonijiet · 5 min qari

Logging tal-awditjar għal deployment ta' LLM self-hosted sensittiv għall-konformità

Kif tissettja reġistri tal-awditjar tat-talbiet u tat-tweġibiet ġol-container tiegħek stess fuq DGX Spark mikri: x'taqbad, fejn taħżnu, u fejn tintemm ir-responsabbiltà ta' GPUwerk.

Operazzjonijiet · 6 min qari

Strateġija ta' verżjonar tal-mudelli u rollback għal deployment self-hosted

Kif issegwi liema piżijiet u konfigurazzjonijiet ta' mudelli fil-fatt qed jaħdmu, u kif tagħmel rollback nadif meta verżjoni ġdida tmur agħar.

Operazzjonijiet · 6 min qari

Cold start vs dejjem mixgħul: l-għażla ta' mudell ta' uptime tal-istanzi

Li twaqqaf DGX Spark bejn użu u ieħor kontra li żżommu jaħdem il-ħin kollu: l-ispiża, il-latenza, u l-kompromessi dwar id-data.

Analiżi tax-xiri · 5 min qari

Kif tissettja SSO u kontroll tal-aċċess għal deployment ta' LLM għat-tim

Kif tqiegħed saff ta' awtentikazzjoni quddiem endpoint tal-inferenza self-hosted biex tim jidħol bl-identitajiet eżistenti minflok ma jaqsam ċwievet SSH jew tokens tal-API.

Setup · 5 min qari

Kif tħaddem diversi containers u servizzi fuq DGX Spark

Mudelli ta' containers Docker għal DGX Spark wieħed: meta fajl docker-compose sempliċi huwa biżżejjed, u meta l-workload tkun kibret iżżejjed għalih.

Setup · 5 min qari

Kull gwida, miġbura skont xiri, mudelli u engines, clusters u operazzjonijiet: il-gwidi kollha tad-DGX Spark.

Mistoqsijiet.

X'inhu l-NVIDIA DGX Spark?

L-NVIDIA DGX Spark huwa kompjuter tal-AI għall-iskrivanija mibni fuq l-NVIDIA GB10 Grace Blackwell Superchip: GPU Blackwell u CPU Arm b'20 core li jaqsmu 128 GB ta' memorja unifikata b'273 GB/s, b'sa 1 PFLOP ta' compute FP4 sparse. Iħaddem id-DGX OS ta' NVIDIA, sistema bbażata fuq Ubuntu bl-istack CUDA preinstallat, u jikkonsma mhux aktar minn 240 W. L-ordnijiet infetħu fil-15 ta' Ottubru 2025 b'$3,999; il-prezz tal-lista ta' NVIDIA fl-Istati Uniti kien $6,950 meta ġie ċċekkjat fil-11 ta' Ottubru 2026 (storja tal-prezz). ASUS, Dell, HP, Lenovo, MSI, Gigabyte u Acer ibigħu magni bl-istess ċippa GB10 b'isimhom: kull magna GB10 imqabbla.

Nieħu DGX Spark sħiħ għalija waħdi?

Iva. Kull istanza ta' GPUwerk hija nodu dedikat wieħed, mhux biċċa minn GPU kondiviż. Il-128 GB ta' memorja unifikata, il-273 GB/s sħaħ ta' bandwidth u l-1 PFLOPS ta' compute FP4 sparse huma tiegħek għat-tul kollu tal-kiri, mingħajr xejn ieħor jaħdem fuq il-magna.

F'xiex jiddifferixxi DGX Spark mill-kera ta' istanza GPU fil-cloud?

Istanza GPU tipika fil-cloud tagħtik 24 sa 80 GB ta' VRAM fuq karta tad-datacenter. DGX Spark jagħtik 128 GB ta' memorja unifikata fuq magna waħda, biżżejjed għal mudelli tal-klassi 70B mingħajr ma jinqasmu bejn GPUs, u GPUwerk tikrih b'fatturazzjoni bil-minuta mis-Sparks tagħha stess fiċ-Ċekja u minn Sparks ta' sħab fl-Ewropa, fl-Amerika ta' Fuq u fl-Asja tal-Lvant.

X'inhi l-qabda bil-273 GB/s ta' bandwidth tal-memorja?

Huwa l-limitu fuq il-veloċità tal-ġenerazzjoni fi stream waħda: inqas tokens fis-sekonda minn GPU diskret b'VRAM aktar mgħaġġla, u għalhekk kemm il-gwida tax-xiri kif ukoll it-tqabbil mal-RTX 5090 jibdew bih. Il-vantaġġ tal-Spark huwa l-kapaċità u t-throughput f'batches, mhux il-veloċità safja għal utent wieħed.

Nista' nixtri DGX Spark minflok ma nikri wieħed?

Iva. Il-ħanut ta' GPUwerk jelenka l-NVIDIA DGX Spark innifsu, ipprezzat mill-istokk ta' fornituri Ċeki meta wieħed minnhom ikun jista' jikkonsenjah, u l-istess magna GB10 minn seba' manifatturi oħra, fosthom il-Lenovo ThinkStation PGX minn €5,330 eskluża l-VAT. GPUwerk tibagħtulek jew, jekk tagħżel hekk, iżżommha fid-datacenter tagħha u tikriha għalik. Tista' wkoll tixtri mingħand NVIDIA jew is-sħab tagħha, jew tistaqsi lil GPUwerk dwar magna għas-sit tiegħek stess. Jekk l-ewwel tikri bil-minuta, issir taf jekk il-hardware jaqbilx mal-workload tiegħek qabel xiri ta' madwar €4,000 jew aktar, u kull istanza cloud ta' GPUwerk taħdem fuq l-istess hardware GB10 identiku.

Kull ma hemm dwar id-DGX Spark fuq dan is-sit.

Kull paġna fuq GPUwerk li tkopri d-DGX Spark, miġbura skont x'qed tipprova tagħmel.

Ieqaf taqra l-benchmarks.
Ħaddem tiegħek.

Ikri Spark dedikat għal $0.79/h, iffatturat bil-minuta. L-ewwel top-up: ħallas $20, ikseb $30 kreditu, madwar 37 siegħa ta' compute.

Oħloq kont