Ръководства за DGX Spark
Шестдесет и пет ръководства за покупка, работа и експлоатация на DGX Spark от GPUwerk, който ги отдава под наем. Те са групирани в пет раздела: покупка и работа със Spark, модели и inference енджини, производителност и бенчмаркове, клъстери и мащабиране и операции. Всяка карта показва собственото резюме на ръководството.
Покупка и работа със Spark
Преди да купите, после захранване, шум, настройка, актуализации, хранилище и разходи за работа.
Какво да знаете, преди да купите DGX Spark
Честно ръководство за покупка на DGX Spark от компания, която ги отдава под наем: реални бенчмаркове, таванът от 273 GB/s, реални цени в ЕС и покупка срещу наем.
Консумация на енергия и разходи за работа на DGX Spark
Измерена консумация на DGX Spark: 22-45 W без натоварване, 60-90 W при LLM inference, около 160-200 W при пълно натоварване, при захранване от 240 W. Месечна цена при цените на тока в ЕС.
Шум на DGX Spark: 29 dB при пълно натоварване, 13 dB без натоварване
NVIDIA декларира за DGX Spark 35 dB LWA и 29 dB LpA при максимално натоварване, 19 и 13 dB без натоварване (ECMA-109). Измервания на рецензенти, охлаждане и разположение.
Ръководство за настройка на DGX Spark: от първото стартиране до обслужван модел за една вечер
Бърз старт с DGX Spark от човек, който ги монтира в сървърни шкафове всеки ден: първо стартиране на DGX OS, SSH само с ключ, избор на стек за обслужване и обслужване на първия ви модел към инструментите ви за една вечер.
Актуализации на драйвери и фърмуер на DGX Spark: какво управлява GPUwerk
Какво GPUwerk поддържа актуално на ниво хост и възел на нает DGX Spark и какво е в собствения ви root контейнер и остава изцяло ваша отговорност.
Хранилище на DGX Spark: какво е постоянно и какво да архивирате
1 TB NVMe на нает DGX Spark, какво точно оцелява при спиране и при прекратяване и защо собственото резервно копие е важно, тъй като GPUwerk не пази такова.
Студен старт срещу постоянно включен: избор на модел на работа на инстанцията
Спиране на DGX Spark между ползванията срещу постоянна работа: компромисите по цена, латентност и данни и как да решите кой модел пасва на реалното ползване.
Миграция на съществуващо самостоятелно хоствано AI внедряване към DGX Spark
Практичен път за миграция от работна станция или друг облачен GPU към нает DGX Spark: повторна квантизация за унифицирана памет, преместване на данни и план за превключване.
Прогнозиране на разходите и бюджетиране за AI инфраструктура
Как да оцените месечните разходи за AI инфраструктура при самостоятелно хостване срещу API с измерване, с цената на GPUwerk от 0,79 $/час като пример и контролен списък за бюджетиране.
Обща цена на притежание: наем на GPU срещу облачен AI API
Облачен AI API с плащане на токен, нает самостоятелен DGX Spark за 0,79 $/час и покупка на собствен хардуер, сравнени само с данни, публикувани на този сайт.
DGX Spark 64GB срещу 128GB: скорост, цена, какво се побира
DGX Spark 64GB срещу 128GB, ноември 2026 г.: същият GB10 и 273 GB/s, 4999 $ срещу 6950 $, около 54 GiB използваеми. Таблица за 8 модела с контекст и кой го продава.
Настройка на DGX Spark без монитор
Настройка на DGX Spark без монитор: процесът с Wi-Fi hotspot, намиране на spark-xxxx.local, Wi-Fi Assistant от октомври 2026 г., резерв от 512 MB за дисплея и cloud-init за много машини.
Хранилище на DGX Spark: 1 TB срещу 4 TB и къде да държите моделите
Хранилище на DGX Spark 1 TB срещу 4 TB: колко от 14 актуални модела се побират (gpt-oss-120b е 65,3 GB), един споделен кеш на Hugging Face, скорост на hf_xet, опции с USB-C и NFS.
Ръководство за възстановяване на DGX Spark и преинсталиране на DGX OS
Възстановяване на DGX Spark: поправка на неуспешна актуализация без изтриване, резервно копие от live USB, преинсталиране с образ за възстановяване 1.155.49 (5,9 GB), OEM образи и кога да поискате RMA.
Софтуерни актуализации на DGX Spark: дневник на версиите до октомври 2026 г.
Софтуерни актуализации на DGX Spark от пускането до версията от октомври 2026 г.: DGX OS 7.6.0, Linux 7.0, драйвер 580.178.04, известните проблеми и как да актуализирате безопасно.
Ръководство за NVIDIA Sync и дистанционен достъп до DGX Spark
Дистанционен достъп до DGX Spark с NVIDIA Sync 0.148.0-153: какво инсталира, DGX Dashboard на порт 11000, Tailscale, обикновена SSH конфигурация и безопасно излагане на API.
Модели и inference енджини
Кои модели да пуснете, с кой енджин да ги обслужвате и как да измерите резултата.
Най-добрите модели за DGX Spark, издание октомври 2026 г.
Най-добрите модели за DGX Spark, октомври 2026 г.: Qwen3.6-35B-A3B NVFP4 с отчетени 86,3 tok/s на един Spark, DeepSeek-V4-Flash с около 44 tok/s на два. Таблици с оценки и източници.
llama.cpp срещу vLLM срещу SGLang на DGX Spark: tok/s и флагове
vLLM 60,7 срещу Ollama 42,1 tok/s за gpt-oss-120b на един DGX Spark и 116 до 153 срещу 42,5 при 8 потребители. Кой енджин за един потребител, екип или два Spark възела, плюс точните флагове.
Как да пуснете току-що излязъл модел на DGX Spark (GB10)
Пуснете нов модел с отворени тегла на DGX Spark още в седмицата на излизането му: побиране в паметта, arm64 образи, NVFP4 или GGUF, vLLM, SGLang или llama.cpp и кога изисква два Spark възела.
Обслужване на Qwen3 с vLLM на DGX Spark
Инсталирайте vLLM, обслужвайте Qwen3-32B-AWQ с OpenAI-съвместим API, свържете Open WebUI и го поддържайте работещ със systemd: ръководство за копиране и поставяне за DGX Spark.
Квантизирани модели срещу модели с пълна точност в реална експлоатация
Как да решите между квантизиран модел и модел с пълна точност за самостоятелен хостинг в реална експлоатация: побиране в паметта, риск за качеството според задачата и кога да тествате и двата.
Fine-tuning на модел с данните на компанията ви, без данните да напускат сградата
Fine-tuning на отворен LLM с фирмени данни, без те да напускат сградата: таблици за паметта при LoRA и QLoRA, разработен пример с 32B и fine-tuning срещу RAG.
Embeddings и векторно търсене на DGX Spark
Пуснете модел за embeddings и векторна база данни до генериращия модел на един DGX Spark: бюджетиране на паметта, обслужване на embeddings и избор на векторно хранилище.
Модели за зрение и мултимодални модели на DGX Spark
Какво е реалистично със 128 GB унифицирана памет на DGX Spark за vision-language модели и разбиране на изображения и защо GPUwerk все още не е публикувал специални VLM бенчмаркове.
ComfyUI и Stable Diffusion на DGX Spark
Пуснете ComfyUI, FLUX и SDXL на DGX Spark: настройка на ARM64, отчетени времена за изображение по модел, конкуренция за унифицираната памет с LLM и термични уговорки.
Структуриран изход и function calling при самостоятелно хостван LLM
Настройка на структуриран изход в JSON режим и tool/function calling при самостоятелно хоствани модели с vLLM и llama.cpp, включително кои модели го поддържат и как да отстранявате неправилни извиквания.
Кеширане на промптове за намаляване на разходите за inference
Как повторното използване на префикс и KV кеш намалява повтарящите се изчисления при самостоятелно хостване: какво води до попадение в кеша, как да структурирате промптовете за това и къде спестяванията реално се виждат при Spark, нает на час.
Пакетна обработка на големи inference задачи на нает Spark
Пакетна обработка на документи и етикетиране на набори от данни на нает DGX Spark: настройки за производителност на vLLM, оразмеряване на задачите спрямо часовата цена и чекпойнти.
Оценка на качеството на модела преди смяна на модели
Отделени тестови набори, A/B подходи и регресионни проверки за сравнение на кандидат-модел с текущия ви, преди да го смените в реална експлоатация.
Как GPUwerk прави бенчмаркове на DGX Spark
Какво измерва GPUwerk на DGX Spark: един поток срещу едновременност, кои енджини и настройки и защо се публикуват суровите логове, а не само обобщение.
DGX Spark при дълъг контекст: tok/s от 4k до 100k, ноември 2026 г.
Производителност на DGX Spark при дълъг контекст, ноември 2026 г.: декодиране при 4k, 50k и 100k за шест модела, около 76 s за prefill на 100k токена и размери на KV кеша при 128k.
Docker и NGC контейнери на DGX Spark: arm64, GPU, compose
Ръководство за Docker на DGX Spark, ноември 2026 г.: предварително инсталирани Docker 29.6.2 и Container Toolkit 1.20, кои NGC образи имат arm64 версии и compose файл за vLLM.
LM Studio на DGX Spark: Linux ARM64, llmster, скорост (2026)
LM Studio на DGX Spark, ноември 2026 г.: Linux ARM64 версия с енджин llama.cpp за CUDA 13 от октомври 2025 г., настройка на llmster без интерфейс и скорост срещу llama.cpp.
NVIDIA AI Workbench и JupyterLab на DGX Spark
NVIDIA AI Workbench на DGX Spark, ноември 2026 г.: версия 2026.06.5, базови arm64 образи с CUDA 13.1, JupyterLab в DGX Dashboard и обикновен JupyterLab 4.6.6.
NIM на DGX Spark: кои NIM работят на GB10, лиценз, настройка
NVIDIA NIM на DGX Spark, ноември 2026 г.: около 20 NIM посочват поддръжка на GB10, безплатно за разработка на до 16 GPU, а за реална експлоатация е нужен лиценз за AI Enterprise.
Ollama на DGX Spark: настройка, параметри и tok/s
Ollama на DGX Spark, ноември 2026 г.: инсталиране за arm64, шестте настройки, които имат значение, 42 tok/s при gpt-oss-120b срещу 59 при llama.cpp и безопасно излагане на API.
PyTorch на DGX Spark: CUDA 13 aarch64 wheels
PyTorch на DGX Spark, ноември 2026 г.: aarch64 wheels torch 2.15.0 cu132 или 2.14.1 cu130, фалшивото предупреждение за sm_121, NGC 26.10, статус на flash-attn и xformers.
SGLang на DGX Spark: инсталиране, флагове и tok/s
SGLang на DGX Spark, ноември 2026 г.: arm64 образ v0.5.23 и pip wheels, --mem-fraction-static 0.80 на GB10 и 52 срещу 36 tok/s спрямо vLLM при gpt-oss-120b.
Whisper и Parakeet на DGX Spark: реч в текст, ноем. 2026 г.
Преобразуване на реч в текст на DGX Spark, ноември 2026 г.: Parakeet TDT 0.6B v3 при 283 пъти реално време на GB10, Whisper large-v3 при 19 до 25 пъти, с WER от Open ASR Leaderboard.
TensorRT-LLM на DGX Spark: trtllm-serve, NVFP4, tok/s (2026)
TensorRT-LLM на DGX Spark, ноември 2026 г.: контейнерът 1.3.0rc13 на NVIDIA, trtllm-serve с NVFP4, 38,65 tok/s при Llama 3.1 8B и кога настройката се изплаща.
Генериране на видео на DGX Spark: секунди на клип, ноември 2026 г.
Генериране на видео на DGX Spark, ноември 2026 г.: 5-секундни клипове с LTX-2.5 за около 70 s, Wan 2.2 5B 720p за 14 min и защо RTX 5090 е 2,4 до 5,5 пъти по-бърз.
Производителност и бенчмаркове
Измерени и отчетени скорости: потребители на Spark, пропускателна способност на паметта, CPU, изчисления, формати на квантизация и как се държи всяка GB10 машина под натоварване.
Колко потребители може да обслужи DGX Spark? Данни за едновременност
Колко потребители обслужва един DGX Spark, ноември 2026 г.: tok/s на потребител при 1 до 256 заявки, около 52 чат потока при 15 tok/s с MoE с 3B активни параметъра и оразмеряване на екипи.
Производителност на CPU на DGX Spark: бенчмаркове на GB10 срещу x86 и M5
Производителност на CPU на DGX Spark, ноември 2026 г.: GB10 постига 3123 single и 19 708 multi в Geekbench 6 и 675 GFLOPS в HPL, срещу Ryzen AI Max+ 395 и M5 Max.
Измерена пропускателна способност на паметта на DGX Spark: 273 GB/s срещу реалността
Измерена пропускателна способност на паметта на DGX Spark, ноември 2026 г.: 234 до 247 GB/s в clpeak, 200 до 213 GB/s в STREAM triad, 38 GB/s на CPU ядро и декодиране при 73 до 87%.
Скорост на квантизациите на DGX Spark: NVFP4 срещу FP8 срещу AWQ срещу GGUF
Най-бързата квантизация на DGX Spark, ноември 2026 г.: един модел при 31 tok/s в BF16, 50 до 55 в FP8, 65 до 66 в NVFP4, 81 в AWQ и кога NVFP4 изостава.
Измерени TFLOPS на DGX Spark: 1 PFLOP FP4 срещу реално matmul
Измерени TFLOPS на DGX Spark, ноември 2026 г.: 973 до 1022 sparse FP4 в микробенчмарк, 356 в CUTLASS GEMM, 77 до 99 BF16 устойчиво и какво използва prefill.
Термично ограничаване на GB10: устойчива скорост по OEM (2026)
Термично ограничаване на GB10 по производител: пет OEM машини останаха в рамките на 2,6% при vLLM prefill, докато пиковите температури на CPU бяха 74,7 до 90 °C. Истинският риск е фърмуерът.
Клъстери и мащабиране
Два Spark, парк, няколко модела на една машина и споделянето ѝ с екип.
Клъстер от DGX Spark: два Spark възела, настройка, ограничения и tok/s
Два DGX Spark дават 256 GB и, с тензорен паралелизъм, по-бързо декодиране: измерени 1,75× при Qwen3-32B, отчетени до около 1,8×. Кабели, имена на портове, настройка, модели, които изискват два Spark възела.
Мащабиране от един DGX Spark до парк
Кога повече единични Spark са по-добри от клъстер от два възела, как да разпределяте натоварването между независими възли и операционните компромиси при управлението на малък парк.
Управление на GPU паметта за няколко модела на един Spark
Разпределете 128 GB унифицирана памет между няколко модела или контейнера на един DGX Spark и разберете кога да преминете към клъстер от два възела или втори възел.
Мониторинг на натоварването на GPU и правилно оразмеряване на внедряването
Как да разчетете реалното натоварване на GPU и паметта на нает DGX Spark и да го използвате, за да решите дали да останете така, да преминете към клъстер от два възела или да разширите до парк.
Няколко контейнера и услуги на DGX Spark
Модели за Docker контейнери на един DGX Spark: кога обикновен docker-compose файл е достатъчен и кога натоварването го е надраснало.
Обновяване или смяна на модели без прекъсване
DGX Spark е една машина, така че истински обновявания на модела без прекъсване изискват втори Spark, към който да превключите. Ето какво включва такава конфигурация и честната алтернатива, ако приемете кратък прозорец за рестарт.
Достъп за екип и много потребители до споделен DGX Spark
Модели за споделяне на един нает DGX Spark в екип: отделни Linux потребители със собствени SSH ключове или шлюз отпред, така че повечето хора никога да не се нуждаят от shell.
Клъстер от DGX Spark с 4 или 8 възела: суич, настройка, tok/s
Клъстери от DGX Spark с 4 и 8 възела: поддръжка от NVIDIA от 22 октомври 2026 г., суичът и кабелите, настройка на NCCL, отчетени 52,6 tok/s при 8 възела и цена срещу 8x B200.
Kimi K3 и DeepSeek V4 на клъстери от DGX Spark: 1 до 8 възела
Колко DGX Spark са нужни за Kimi K3, DeepSeek V4, GLM-5.3 и MiniMax M3? Сметки за паметта за 1 до 8 възела и отчетени скорости до 132 tok/s на 4 Spark възела.
Операции
Мониторинг, резервни копия, сигурност и контрол на достъпа при самостоятелно хостване.
Мониторинг и наблюдаемост за самостоятелно хостван LLM
Какво да наблюдавате на един DGX Spark, изпълняващ LLM, и кои инструменти с отворен код вършат работата, от nvidia-smi до стек с Prometheus и Grafana. GPUwerk предоставя достъп до конзолата и API, а не продукт за мониторинг.
Резервни копия и възстановяване при бедствия за натоварването ви на DGX Spark
GPUwerk не пази копие на работното пространство на нает DGX Spark. Какво да архивирате, къде да го изпратите и колко често да го синхронизирате.
Тестване на плана за възстановяване при бедствия за самостоятелно хостван LLM
Резервно копие, от което не сте възстановявали, е хипотеза. Тренировки по възстановяване, game days и измерване на RTO/RPO за самостоятелно хостван LLM на нает GPU хардуер.
Укрепване на сигурността на нает GPU
Практическо укрепване в инстанцията за нает GPU: управление на SSH ключове, мрежово излагане, услуги без root, тайни и временно срещу постоянно състояние.
Добри практики за ротация на API ключове при частно внедряване на LLM
Ротация на API ключове и идентификационни данни за самостоятелно хостван inference endpoint: обхват, графици за ротация, отнемане и какво да автоматизирате спрямо ръчно.
Ограничаване на заявките и квоти за вътрешно внедряване на LLM
Самият DGX Spark няма ограничаване на заявките по потребител. Добавете го сами с ограниченията rpm/tpm и бюджетите по ключ в LiteLLM или с reverse proxy пред него.
Одитни логове за самостоятелно хостван LLM с изисквания за съответствие
Настройте одитни логове за заявки и отговори в собствения си контейнер на нает DGX Spark: какво да записвате, къде да го съхранявате и къде свършва отговорността на GPUwerk.
Настройка на SSO и контрол на достъпа за внедряване на LLM за екип
Слой за удостоверяване пред самостоятелно хостван inference endpoint, така че екипът да влиза със съществуващите си идентичности, вместо да споделя SSH ключове или API токени.
Стратегия за версии на моделите и връщане назад при самостоятелно хостване
Проследяване кои тегла и конфигурации на модели реално работят и чисто връщане назад, когато нова версия се представя по-слабо, при самостоятелно хостван DGX Spark.
За това как Spark се сравнява с други машини вижте сравненията. За самия хардуер вижте страницата със спецификации.