DGX Spark/Големи модели
Случай на употреба · Големи модели

Изпълнявайте модели от класа 70B до 120B в 128 GB унифицирана памет

Автор: Samuel Seidel · Обновено на 10 ноември 2026 г. · 7 мин. четене

DGX Spark има 128 GB памет, споделена от CPU и GPU, така че модели, които никога не биха се побрали на графична карта с 24 или 32 GB, се зареждат наведнъж. Да се побира не означава да е бързо. Паметта пренася 273 GB/s, а всеки генериран токен прочита активните тегла на модела веднъж. На един от моите Spark плътен Llama 3.3 70B генерира 6,0 токена в секунда при една заявка. Модел тип mixture-of-experts чете само част от теглата си на токен: за gpt-oss-120b се отчитат 58,7 tok/s на същия чип. Изберете модела според пропускателната способност, после наемете Spark за часовете, които ви трябват.

Първо внасяне: платете 20 $, получете 30 $ кредит, около 37 часа на един Spark. Таксуване на минута от предплатен кредит. Прекратете, когато приключите, и таксуването спира.

Какво се побира и колко бързо се изпълнява една заявка

Модел и форматПрочитани на токенЕдна заявкаИзточник
Qwen3-Coder 30B-A3B, AWQ 4-bitоколо 3B параметъра80,9 tok/sМое изпълнение, vLLM 0.27.1, 2 септ. 2026 г. (суров лог)
gpt-oss-120b, MXFP45,1B от 117B58,7 tok/sОтчетено: резултати на llama.cpp за DGX Spark, build 7941, 5 февр. 2026 г.
gpt-oss-120b, MXFP45,1B от 117B33,5 tok/sОтчетено: Dendro Logic, vLLM, промптове от 1500 токена и JSON изход, 22 апр. 2026 г.
Nemotron-3-Super-120B-A12B, NVFP412B от 120Bоколо 24 tok/sОтчетено: форум на NVIDIA, vLLM с поправка в CUTLASS, 29 март 2026 г.
Llama 3.3 70B, AWQ 4-bitвсички 70B (плътен)6,0 tok/sМое изпълнение, vLLM 0.27.1, 2 септ. 2026 г. (суров лог)
Nemotron Super 49B v1.5, NVFP4всички 49B (плътен)5,79 tok/sОтчетено: Dendro Logic, 22 апр. 2026 г.
Qwen3-235B-A22B, UD-Q4_K_XL (134 GB)22B от 235Bоколо 1,8 tok/s; не се побираОтчетено: форум на NVIDIA, llama.cpp, 17 дек. 2025 г.

Редовете „Отчетено“ са измервания на други хора, които събрах и проверих спрямо източниците им на 11 октомври 2026 г. за страницата с бенчмаркове; не съм ги възпроизвеждал. Двата реда за gpt-oss-120b показват колко енджинът и натоварването променят един модел на един чип. Броят параметри на gpt-oss-120b е от неговата model card, чрез калкулатора на паметта.

Защо плътен 70B е бавен, а MoE със 120B не е

Генерирането на токен означава еднократно прочитане на активните тегла от паметта, така че таванът е пропускателната способност на паметта, разделена на байтовете, прочитани на токен:

tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token

Llama 3.3 70B, 4-bit:  about 37 GB per token  → about 7.4 tok/s   (measured 6.0)
gpt-oss-120b, MXFP4:   about 3 GB per token   → about 90 tok/s    (reported 58.7)

Реалните енджини попадат между около половината и четири пети от тавана. Под около 10 tok/s моделът работи осезаемо бавно в чат прозорец, затова плътен 70B на един Spark е модел за пакетна обработка: при 128 едновременни заявки моето изпълнение със 70B достигна общо 485 tok/s, като се броят входните и генерираните токени, но всяка заявка се забави до 1,4 tok/s. Пълните криви на едновременност са на страницата с бенчмаркове.

Какво бих пуснал

Пуснете gpt-oss-120b с llama.cpp

За един потребител наведнъж llama.cpp е по-бързият енджин на този чип. Пуснете DGX Spark 1× с образа DGX OS, отворете терминала в браузъра, компилирайте llama.cpp за GB10 (5 до 10 минути) и стартирайте модела. Стъпките за компилиране са същите като в моето ръководство за llama.cpp.

apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev
git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp
cd /workspace/llama.cpp
cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real
cmake --build build --config Release --target llama-server -j

# downloads about 65 GB the first time
./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \
  --host 127.0.0.1 --port 30000

Когато логът покаже, че сървърът слуша, измерете собствената си скорост от втори терминал. llama-server връща своите времена с всеки отговор:

curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
  | python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'

Изтеглянето върви по часовника, така че го стартирайте първо и четете, докато се зарежда. За да достигнете сървъра от лаптопа си, използвайте SSH тунел със собствен ключ или го стартирайте с --host 0.0.0.0 --api-key и дълъг случаен ключ: всяка инстанция има собствен публичен IPv4 адрес. За няколко потребители едновременно vLLM групира заявките по-добре; ръководството за vLLM съдържа сметките за паметта при унифицирана памет.

Ограничения, които да знаете предварително

Цена и къде са Spark

0,79 $ на час за един Spark, таксуване на минута от предплатен кредит: 6,32 $ за осемчасов ден. Първо внасяне: платете 20 $, получете 30 $ кредит. Спряната инстанция запазва работното си пространство и се таксува със 75% от часовата цена. Прекратете я, когато приключите, и таксуването спира; това изтрива работното пространство. Цените са без ДДС, където е приложимо.

Моите собствени Spark възли са в център за данни в Храдец Кралове, Чехия. Партньорските Spark възли, притежавани и хоствани от партньори в техните собствени помещения, са в САЩ, Швеция, Нидерландия, Словакия и Хонконг; партньорът има физически достъп до своята машина. Конзолата показва държавата и дали е в ЕИП, преди да стартирате. Всяко местоположение предлага образите DGX OS и Ubuntu, използвани по-горе.

Кой стои зад това

GPUwerk е нов. Управлявам го аз, Samuel Seidel, чрез PRINT IT! SE, компания, регистрирана в Прага. Към 9 ноември 2026 г. 94 разработчици са стартирали 374 инстанции от септември насам. Статусът на живо е на status.gpuwerk.com, а страницата за контакт стига директно до мен, ако искате да проверите модел, преди да наемете.

ЧЗВ

Може ли DGX Spark да изпълнява модел 70B?

Да. Llama 3.3 70B в AWQ 4-bit е около 37 GiB тегла и се побира с резерв, но генерира 6,0 токена в секунда при една заявка на един от моите Spark (vLLM 0.27.1, 2 септември 2026 г.). Това е по-подходящо за пакетни задачи, отколкото за чат.

Побира ли се gpt-oss-120b на един DGX Spark?

Да. Неговите MXFP4 тегла са общо 65,2 GB и чете около 5,1B параметъра на токен. Поддръжниците на llama.cpp отчитат 58,7 tok/s за една заявка; Dendro Logic отчита 33,5 при vLLM с по-дълги промптове и JSON изход. Не съм го измервал на моя парк.

Ами модели, по-големи от 128 GB?

Нужни са два свързани Spark. Версия на Qwen3-235B-A22B от 134 GB работеше с около 1,8 tok/s на един Spark и около 12,5 на два, според доклад във форума за разработчици на NVIDIA. Клъстерът от два възела на GPUwerk струва 1,79 $ на час, когато конзолата го предлага.

Колко струва да пробвам голям модел?

0,79 $ на час за един Spark, таксуване на минута от предплатен кредит; първото изтегляне и компилирането на llama.cpp също вървят по този часовник. Първо внасяне: платете 20 $, получете 30 $ кредит, около 37 часа. Прекратете, когато приключите, и таксуването спира.

Първо внасяне: платете 20 $, получете 30 $ кредит

Заредете модел 120B на собствен Spark.

Самостоятелен DGX Spark със 128 GB унифицирана памет, 0,79 $/час, таксуване на минута. Прекратете, когато приключите, и таксуването спира.

Стартирайте сега