Изпълнявайте модели от класа 70B до 120B в 128 GB унифицирана памет
DGX Spark има 128 GB памет, споделена от CPU и GPU, така че модели, които никога не биха се побрали на графична карта с 24 или 32 GB, се зареждат наведнъж. Да се побира не означава да е бързо. Паметта пренася 273 GB/s, а всеки генериран токен прочита активните тегла на модела веднъж. На един от моите Spark плътен Llama 3.3 70B генерира 6,0 токена в секунда при една заявка. Модел тип mixture-of-experts чете само част от теглата си на токен: за gpt-oss-120b се отчитат 58,7 tok/s на същия чип. Изберете модела според пропускателната способност, после наемете Spark за часовете, които ви трябват.
Първо внасяне: платете 20 $, получете 30 $ кредит, около 37 часа на един Spark. Таксуване на минута от предплатен кредит. Прекратете, когато приключите, и таксуването спира.
Какво се побира и колко бързо се изпълнява една заявка
| Модел и формат | Прочитани на токен | Една заявка | Източник |
|---|---|---|---|
| Qwen3-Coder 30B-A3B, AWQ 4-bit | около 3B параметъра | 80,9 tok/s | Мое изпълнение, vLLM 0.27.1, 2 септ. 2026 г. (суров лог) |
| gpt-oss-120b, MXFP4 | 5,1B от 117B | 58,7 tok/s | Отчетено: резултати на llama.cpp за DGX Spark, build 7941, 5 февр. 2026 г. |
| gpt-oss-120b, MXFP4 | 5,1B от 117B | 33,5 tok/s | Отчетено: Dendro Logic, vLLM, промптове от 1500 токена и JSON изход, 22 апр. 2026 г. |
| Nemotron-3-Super-120B-A12B, NVFP4 | 12B от 120B | около 24 tok/s | Отчетено: форум на NVIDIA, vLLM с поправка в CUTLASS, 29 март 2026 г. |
| Llama 3.3 70B, AWQ 4-bit | всички 70B (плътен) | 6,0 tok/s | Мое изпълнение, vLLM 0.27.1, 2 септ. 2026 г. (суров лог) |
| Nemotron Super 49B v1.5, NVFP4 | всички 49B (плътен) | 5,79 tok/s | Отчетено: Dendro Logic, 22 апр. 2026 г. |
| Qwen3-235B-A22B, UD-Q4_K_XL (134 GB) | 22B от 235B | около 1,8 tok/s; не се побира | Отчетено: форум на NVIDIA, llama.cpp, 17 дек. 2025 г. |
Редовете „Отчетено“ са измервания на други хора, които събрах и проверих спрямо източниците им на 11 октомври 2026 г. за страницата с бенчмаркове; не съм ги възпроизвеждал. Двата реда за gpt-oss-120b показват колко енджинът и натоварването променят един модел на един чип. Броят параметри на gpt-oss-120b е от неговата model card, чрез калкулатора на паметта.
Защо плътен 70B е бавен, а MoE със 120B не е
Генерирането на токен означава еднократно прочитане на активните тегла от паметта, така че таванът е пропускателната способност на паметта, разделена на байтовете, прочитани на токен:
tokens/s ceiling ≈ 273 GB/s ÷ GB of active weights read per token Llama 3.3 70B, 4-bit: about 37 GB per token → about 7.4 tok/s (measured 6.0) gpt-oss-120b, MXFP4: about 3 GB per token → about 90 tok/s (reported 58.7)
Реалните енджини попадат между около половината и четири пети от тавана. Под около 10 tok/s моделът работи осезаемо бавно в чат прозорец, затова плътен 70B на един Spark е модел за пакетна обработка: при 128 едновременни заявки моето изпълнение със 70B достигна общо 485 tok/s, като се броят входните и генерираните токени, но всяка заявка се забави до 1,4 tok/s. Пълните криви на едновременност са на страницата с бенчмаркове.
Какво бих пуснал
- Модел от класа 120B, с който можете да разговаряте: gpt-oss-120b в MXFP4. Теглата са 65,2 GB, което оставя място за дълъг контекст, а моделът чете около 5B параметъра на токен.
- Първо скорост: Qwen3 mixture-of-experts модел при 4 бита, като Qwen3-30B-A3B или Qwen3.6-35B-A3B. Те четат около 3B параметъра на токен.
- Плътен 70B: само за пакетни задачи или когато ви трябва точно този модел. Очаквайте около 6 tok/s на заявка.
- Квантизирайте до 4 бита. MXFP4, NVFP4, AWQ или Q4_K_M намаляват наполовина байтовете на токен спрямо FP8 и приблизително удвояват тавана. Цената в качество се различава според формата; ръководството за скоростта на квантизациите ги сравнява на този чип.
- Над 128 GB: два свързани Spark, за 1,79 $ на час за клъстера от два възела, когато конзолата го предлага. Докладът за Qwen3-235B по-горе премина от около 1,8 tok/s на един Spark до около 12,5 на два. Ръководството за два възела описва какво дава сдвояването.
Пуснете gpt-oss-120b с llama.cpp
За един потребител наведнъж llama.cpp е по-бързият енджин на този чип. Пуснете DGX Spark 1× с образа DGX OS, отворете терминала в браузъра, компилирайте llama.cpp за GB10 (5 до 10 минути) и стартирайте модела. Стъпките за компилиране са същите като в моето ръководство за llama.cpp.
apt-get update && apt-get install -y build-essential cmake libcurl4-openssl-dev git clone https://github.com/ggml-org/llama.cpp /workspace/llama.cpp cd /workspace/llama.cpp cmake -B build -DGGML_CUDA=ON -DGGML_CURL=ON -DCMAKE_CUDA_ARCHITECTURES=121a-real cmake --build build --config Release --target llama-server -j # downloads about 65 GB the first time ./build/bin/llama-server -hf ggml-org/gpt-oss-120b-GGUF --jinja \ --host 127.0.0.1 --port 30000
Когато логът покаже, че сървърът слуша, измерете собствената си скорост от втори терминал. llama-server връща своите времена с всеки отговор:
curl -s http://127.0.0.1:30000/v1/chat/completions -H "Content-Type: application/json" \
-d '{"messages":[{"role":"user","content":"Explain memory bandwidth in three sentences."}],"max_tokens":300}' \
| python3 -c 'import json,sys; t=json.load(sys.stdin)["timings"]; print(round(t["predicted_per_second"],1), "tok/s")'
Изтеглянето върви по часовника, така че го стартирайте първо и четете, докато се зарежда. За да достигнете сървъра от лаптопа си, използвайте SSH тунел със собствен ключ или го стартирайте с --host 0.0.0.0 --api-key и дълъг случаен ключ: всяка инстанция има собствен публичен IPv4 адрес. За няколко потребители едновременно vLLM групира заявките по-добре; ръководството за vLLM съдържа сметките за паметта при унифицирана памет.
Ограничения, които да знаете предварително
- Не съм измервал gpt-oss-120b на моя парк. Числата му по-горе са отчетени от други, а промптовете ви ще дадат друг резултат. Измерете, преди да планирате около дадена стойност.
- Дългите промптове са бавни при големи плътни модели. Моето изпълнение със 70B прочете промпт от 8192 токена при 391 tok/s, около 21 секунди преди първия токен.
- Квантизацията струва качество. 4-битовият модел не е този с пълна точност. Проверете отговорите със собствените си промптове.
- Spark е ARM64 с GPU sm_121. Енджините и Python пакетите се нуждаят от aarch64 версии за него, а обикновен
pip install vllmможе да се инсталира без проблем и после да не стартира; ръководството за vLLM обяснява капана. - Работи в контейнер. На много Spark възли той има собствен Docker daemon, така че arm64 контейнерите на производителите работят; останалите изпълняват обикновен контейнер без Docker, където нативната компилация по-горе е пътят. Не можете да избирате кое.
- Без SLA и без резервни копия. Изтеглените модели извън
/workspaceсе губят при преизграждане, а прекратяването изтрива всичко.
Цена и къде са Spark
0,79 $ на час за един Spark, таксуване на минута от предплатен кредит: 6,32 $ за осемчасов ден. Първо внасяне: платете 20 $, получете 30 $ кредит. Спряната инстанция запазва работното си пространство и се таксува със 75% от часовата цена. Прекратете я, когато приключите, и таксуването спира; това изтрива работното пространство. Цените са без ДДС, където е приложимо.
Моите собствени Spark възли са в център за данни в Храдец Кралове, Чехия. Партньорските Spark възли, притежавани и хоствани от партньори в техните собствени помещения, са в САЩ, Швеция, Нидерландия, Словакия и Хонконг; партньорът има физически достъп до своята машина. Конзолата показва държавата и дали е в ЕИП, преди да стартирате. Всяко местоположение предлага образите DGX OS и Ubuntu, използвани по-горе.
Кой стои зад това
GPUwerk е нов. Управлявам го аз, Samuel Seidel, чрез PRINT IT! SE, компания, регистрирана в Прага. Към 9 ноември 2026 г. 94 разработчици са стартирали 374 инстанции от септември насам. Статусът на живо е на status.gpuwerk.com, а страницата за контакт стига директно до мен, ако искате да проверите модел, преди да наемете.
ЧЗВ
Може ли DGX Spark да изпълнява модел 70B?
Да. Llama 3.3 70B в AWQ 4-bit е около 37 GiB тегла и се побира с резерв, но генерира 6,0 токена в секунда при една заявка на един от моите Spark (vLLM 0.27.1, 2 септември 2026 г.). Това е по-подходящо за пакетни задачи, отколкото за чат.
Побира ли се gpt-oss-120b на един DGX Spark?
Да. Неговите MXFP4 тегла са общо 65,2 GB и чете около 5,1B параметъра на токен. Поддръжниците на llama.cpp отчитат 58,7 tok/s за една заявка; Dendro Logic отчита 33,5 при vLLM с по-дълги промптове и JSON изход. Не съм го измервал на моя парк.
Ами модели, по-големи от 128 GB?
Нужни са два свързани Spark. Версия на Qwen3-235B-A22B от 134 GB работеше с около 1,8 tok/s на един Spark и около 12,5 на два, според доклад във форума за разработчици на NVIDIA. Клъстерът от два възела на GPUwerk струва 1,79 $ на час, когато конзолата го предлага.
Колко струва да пробвам голям модел?
0,79 $ на час за един Spark, таксуване на минута от предплатен кредит; първото изтегляне и компилирането на llama.cpp също вървят по този часовник. Първо внасяне: платете 20 $, получете 30 $ кредит, около 37 часа. Прекратете, когато приключите, и таксуването спира.