GPU облак

RTX PRO 6000, самостоятелен.

Машина с един GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, 96 GB GDDR7 с ECC на архитектурата Blackwell, на x86 хост. 1,89 $ на час, таксуване на минута, при същите условия като всяко друго ниво на GPUwerk.

Наема се по реда на заявките: стартирайте RTX PRO 6000, когато има свободен капацитет, или се запишете в списъка му с чакащи в конзолата.

Спецификации

На възел. Всяка инстанция на GPUwerk, във всяко ниво, е една цяла машина само за вас.

NVIDIA RTX PRO 6000 Blackwell Server Edition
GPURTX PRO 6000 Blackwell Server Edition, архитектура Blackwell
Памет96 GB GDDR7 с ECC
Пропускателна способност на паметта1597 GB/s
CUDA ядра24 064
Макс. мощностДо 600 W, конфигурируемо
MIGДо 4 инстанции по 24 GB
Хостx86 хост
НаеманеЕдин клиент на машина, никога споделена

Данните за GPU са от NVIDIA RTX PRO 6000 Blackwell Server Edition. GPUwerk публикува стойности за tok/s и производителност при обучение само за изпълнения на собствения си хардуер. Вижте бенчмарковете на парка от DGX Spark за това как се отчитат.

Какво бихте пуснали на него?

96 GB на една карта, с Tensor Cores пето поколение, които изпълняват FP4.

Модели от класа 70B на един GPU

Модел 70B при FP8 се побира в 96 GB с малко място за KV кеша, без да се разделя между няколко GPU.

FP4 inference

Blackwell изпълнява FP4 нативно, така че 4-битов модел до около 192B параметъра се побира само по тегла.

Графика и AI на една карта

RT ядра и голям frame buffer за рендиране или симулация наред с работата с модели.

Не е подходящ: обучение с няколко GPU

Няма NVLink, така че задача, при която няколко GPU трябва бързо да обменят данни, е за сървър с 8 GPU.

Няколко по-малки задачи

MIG разделя картата на до четири изолирани GPU по 24 GB, за обслужване на повече от един модел едновременно.

Какво се побира в 96 GB

Само тегла: паметта, разделена на байтовете на параметър. Оставете резерв за KV кеша, активациите и средата за изпълнение, често с 10 до 30% повече.

Най-големият модел само по тегла на един RTX PRO 6000
ТочностНа параметърНай-голям модел, само тегла
FP16 / BF162 байтаоколо 48B параметъра
FP81 байтоколо 96B параметъра
FP4 (нативно на Blackwell)0,5 байтаоколо 192B параметъра

Плащания

Цена1,89 $ на час, таксуване на минута
ПлащанияНа минута, от предплатен кредитен баланс
ТаксиБез такси за изходящ трафик
ОбвързванеНяма

Цените са в USD, без приложимите данъци. Пълната механика на таксуването, включително какво прави спирането спрямо прекратяването, е на страницата с цени.

ЧЗВ

Мога ли да наема RTX PRO 6000 сега?

Стартирайте го от конзолата, когато има свободен капацитет; докато няма, конзолата предлага списък с чакащи и хората на опашката получават имейл един по един, като най-старите са първи. Капацитетът не се пази за никого: който стартира пръв, го получава.

Как работи таксуването при това ниво?

Същото като при всяко ниво на GPUwerk: на минута, от предплатен кредитен баланс, в USD, без приложимите данъци, без такси за изходящ трафик и без обвързване.

Трябва ви GPU време днес?

DGX Spark има 128 GB унифицирана памет и може да се наеме още сега за 0,79 $/час, таксуване на минута. Първо внасяне: платете 20 $, получете 30 $ кредит. Вижте как се сравнява DGX Spark или се запишете в списъка с чакащи за RTX PRO 6000.