GPU облак
RTX PRO 6000, самостоятелен.
Машина с един GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, 96 GB GDDR7 с ECC на архитектурата Blackwell, на x86 хост. 1,89 $ на час, таксуване на минута, при същите условия като всяко друго ниво на GPUwerk.
Наема се по реда на заявките: стартирайте RTX PRO 6000, когато има свободен капацитет, или се запишете в списъка му с чакащи в конзолата.
Спецификации
На възел. Всяка инстанция на GPUwerk, във всяко ниво, е една цяла машина само за вас.
| GPU | RTX PRO 6000 Blackwell Server Edition, архитектура Blackwell |
|---|---|
| Памет | 96 GB GDDR7 с ECC |
| Пропускателна способност на паметта | 1597 GB/s |
| CUDA ядра | 24 064 |
| Макс. мощност | До 600 W, конфигурируемо |
| MIG | До 4 инстанции по 24 GB |
| Хост | x86 хост |
| Наемане | Един клиент на машина, никога споделена |
Данните за GPU са от NVIDIA RTX PRO 6000 Blackwell Server Edition. GPUwerk публикува стойности за tok/s и производителност при обучение само за изпълнения на собствения си хардуер. Вижте бенчмарковете на парка от DGX Spark за това как се отчитат.
Какво бихте пуснали на него?
96 GB на една карта, с Tensor Cores пето поколение, които изпълняват FP4.
Модели от класа 70B на един GPU
Модел 70B при FP8 се побира в 96 GB с малко място за KV кеша, без да се разделя между няколко GPU.
FP4 inference
Blackwell изпълнява FP4 нативно, така че 4-битов модел до около 192B параметъра се побира само по тегла.
Графика и AI на една карта
RT ядра и голям frame buffer за рендиране или симулация наред с работата с модели.
Не е подходящ: обучение с няколко GPU
Няма NVLink, така че задача, при която няколко GPU трябва бързо да обменят данни, е за сървър с 8 GPU.
Няколко по-малки задачи
MIG разделя картата на до четири изолирани GPU по 24 GB, за обслужване на повече от един модел едновременно.
Какво се побира в 96 GB
Само тегла: паметта, разделена на байтовете на параметър. Оставете резерв за KV кеша, активациите и средата за изпълнение, често с 10 до 30% повече.
| Точност | На параметър | Най-голям модел, само тегла |
|---|---|---|
| FP16 / BF16 | 2 байта | около 48B параметъра |
| FP8 | 1 байт | около 96B параметъра |
| FP4 (нативно на Blackwell) | 0,5 байта | около 192B параметъра |
Плащания
| Цена | 1,89 $ на час, таксуване на минута |
|---|---|
| Плащания | На минута, от предплатен кредитен баланс |
| Такси | Без такси за изходящ трафик |
| Обвързване | Няма |
Цените са в USD, без приложимите данъци. Пълната механика на таксуването, включително какво прави спирането спрямо прекратяването, е на страницата с цени.
ЧЗВ
Мога ли да наема RTX PRO 6000 сега?
Стартирайте го от конзолата, когато има свободен капацитет; докато няма, конзолата предлага списък с чакащи и хората на опашката получават имейл един по един, като най-старите са първи. Капацитетът не се пази за никого: който стартира пръв, го получава.
Как работи таксуването при това ниво?
Същото като при всяко ниво на GPUwerk: на минута, от предплатен кредитен баланс, в USD, без приложимите данъци, без такси за изходящ трафик и без обвързване.
Трябва ви GPU време днес?
DGX Spark има 128 GB унифицирана памет и може да се наеме още сега за 0,79 $/час, таксуване на минута. Първо внасяне: платете 20 $, получете 30 $ кредит. Вижте как се сравнява DGX Spark или се запишете в списъка с чакащи за RTX PRO 6000.