GPU облак
B300, самостоятелен.
Един GPU NVIDIA B300, 288 GB HBM3e на архитектурата Blackwell Ultra, на x86 хост. 6,49 $ на час, таксуване на минута, при същите условия като всяко друго ниво на GPUwerk.
Наема се по реда на заявките: стартирайте B300, когато има свободен капацитет, или се запишете в списъка му с чакащи в конзолата.
Спецификации
На GPU. GPU и неговата памет са само ваши за времето на наема.
| GPU | B300, архитектура Blackwell Ultra |
|---|---|
| Памет | 288 GB HBM3e |
| Пропускателна способност на паметта | 8 TB/s |
| Точност | FP4 и FP8 с второ поколение Transformer Engine |
| Хост | x86 хост |
| Наемане | GPU е само ваш, докато го наемате, никога споделен |
Данните за GPU са от NVIDIA HGX. GPUwerk публикува стойности за tok/s и производителност при обучение само за изпълнения на собствения си хардуер. Вижте бенчмарковете на парка от DGX Spark за това как се отчитат.
Какво бихте пуснали на него?
Blackwell Ultra с 288 GB на GPU: най-много памет на един GPU в каталога на GPUwerk.
Най-големите модели на един GPU
До около 288B параметъра при FP8 или около 576B при FP4, само по тегла, на един GPU.
Разсъждение и дълъг контекст
Памет за дългите KV кешове, които натрупват моделите за разсъждение и много дългите промптове.
Обучение, ограничено от паметта
Fine-tuning и обучения, които изчерпват паметта на B200.
Не е подходящ: малки или средни модели
Модел, който се побира в 80 до 141 GB, струва по-малко на час на H100 или H200.
Нужни са ви и осемте GPU на един сървър? Вижте сървъра с 8× B300.
Какво се побира в 288 GB
Само тегла: паметта, разделена на байтовете на параметър. Оставете резерв за KV кеша, активациите и средата за изпълнение, често с 10 до 30% повече.
| Точност | На параметър | Най-голям модел, само тегла |
|---|---|---|
| FP16 / BF16 | 2 байта | около 144B параметъра |
| FP8 | 1 байт | около 288B параметъра |
| FP4 (нативно на Blackwell Ultra) | 0,5 байта | около 576B параметъра |
Плащания
| Цена | 6,49 $ на час, таксуване на минута |
|---|---|
| Плащания | На минута, от предплатен кредитен баланс |
| Такси | Без такси за изходящ трафик |
| Обвързване | Няма |
Цените са в USD, без приложимите данъци. Пълната механика на таксуването, включително какво прави спирането спрямо прекратяването, е на страницата с цени.
ЧЗВ
Мога ли да наема B300 сега?
Стартирайте го от конзолата, когато има свободен капацитет; докато няма, конзолата предлага списък с чакащи и хората на опашката получават имейл един по един, като най-старите са първи. Капацитетът не се пази за никого: който стартира пръв, го получава.
Как работи таксуването при това ниво?
Същото като при всяко ниво на GPUwerk: на минута, от предплатен кредитен баланс, в USD, без приложимите данъци, без такси за изходящ трафик и без обвързване.
Трябва ви GPU време днес?
DGX Spark има 128 GB унифицирана памет и може да се наеме още сега за 0,79 $/час, таксуване на минута. Първо внасяне: платете 20 $, получете 30 $ кредит. Или стартирайте B300.