GPU облак
RTX 6000 Ada, самостоятелен.
Машина с един GPU NVIDIA RTX 6000 Ada Generation, 48 GB GDDR6 с ECC на архитектурата Ada Lovelace, на x86 хост. 0,75 $ на час, таксуване на минута, при същите условия като всяко друго ниво на GPUwerk.
Наема се по реда на заявките: стартирайте RTX 6000 Ada, когато има свободен капацитет, или се запишете в списъка му с чакащи в конзолата.
Спецификации
На възел. Всяка инстанция на GPUwerk, във всяко ниво, е една цяла машина само за вас.
| GPU | RTX 6000 Ada Generation, архитектура Ada Lovelace |
|---|---|
| Памет | 48 GB GDDR6 с ECC |
| Пропускателна способност на паметта | 960 GB/s |
| CUDA ядра | 18 176 |
| Макс. мощност | 300 W |
| Хост | x86 хост |
| Наемане | Един клиент на машина, никога споделена |
Данните за GPU са от NVIDIA RTX 6000 Ada. GPUwerk публикува стойности за tok/s и производителност при обучение само за изпълнения на собствения си хардуер. Вижте бенчмарковете на парка от DGX Spark за това как се отчитат.
Какво бихте пуснали на него?
48 GB с ECC: същата памет като при L40S, на карта от клас работна станция.
Inference на модели със среден размер
Модели до около 40B параметъра при FP8 или модел от класа 30B с място за KV кеша.
Рендиране и графика
RT ядра и драйвер от клас работна станция за рендиране, симулация или смесени конвейери за графика и AI.
LoRA fine-tuning
Обучение на адаптери за модели от класа 7B до 13B, което се побира в 48 GB с резерв.
Не е подходящ: обучение с няколко GPU
Няма NVLink, така че задача, при която няколко GPU трябва бързо да обменят данни, е за сървър с 8 GPU.
Какво се побира в 48 GB
Само тегла: паметта, разделена на байтовете на параметър. Оставете резерв за KV кеша, активациите и средата за изпълнение, често с 10 до 30% повече.
| Точност | На параметър | Най-голям модел, само тегла |
|---|---|---|
| FP16 / BF16 | 2 байта | около 24B параметъра |
| FP8 | 1 байт | около 48B параметъра |
| 4-битово квантизиран | 0,5 байта | около 96B параметъра (Ada няма нативен FP4; runtime-ът деквантизира) |
Плащания
| Цена | 0,75 $ на час, таксуване на минута |
|---|---|
| Плащания | На минута, от предплатен кредитен баланс |
| Такси | Без такси за изходящ трафик |
| Обвързване | Няма |
Цените са в USD, без приложимите данъци. Пълната механика на таксуването, включително какво прави спирането спрямо прекратяването, е на страницата с цени.
ЧЗВ
Мога ли да наема RTX 6000 Ada сега?
Стартирайте го от конзолата, когато има свободен капацитет; докато няма, конзолата предлага списък с чакащи и хората на опашката получават имейл един по един, като най-старите са първи. Капацитетът не се пази за никого: който стартира пръв, го получава.
Как работи таксуването при това ниво?
Същото като при всяко ниво на GPUwerk: на минута, от предплатен кредитен баланс, в USD, без приложимите данъци, без такси за изходящ трафик и без обвързване.
Трябва ви GPU време днес?
DGX Spark има 128 GB унифицирана памет и може да се наеме още сега за 0,79 $/час, таксуване на минута. Първо внасяне: платете 20 $, получете 30 $ кредит. Сравнете го с L40S или се запишете в списъка с чакащи за RTX 6000 Ada.