GPU облак

RTX 6000 Ada, самостоятелен.

Машина с един GPU NVIDIA RTX 6000 Ada Generation, 48 GB GDDR6 с ECC на архитектурата Ada Lovelace, на x86 хост. 0,75 $ на час, таксуване на минута, при същите условия като всяко друго ниво на GPUwerk.

Наема се по реда на заявките: стартирайте RTX 6000 Ada, когато има свободен капацитет, или се запишете в списъка му с чакащи в конзолата.

Спецификации

На възел. Всяка инстанция на GPUwerk, във всяко ниво, е една цяла машина само за вас.

NVIDIA RTX 6000 Ada Generation
GPURTX 6000 Ada Generation, архитектура Ada Lovelace
Памет48 GB GDDR6 с ECC
Пропускателна способност на паметта960 GB/s
CUDA ядра18 176
Макс. мощност300 W
Хостx86 хост
НаеманеЕдин клиент на машина, никога споделена

Данните за GPU са от NVIDIA RTX 6000 Ada. GPUwerk публикува стойности за tok/s и производителност при обучение само за изпълнения на собствения си хардуер. Вижте бенчмарковете на парка от DGX Spark за това как се отчитат.

Какво бихте пуснали на него?

48 GB с ECC: същата памет като при L40S, на карта от клас работна станция.

Inference на модели със среден размер

Модели до около 40B параметъра при FP8 или модел от класа 30B с място за KV кеша.

Рендиране и графика

RT ядра и драйвер от клас работна станция за рендиране, симулация или смесени конвейери за графика и AI.

LoRA fine-tuning

Обучение на адаптери за модели от класа 7B до 13B, което се побира в 48 GB с резерв.

Не е подходящ: обучение с няколко GPU

Няма NVLink, така че задача, при която няколко GPU трябва бързо да обменят данни, е за сървър с 8 GPU.

Какво се побира в 48 GB

Само тегла: паметта, разделена на байтовете на параметър. Оставете резерв за KV кеша, активациите и средата за изпълнение, често с 10 до 30% повече.

Най-големият модел само по тегла на един RTX 6000 Ada
ТочностНа параметърНай-голям модел, само тегла
FP16 / BF162 байтаоколо 24B параметъра
FP81 байтоколо 48B параметъра
4-битово квантизиран0,5 байтаоколо 96B параметъра (Ada няма нативен FP4; runtime-ът деквантизира)

Плащания

Цена0,75 $ на час, таксуване на минута
ПлащанияНа минута, от предплатен кредитен баланс
ТаксиБез такси за изходящ трафик
ОбвързванеНяма

Цените са в USD, без приложимите данъци. Пълната механика на таксуването, включително какво прави спирането спрямо прекратяването, е на страницата с цени.

ЧЗВ

Мога ли да наема RTX 6000 Ada сега?

Стартирайте го от конзолата, когато има свободен капацитет; докато няма, конзолата предлага списък с чакащи и хората на опашката получават имейл един по един, като най-старите са първи. Капацитетът не се пази за никого: който стартира пръв, го получава.

Как работи таксуването при това ниво?

Същото като при всяко ниво на GPUwerk: на минута, от предплатен кредитен баланс, в USD, без приложимите данъци, без такси за изходящ трафик и без обвързване.

Трябва ви GPU време днес?

DGX Spark има 128 GB унифицирана памет и може да се наеме още сега за 0,79 $/час, таксуване на минута. Първо внасяне: платете 20 $, получете 30 $ кредит. Сравнете го с L40S или се запишете в списъка с чакащи за RTX 6000 Ada.