GPU облак

L40S, самостоятелен.

Машина с един GPU L40S, 48 GB GDDR6 на архитектурата Ada Lovelace на NVIDIA, на x86 хост. 0,99 $ на час, таксуване на минута, при същите условия като всяко друго ниво на GPUwerk.

Наема се по реда на заявките: стартирайте L40S, когато има свободен капацитет, или се запишете в списъка му с чакащи в конзолата.

Спецификации

На възел. Всяка инстанция на GPUwerk, във всяко ниво, е една цяла машина само за вас.

NVIDIA L40S
GPUL40S, архитектура Ada Lovelace
Памет48 GB GDDR6
Хостx86 хост
НаеманеЕдин клиент на машина, никога споделена

GPUwerk публикува стойности за tok/s и производителност при обучение само за изпълнения на собствения си хардуер. Вижте бенчмарковете на парка от DGX Spark за това как се отчитат.

Какво бихте пуснали на него?

48 GB поставят L40S между 32 GB на 5090 и 128 GB на Spark, с ECC памет от класа на центровете за данни.

Inference на модели със среден размер

Модели до около 40B параметъра при FP8 или модел от класа 30B с място за KV кеша.

Смесени графика и AI

RT ядра и медиен енджин наред с FP8 тензорни ядра, за конвейери, които рендират и изпълняват inference на една карта.

LoRA fine-tuning

Обучение на адаптери за модели от класа 7B до 13B, което се побира в 48 GB с резерв.

Не е подходящ: обучение с няколко GPU

Няма NVLink, така че задача, при която няколко GPU трябва бързо да обменят данни, е за сървър с 8 GPU.

Какво се побира в 48 GB

Само тегла: паметта, разделена на байтовете на параметър. Оставете резерв за KV кеша, активациите и средата за изпълнение, често с 10 до 30% повече.

Най-големият модел само по тегла на един L40S
ТочностНа параметърНай-голям модел, само тегла
FP16 / BF162 байтаоколо 24B параметъра
FP81 байтоколо 48B параметъра
4-битово квантизиран0,5 байтаоколо 96B параметъра (Ada няма нативен FP4; runtime-ът деквантизира)

Плащания

Цена0,99 $ на час, таксуване на минута
ПлащанияНа минута, от предплатен кредитен баланс
ТаксиБез такси за изходящ трафик
ОбвързванеНяма

Цените са в USD, без приложимите данъци. Пълната механика на таксуването, включително какво прави спирането спрямо прекратяването, е на страницата с цени.

ЧЗВ

Мога ли да наема L40S сега?

Стартирайте го от конзолата, когато има свободен капацитет; докато няма, конзолата предлага списък с чакащи и хората на опашката получават имейл един по един, като най-старите са първи. Капацитетът не се пази за никого: който стартира пръв, го получава.

Как работи таксуването при това ниво?

Същото като при всяко ниво на GPUwerk: на минута, от предплатен кредитен баланс, в USD, без приложимите данъци, без такси за изходящ трафик и без обвързване.

Трябва ви GPU време днес?

DGX Spark има 128 GB унифицирана памет и може да се наеме още сега за 0,79 $/час, таксуване на минута. Първо внасяне: платете 20 $, получете 30 $ кредит. Вижте как се сравнява Spark с дискретна карта или се запишете в списъка с чакащи за L40S.