GPU облак

L4, самостоятелен.

Един GPU NVIDIA L4, 24 GB GDDR6 на архитектурата Ada Lovelace, на x86 хост. 0,49 $ на час, таксуване на минута, при същите условия като всяко друго ниво на GPUwerk.

Наема се по реда на заявките: стартирайте L4, когато има свободен капацитет, или се запишете в списъка му с чакащи в конзолата.

Спецификации

На GPU. GPU и неговата памет са само ваши за времето на наема.

NVIDIA L4
GPUL4, архитектура Ada Lovelace
Памет24 GB GDDR6
Пропускателна способност на паметта300 GB/s
CUDA ядра7 424
Макс. мощностДо 72 W
Хостx86 хост
НаеманеGPU е само ваш, докато го наемате, никога споделен

Данните за GPU са от NVIDIA L4. GPUwerk публикува стойности за tok/s и производителност при обучение само за изпълнения на собствения си хардуер. Вижте бенчмарковете на парка от DGX Spark за това как се отчитат.

Какво бихте пуснали на него?

Карта за inference с ниска консумация: 24 GB при 72 W, за модели, които се побират, и трафик, който не изисква H100.

Inference на малки модели

Чат или completion модели до около 14B параметъра при FP8 и модели за embeddings или reranking зад API, където 24 GB са достатъчни.

Конвейери за видео и зрение

Хардуерно кодиране и декодиране на видео до GPU, за транскодиране или за модели за зрение, които четат видео кадри.

Разработка на ниска цена

Изграждане и тестване на стек за обслужване на евтин GPU, преди да го преместите на по-голям.

Не е подходящ: обучение и голям fine-tuning

24 GB оставят малко място за градиенти и състояние на оптимизатора, така че всичко отвъд малък LoRA е за H100 или по-голямо.

Трябва ви повече памет? Вижте L40S (48 GB) или H100 (80 GB).

Какво се побира в 24 GB

Само тегла: паметта, разделена на байтовете на параметър. Оставете резерв за KV кеша, активациите и средата за изпълнение, често с 10 до 30% повече.

Най-големият модел само по тегла на един L4
ТочностНа параметърНай-голям модел, само тегла
FP16 / BF162 байтаоколо 12B параметъра
FP81 байтоколо 24B параметъра
4-битово квантизиран0,5 байтаоколо 48B параметъра (Ada няма нативен FP4; runtime-ът деквантизира)

Плащания

Цена0,49 $ на час, таксуване на минута
ПлащанияНа минута, от предплатен кредитен баланс
ТаксиБез такси за изходящ трафик
ОбвързванеНяма

Цените са в USD, без приложимите данъци. Пълната механика на таксуването, включително какво прави спирането спрямо прекратяването, е на страницата с цени.

ЧЗВ

Мога ли да наема L4 сега?

Стартирайте го от конзолата, когато има свободен капацитет; докато няма, конзолата предлага списък с чакащи и хората на опашката получават имейл един по един, като най-старите са първи. Капацитетът не се пази за никого: който стартира пръв, го получава.

Как работи таксуването при това ниво?

Същото като при всяко ниво на GPUwerk: на минута, от предплатен кредитен баланс, в USD, без приложимите данъци, без такси за изходящ трафик и без обвързване.

Трябва ви GPU време днес?

DGX Spark има 128 GB унифицирана памет и може да се наеме още сега за 0,79 $/час, таксуване на минута. Първо внасяне: платете 20 $, получете 30 $ кредит. Или стартирайте L4.