GPU облак
L4, самостоятелен.
Един GPU NVIDIA L4, 24 GB GDDR6 на архитектурата Ada Lovelace, на x86 хост. 0,49 $ на час, таксуване на минута, при същите условия като всяко друго ниво на GPUwerk.
Наема се по реда на заявките: стартирайте L4, когато има свободен капацитет, или се запишете в списъка му с чакащи в конзолата.
Спецификации
На GPU. GPU и неговата памет са само ваши за времето на наема.
| GPU | L4, архитектура Ada Lovelace |
|---|---|
| Памет | 24 GB GDDR6 |
| Пропускателна способност на паметта | 300 GB/s |
| CUDA ядра | 7 424 |
| Макс. мощност | До 72 W |
| Хост | x86 хост |
| Наемане | GPU е само ваш, докато го наемате, никога споделен |
Данните за GPU са от NVIDIA L4. GPUwerk публикува стойности за tok/s и производителност при обучение само за изпълнения на собствения си хардуер. Вижте бенчмарковете на парка от DGX Spark за това как се отчитат.
Какво бихте пуснали на него?
Карта за inference с ниска консумация: 24 GB при 72 W, за модели, които се побират, и трафик, който не изисква H100.
Inference на малки модели
Чат или completion модели до около 14B параметъра при FP8 и модели за embeddings или reranking зад API, където 24 GB са достатъчни.
Конвейери за видео и зрение
Хардуерно кодиране и декодиране на видео до GPU, за транскодиране или за модели за зрение, които четат видео кадри.
Разработка на ниска цена
Изграждане и тестване на стек за обслужване на евтин GPU, преди да го преместите на по-голям.
Не е подходящ: обучение и голям fine-tuning
24 GB оставят малко място за градиенти и състояние на оптимизатора, така че всичко отвъд малък LoRA е за H100 или по-голямо.
Трябва ви повече памет? Вижте L40S (48 GB) или H100 (80 GB).
Какво се побира в 24 GB
Само тегла: паметта, разделена на байтовете на параметър. Оставете резерв за KV кеша, активациите и средата за изпълнение, често с 10 до 30% повече.
| Точност | На параметър | Най-голям модел, само тегла |
|---|---|---|
| FP16 / BF16 | 2 байта | около 12B параметъра |
| FP8 | 1 байт | около 24B параметъра |
| 4-битово квантизиран | 0,5 байта | около 48B параметъра (Ada няма нативен FP4; runtime-ът деквантизира) |
Плащания
| Цена | 0,49 $ на час, таксуване на минута |
|---|---|
| Плащания | На минута, от предплатен кредитен баланс |
| Такси | Без такси за изходящ трафик |
| Обвързване | Няма |
Цените са в USD, без приложимите данъци. Пълната механика на таксуването, включително какво прави спирането спрямо прекратяването, е на страницата с цени.
ЧЗВ
Мога ли да наема L4 сега?
Стартирайте го от конзолата, когато има свободен капацитет; докато няма, конзолата предлага списък с чакащи и хората на опашката получават имейл един по един, като най-старите са първи. Капацитетът не се пази за никого: който стартира пръв, го получава.
Как работи таксуването при това ниво?
Същото като при всяко ниво на GPUwerk: на минута, от предплатен кредитен баланс, в USD, без приложимите данъци, без такси за изходящ трафик и без обвързване.
Трябва ви GPU време днес?
DGX Spark има 128 GB унифицирана памет и може да се наеме още сега за 0,79 $/час, таксуване на минута. Първо внасяне: платете 20 $, получете 30 $ кредит. Или стартирайте L4.