Cloud GPU

L4, dedicat.

Un singur GPU NVIDIA L4, 24 GB GDDR6 pe arhitectura Ada Lovelace, pe o gazdă x86. 0,49 $ pe oră, facturat pe minut, în aceleași condiții ca orice alt nivel GPUwerk.

Închiriat în ordinea sosirii: lansați un L4 când există capacitate liberă sau înscrieți-vă pe lista lui de așteptare în consolă.

Specificații

Per GPU. GPU-ul și memoria lui sunt doar ale dvs. pe durata închirierii.

NVIDIA L4
GPUL4, arhitectura Ada Lovelace
Memorie24 GB GDDR6
Lățime de bandă a memoriei300 GB/s
Nuclee CUDA7.424
Putere maximăPână la 72 W
GăzduițiGazdă x86
ÎnchiriereGPU-ul este doar al dvs. cât timp îl închiriați, niciodată partajat

Cifrele GPU de pe NVIDIA L4. GPUwerk publică cifre de tok/s și de debit la antrenare doar pentru rulările pe propriul hardware. Vedeți benchmark-urile pe flota DGX Spark pentru modul în care sunt raportate.

Ce ați rula pe el?

O placă de inferență cu consum redus: 24 GB la 72 W, pentru modele care încap și trafic care nu necesită un H100.

Inferență pentru modele mici

Modele de chat sau completare de până la aproximativ 14B parametri la FP8 și modele de embedding sau reranking în spatele unui API, unde 24 GB sunt suficienți.

Pipeline-uri video și de viziune computerizată

Codare și decodare video hardware lângă GPU, pentru transcodare sau pentru modele de viziune computerizată care citesc cadre video.

Dezvoltare cu costuri reduse

Construirea și testarea unui stack de servire pe un GPU ieftin înainte de a-l muta pe unul mai mare.

Potrivire slabă: antrenare și fine-tuning mare

24 GB lasă puțin loc pentru gradienți și starea optimizatorului, așa că orice dincolo de un LoRA mic își are locul pe un H100 sau mai mare.

Aveți nevoie de mai multă memorie? Vedeți L40S (48 GB) sau H100 (80 GB).

Ce încape în 24 GB

Doar ponderile: memoria împărțită la octeții per parametru. Lăsați rezervă pentru cache-ul KV, activări și runtime, adesea cu 10 până la 30% mai mult.

Cel mai mare model doar după ponderi pe un L4
PreciziePer parametruCel mai mare model, doar ponderile
FP16 / BF162 octețiaproximativ 12B parametri
FP81 octetaproximativ 24B parametri
Cuantizat pe 4 biți0,5 octețiaproximativ 48B parametri (Ada nu are FP4 nativ; runtime-ul decuantizează)

Facturare

Tarif0,49 $ pe oră, facturat pe minut
FacturarePe minut, din soldul de credit preplătit
ComisioaneFără taxe pentru traficul de ieșire
AngajamentNiciunul

Prețurile sunt în USD, fără taxele aplicabile. Mecanismul complet de facturare, inclusiv ce face o oprire față de o terminare, este pe pagina de prețuri.

Întrebări frecvente

Pot închiria acum un L4?

Lansați-l din consolă când există capacitate liberă; cât timp nu există, consola oferă o listă de așteptare, iar persoanele de la coadă primesc e-mail una câte una, începând cu cea mai veche. Capacitatea nu este rezervată pentru nimeni: cine lansează primul o obține.

Cum funcționează facturarea pe acest nivel?

La fel ca la orice nivel GPUwerk: pe minut, din soldul de credit preplătit, în USD, fără taxele aplicabile, fără taxe pentru traficul de ieșire și fără angajament.

Aveți nevoie de timp GPU azi?

Un DGX Spark are 128 GB de memorie unificată și poate fi închiriat acum, la 0,79 $/oră facturat pe minut. Prima reîncărcare: plătiți 20 $, primiți 30 $ credit. Sau lansați un L4.