Cloud GPU
L4, dedicat.
Un singur GPU NVIDIA L4, 24 GB GDDR6 pe arhitectura Ada Lovelace, pe o gazdă x86. 0,49 $ pe oră, facturat pe minut, în aceleași condiții ca orice alt nivel GPUwerk.
Închiriat în ordinea sosirii: lansați un L4 când există capacitate liberă sau înscrieți-vă pe lista lui de așteptare în consolă.
Specificații
Per GPU. GPU-ul și memoria lui sunt doar ale dvs. pe durata închirierii.
| GPU | L4, arhitectura Ada Lovelace |
|---|---|
| Memorie | 24 GB GDDR6 |
| Lățime de bandă a memoriei | 300 GB/s |
| Nuclee CUDA | 7.424 |
| Putere maximă | Până la 72 W |
| Găzduiți | Gazdă x86 |
| Închiriere | GPU-ul este doar al dvs. cât timp îl închiriați, niciodată partajat |
Cifrele GPU de pe NVIDIA L4. GPUwerk publică cifre de tok/s și de debit la antrenare doar pentru rulările pe propriul hardware. Vedeți benchmark-urile pe flota DGX Spark pentru modul în care sunt raportate.
Ce ați rula pe el?
O placă de inferență cu consum redus: 24 GB la 72 W, pentru modele care încap și trafic care nu necesită un H100.
Inferență pentru modele mici
Modele de chat sau completare de până la aproximativ 14B parametri la FP8 și modele de embedding sau reranking în spatele unui API, unde 24 GB sunt suficienți.
Pipeline-uri video și de viziune computerizată
Codare și decodare video hardware lângă GPU, pentru transcodare sau pentru modele de viziune computerizată care citesc cadre video.
Dezvoltare cu costuri reduse
Construirea și testarea unui stack de servire pe un GPU ieftin înainte de a-l muta pe unul mai mare.
Potrivire slabă: antrenare și fine-tuning mare
24 GB lasă puțin loc pentru gradienți și starea optimizatorului, așa că orice dincolo de un LoRA mic își are locul pe un H100 sau mai mare.
Aveți nevoie de mai multă memorie? Vedeți L40S (48 GB) sau H100 (80 GB).
Ce încape în 24 GB
Doar ponderile: memoria împărțită la octeții per parametru. Lăsați rezervă pentru cache-ul KV, activări și runtime, adesea cu 10 până la 30% mai mult.
| Precizie | Per parametru | Cel mai mare model, doar ponderile |
|---|---|---|
| FP16 / BF16 | 2 octeți | aproximativ 12B parametri |
| FP8 | 1 octet | aproximativ 24B parametri |
| Cuantizat pe 4 biți | 0,5 octeți | aproximativ 48B parametri (Ada nu are FP4 nativ; runtime-ul decuantizează) |
Facturare
| Tarif | 0,49 $ pe oră, facturat pe minut |
|---|---|
| Facturare | Pe minut, din soldul de credit preplătit |
| Comisioane | Fără taxe pentru traficul de ieșire |
| Angajament | Niciunul |
Prețurile sunt în USD, fără taxele aplicabile. Mecanismul complet de facturare, inclusiv ce face o oprire față de o terminare, este pe pagina de prețuri.
Întrebări frecvente
Pot închiria acum un L4?
Lansați-l din consolă când există capacitate liberă; cât timp nu există, consola oferă o listă de așteptare, iar persoanele de la coadă primesc e-mail una câte una, începând cu cea mai veche. Capacitatea nu este rezervată pentru nimeni: cine lansează primul o obține.
Cum funcționează facturarea pe acest nivel?
La fel ca la orice nivel GPUwerk: pe minut, din soldul de credit preplătit, în USD, fără taxele aplicabile, fără taxe pentru traficul de ieșire și fără angajament.
Aveți nevoie de timp GPU azi?
Un DGX Spark are 128 GB de memorie unificată și poate fi închiriat acum, la 0,79 $/oră facturat pe minut. Prima reîncărcare: plătiți 20 $, primiți 30 $ credit. Sau lansați un L4.