GPU oblak

L4, namjenski.

Jedan NVIDIA L4 GPU, 24 GB GDDR6 na arhitekturi Ada Lovelace, na x86 hostu. 0,49 USD po satu, naplata po minuti, pod istim uvjetima kao i sve ostale GPUwerk razine.

Iznajmljuje se po redoslijedu prijava: pokrenite L4 kad je kapacitet slobodan ili se prijavite na njegovu listu čekanja u konzoli.

Specifikacije

Po GPU-u. GPU i njegova memorija samo su vaši za vrijeme najma.

NVIDIA L4
GPUL4, arhitektura Ada Lovelace
Memorija24 GB GDDR6
Propusnost memorije300 GB/s
CUDA jezgre7.424
Najveća snagaDo 72 W
Hostx86 host
Dodjela korisnicimaGPU je samo vaš dok ga unajmljujete, nikad se ne dijeli

Podaci o GPU-u s NVIDIA L4. GPUwerk objavljuje podatke o tok/s i propusnosti treniranja samo za mjerenja na vlastitom hardveru. Pogledajte mjerenja performansi flote DGX Sparkova za način izvještavanja.

Što biste na njemu pokrenuli?

Kartica za inferenciju niske potrošnje: 24 GB pri 72 W, za modele koji stanu i promet kojem ne treba H100.

Inferencija na malim modelima

Modeli za razgovor ili dovršavanje do otprilike 14B parametara u FP8 te embedding ili reranking modeli iza API-ja, gdje je 24 GB dovoljno.

Video i vizualni procesi

Hardversko kodiranje i dekodiranje videa uz GPU, za transkodiranje ili za modele vida koji čitaju video sličice.

Jeftin razvoj

Izgradnja i testiranje serving stacka na jeftinom GPU-u prije prelaska na veći.

Loš izbor: treniranje i velika fina podešavanja

24 GB ostavlja malo mjesta za gradijente i stanje optimizatora, pa sve osim male LoRA-e pripada na H100 ili veći stroj.

Treba vam više memorije? Pogledajte L40S (48 GB) ili H100 (80 GB).

Što stane u 24 GB

Samo težine: memorija podijeljena s brojem bajtova po parametru. Ostavite rezervu za KV predmemoriju, aktivacije i izvođenje, često 10 do 30 % više.

Najveći model samo po težinama na jednom L4
PreciznostPo parametruNajveći model, samo težine
FP16 / BF162 bajtaoko 12B parametara
FP81 bajtoko 24B parametara
4-bitna kvantizacija0,5 bajtaoko 48B parametara (Ada nema izvorni FP4; okruženje za izvođenje dekvantizira)

Naplata

Cijena0,49 USD po satu, naplata po minuti
NaplataPo minuti, iz unaprijed plaćenog stanja kredita
NaknadeBez naknada za izlazni promet
ObvezaNišta

Cijene su u USD, bez primjenjivog poreza. Potpuni mehanizam naplate, uključujući razliku između zaustavljanja i ukidanja instance, nalazi se na stranici s cijenama.

Česta pitanja

Mogu li sada unajmiti L4?

Pokrenite ga iz konzole kada je kapacitet slobodan; dok ga nema, konzola nudi listu čekanja i ljudima u redu šalje e-poštu jednom po jednom, počevši od najstarijeg. Kapacitet se ni za koga ne rezervira: dobiva ga onaj tko prvi pokrene.

Kako naplata funkcionira na ovoj razini?

Isto kao na svakoj GPUwerkovoj razini: po minuti, iz unaprijed plaćenog stanja kredita, u USD, bez primjenjivog poreza, bez naknada za izlazni promet i bez obveza.

Treba vam GPU vrijeme danas?

DGX Spark ima 128 GB objedinjene memorije i može se odmah unajmiti za 0,79 USD/sat uz naplatu po minuti. Prva nadoplata: platite 20 USD, dobijete 30 USD kredita. Ili pokrenite L4.