GPU-felhő

L4, dedikált.

Egyetlen NVIDIA L4 GPU, 24 GB GDDR6 az Ada Lovelace architektúrán, x86-os hoszton. 0,49 USD óránként, percalapú számlázással, ugyanolyan feltételekkel, mint minden más GPUwerk-csomag.

Érkezési sorrendben bérelhető: indítson egy L4-et, amikor van szabad kapacitás, vagy iratkozzon fel a várólistájára a konzolban.

Specifikációk

GPU-nként. A GPU és a memóriája a bérlés idejére csak az Öné.

NVIDIA L4
GPUL4, Ada Lovelace architektúra
Memória24 GB GDDR6
Memória-sávszélesség300 GB/s
CUDA-magok7 424
Max. teljesítményLegfeljebb 72 W
Üzemeltetésx86-os hoszt
Bérlési módA GPU a bérlés idejére csak az Öné, soha nem megosztott

GPU-adatok forrása: NVIDIA L4. A GPUwerk csak a saját hardverén végzett futtatások tok/s- és tanítási átviteli adatait teszi közzé. Hogy ezeket hogyan közöljük, lásd a DGX Spark-flotta benchmarkjainál.

Mit futtatna rajta?

Alacsony fogyasztású inferenciakártya: 24 GB 72 W-on, olyan modellekhez, amelyek elférnek, és olyan forgalomhoz, amelyhez nem kell H100.

Kis modellek inferenciája

Csevegő- vagy completion-modellek legfeljebb körülbelül 14B paraméterig FP8-ban, valamint beágyazási vagy rangsoroló modellek API mögött, ahol 24 GB elég.

Videó- és látásfeldolgozó folyamatok

Hardveres videókódolás és -dekódolás a GPU mellett, átkódoláshoz vagy videókockákat olvasó látásmodellekhez.

Olcsó fejlesztés

Kiszolgálási stack építése és tesztelése olcsó GPU-n, mielőtt nagyobbra kerül.

Nem ideális: tanítás és nagy finomhangolások

A 24 GB kevés helyet hagy a gradienseknek és az optimalizálóállapotnak, így ami egy kis LoRA-nál nagyobb, az H100-ra vagy nagyobbra való.

Több memória kell? Nézze meg az L40S-t (48 GB) vagy a H100-at (80 GB).

Mi fér el 24 GB-ban

Csak súlyok: memória osztva a paraméterenkénti bájtokkal. Hagyjon tartalékot a KV-gyorsítótárnak, az aktivációknak és a futtatókörnyezetnek, gyakran 10–30%-kal többet.

A legnagyobb modell pusztán a súlyok alapján egy L4-en
PontosságParaméterenkéntLegnagyobb modell, csak súlyok
FP16 / BF162 bájtkörülbelül 12B paraméter
FP81 bájtkörülbelül 24B paraméter
4 bitre kvantált0,5 bájtkörülbelül 48B paraméter (az Ada nem támogat natív FP4-et; a futtatókörnyezet dekvantál)

Számlázás

Díj0,49 USD óránként, percalapú számlázással
SzámlázásPercalapon, előre fizetett kreditegyenlegből
DíjakNincs kimenő forgalmi díj
KötelezettségvállalásNincs

Az árak USD-ben, az alkalmazandó adók nélkül értendők. A számlázás teljes működése, beleértve azt is, mit jelent a leállítás és a megszüntetés, az árak oldalán található.

GYIK

Bérelhetek most L4-et?

Indítsa a konzolból, amikor van szabad kapacitás; amíg nincs, a konzol várólistát kínál, és a sorban állóknak egyenként, a legrégebbitől kezdve küldünk e-mailt. A kapacitást senkinek sem tartjuk fenn: aki elsőként indít példányt, azé.

Hogyan működik a számlázás ebben a csomagban?

Ugyanúgy, mint minden GPUwerk-csomagnál: percalapon, előre fizetett kreditegyenlegből, USD-ben, az alkalmazandó adók nélkül, kimenő forgalmi díj és kötelezettség nélkül.

Ma kell GPU-idő?

A DGX Spark 128 GB egységes memóriával rendelkezik, és most bérelhető, 0,79 USD/óráért, percalapú számlázással. Első feltöltés: fizessen 20 USD-t, kapjon 30 USD kreditet. Vagy indítson egy L4-et.