GPU-felhő

L40S, dedikált.

Egy GPU-s L40S gép, 48 GB GDDR6 az NVIDIA Ada Lovelace architektúráján, x86-os hoszton. 0,99 USD óránként, percalapú számlázással, ugyanolyan feltételekkel, mint minden más GPUwerk-csomag.

Érkezési sorrendben bérelhető: indítson egy L40S-t, amikor van szabad kapacitás, vagy iratkozzon fel a várólistájára a konzolban.

Specifikációk

Csomópontonként. Minden GPUwerk-példány, bármely csomagon, egy teljes gép csak Önnek.

NVIDIA L40S
GPUL40S, Ada Lovelace architektúra
Memória48 GB GDDR6
Üzemeltetésx86-os hoszt
Bérlési módGépenként egy ügyfél, soha nem megosztva

A GPUwerk csak a saját hardverén végzett futtatások tok/s- és tanítási átviteli adatait teszi közzé. Hogy ezeket hogyan közöljük, lásd a DGX Spark-flotta benchmarkjainál.

Mit futtatna rajta?

A 48 GB az L40S-t az 5090 32 GB-ja és a Spark 128 GB-ja közé helyezi, adatközponti szintű ECC-memóriával.

Közepes méretű modellek inferenciája

Körülbelül 40B paraméterig terjedő modellek FP8-ban, vagy egy 30B kategóriájú modell helyet hagyva a KV-gyorsítótárnak.

Vegyes grafika és AI

RT-magok és médiamotor az FP8 tenzormagok mellett, olyan folyamatokhoz, amelyek egy kártyán renderelnek és inferálnak.

LoRA-finomhangolások

Adaptertanítás 7B–13B kategóriájú modelleken, ami bőven elfér 48 GB-ban.

Nem ideális: több GPU-s tanítás

Nincs NVLinkje, így az a feladat, amelyhez több GPU gyors adatcseréje kell, 8 GPU-s szerverre való.

Mi fér el 48 GB-ban

Csak súlyok: memória osztva a paraméterenkénti bájtokkal. Hagyjon tartalékot a KV-gyorsítótárnak, az aktivációknak és a futtatókörnyezetnek, gyakran 10–30%-kal többet.

A legnagyobb modell pusztán a súlyok alapján egy L40S-en
PontosságParaméterenkéntLegnagyobb modell, csak súlyok
FP16 / BF162 bájtkörülbelül 24B paraméter
FP81 bájtkörülbelül 48B paraméter
4 bitre kvantált0,5 bájtkörülbelül 96B paraméter (az Ada nem támogat natív FP4-et; a futtatókörnyezet dekvantál)

Számlázás

Díj0,99 USD óránként, percalapú számlázással
SzámlázásPercalapon, előre fizetett kreditegyenlegből
DíjakNincs kimenő forgalmi díj
KötelezettségvállalásNincs

Az árak USD-ben, az alkalmazandó adók nélkül értendők. A számlázás teljes működése, beleértve azt is, mit jelent a leállítás és a megszüntetés, az árak oldalán található.

GYIK

Bérelhetek most L40S-t?

Indítsa a konzolból, amikor van szabad kapacitás; amíg nincs, a konzol várólistát kínál, és a sorban állóknak egyenként, a legrégebbitől kezdve küldünk e-mailt. A kapacitást senkinek sem tartjuk fenn: aki elsőként indít példányt, azé.

Hogyan működik a számlázás ebben a csomagban?

Ugyanúgy, mint minden GPUwerk-csomagnál: percalapon, előre fizetett kreditegyenlegből, USD-ben, az alkalmazandó adók nélkül, kimenő forgalmi díj és kötelezettség nélkül.

Ma kell GPU-idő?

A DGX Spark 128 GB egységes memóriával rendelkezik, és most bérelhető, 0,79 USD/óráért, percalapú számlázással. Első feltöltés: fizessen 20 USD-t, kapjon 30 USD kreditet. Nézze meg, hogyan viszonyul egy Spark egy különálló kártyához, vagy iratkozzon fel az L40S várólistájára.