GPU oblak

L40S, namjenski.

Stroj s jednim GPU-om L40S, 48 GB GDDR6 na NVIDIA-inoj arhitekturi Ada Lovelace, na x86 hostu. 0,99 USD po satu, naplata po minuti, pod istim uvjetima kao i sve ostale GPUwerk razine.

Iznajmljuje se po redoslijedu prijava: pokrenite L40S kad je kapacitet slobodan ili se prijavite na njegovu listu čekanja u konzoli.

Specifikacije

Po čvoru. Svaka GPUwerkova instanca, na bilo kojoj razini, cijeli je stroj samo za vas.

NVIDIA L40S
GPUL40S, arhitektura Ada Lovelace
Memorija48 GB GDDR6
Hostx86 host
Dodjela korisnicimaJedan korisnik po stroju, nikad dijeljeno

GPUwerk objavljuje podatke o tok/s i propusnosti treniranja samo za mjerenja na vlastitom hardveru. Pogledajte mjerenja performansi flote DGX Sparkova za način izvještavanja.

Što biste na njemu pokrenuli?

S 48 GB L40S se smješta između 32 GB kartice 5090 i 128 GB Sparka, uz ECC memoriju klase podatkovnog centra.

Inferencija na modelima srednje veličine

Modeli do otprilike 40B parametara u FP8 ili model klase 30B uz prostor za KV predmemoriju.

Kombinirana grafika i AI

RT jezgre i medijski pogon uz FP8 tenzorske jezgre, za procese koji na jednoj kartici i renderiraju i obavljaju inferenciju.

LoRA fina podešavanja

Treniranje adaptera na modelima klase 7B do 13B, što stane u 48 GB uz rezervu.

Loš izbor: treniranje na više GPU-ova

Nema NVLink, pa posao kojem treba više GPU-ova koji brzo razmjenjuju podatke pripada na poslužitelj s 8 GPU-ova.

Što stane u 48 GB

Samo težine: memorija podijeljena s brojem bajtova po parametru. Ostavite rezervu za KV predmemoriju, aktivacije i izvođenje, često 10 do 30 % više.

Najveći model samo po težinama na jednom L40S
PreciznostPo parametruNajveći model, samo težine
FP16 / BF162 bajtaoko 24B parametara
FP81 bajtoko 48B parametara
4-bitna kvantizacija0,5 bajtaoko 96B parametara (Ada nema izvorni FP4; okruženje za izvođenje dekvantizira)

Naplata

Cijena0,99 USD po satu, naplata po minuti
NaplataPo minuti, iz unaprijed plaćenog stanja kredita
NaknadeBez naknada za izlazni promet
ObvezaNišta

Cijene su u USD, bez primjenjivog poreza. Potpuni mehanizam naplate, uključujući razliku između zaustavljanja i ukidanja instance, nalazi se na stranici s cijenama.

Česta pitanja

Mogu li sada unajmiti L40S?

Pokrenite ga iz konzole kada je kapacitet slobodan; dok ga nema, konzola nudi listu čekanja i ljudima u redu šalje e-poštu jednom po jednom, počevši od najstarijeg. Kapacitet se ni za koga ne rezervira: dobiva ga onaj tko prvi pokrene.

Kako naplata funkcionira na ovoj razini?

Isto kao na svakoj GPUwerkovoj razini: po minuti, iz unaprijed plaćenog stanja kredita, u USD, bez primjenjivog poreza, bez naknada za izlazni promet i bez obveza.

Treba vam GPU vrijeme danas?

DGX Spark ima 128 GB objedinjene memorije i može se odmah unajmiti za 0,79 USD/sat uz naplatu po minuti. Prva nadoplata: platite 20 USD, dobijete 30 USD kredita. Pogledajte kako se Spark uspoređuje sa zasebnom karticom ili se prijavite na listu čekanja za L40S.