Cloud GPU

L40S, dedicat.

O mașină L40S cu un singur GPU, 48 GB GDDR6 pe arhitectura NVIDIA Ada Lovelace, pe o gazdă x86. 0,99 $ pe oră, facturat pe minut, în aceleași condiții ca orice alt nivel GPUwerk.

Închiriat în ordinea sosirii: lansați un L40S când există capacitate liberă sau înscrieți-vă pe lista lui de așteptare în consolă.

Specificații

Per nod. Fiecare instanță GPUwerk, pe orice nivel, este o mașină întreagă doar pentru dvs.

NVIDIA L40S
GPUL40S, arhitectura Ada Lovelace
Memorie48 GB GDDR6
GăzduițiGazdă x86
ÎnchiriereUn singur client per mașină, niciodată partajată

GPUwerk publică cifre de tok/s și de debit la antrenare doar pentru rulările pe propriul hardware. Vedeți benchmark-urile pe flota DGX Spark pentru modul în care sunt raportate.

Ce ați rula pe el?

Cu 48 GB, L40S se situează între cei 32 GB ai lui 5090 și cei 128 GB ai unui Spark, cu memorie ECC de clasă centru de date.

Inferență pentru modele medii

Modele de până la aproximativ 40B parametri la FP8 sau un model din clasa 30B cu loc pentru cache-ul KV.

Grafică și AI combinate

RT cores și un motor media lângă tensor cores FP8, pentru pipeline-uri care randează și fac inferență pe aceeași placă.

Fine-tuning LoRA

Antrenarea de adaptoare pe modele din clasa 7B până la 13B, care încap în 48 GB cu rezervă.

Potrivire slabă: antrenare multi-GPU

Nu are NVLink, deci un job care necesită mai multe GPU-uri care schimbă rapid date își are locul pe un server cu 8 GPU.

Ce încape în 48 GB

Doar ponderile: memoria împărțită la octeții per parametru. Lăsați rezervă pentru cache-ul KV, activări și runtime, adesea cu 10 până la 30% mai mult.

Cel mai mare model doar după ponderi pe un L40S
PreciziePer parametruCel mai mare model, doar ponderile
FP16 / BF162 octețiaproximativ 24B parametri
FP81 octetaproximativ 48B parametri
Cuantizat pe 4 biți0,5 octețiaproximativ 96B parametri (Ada nu are FP4 nativ; runtime-ul decuantizează)

Facturare

Tarif0,99 $ pe oră, facturat pe minut
FacturarePe minut, din soldul de credit preplătit
ComisioaneFără taxe pentru traficul de ieșire
AngajamentNiciunul

Prețurile sunt în USD, fără taxele aplicabile. Mecanismul complet de facturare, inclusiv ce face o oprire față de o terminare, este pe pagina de prețuri.

Întrebări frecvente

Pot închiria acum un L40S?

Lansați-l din consolă când există capacitate liberă; cât timp nu există, consola oferă o listă de așteptare, iar persoanele de la coadă primesc e-mail una câte una, începând cu cea mai veche. Capacitatea nu este rezervată pentru nimeni: cine lansează primul o obține.

Cum funcționează facturarea pe acest nivel?

La fel ca la orice nivel GPUwerk: pe minut, din soldul de credit preplătit, în USD, fără taxele aplicabile, fără taxe pentru traficul de ieșire și fără angajament.

Aveți nevoie de timp GPU azi?

Un DGX Spark are 128 GB de memorie unificată și poate fi închiriat acum, la 0,79 $/oră facturat pe minut. Prima reîncărcare: plătiți 20 $, primiți 30 $ credit. Vedeți cum se compară un Spark cu o placă dedicată sau înscrieți-vă pe lista de așteptare L40S.