GPU debesija
L40S, dedikuota.
Vienos GPU L40S įrenginys, 48 GB GDDR6 NVIDIA Ada Lovelace architektūroje, x86 pagrindinėje sistemoje. 0,99 USD per valandą, apmokestinama už minutę, tomis pačiomis sąlygomis kaip ir visi kiti GPUwerk lygiai.
Nuomojama principu „kas pirmas, tas laimi“: paleiskite L40S, kai yra laisvų pajėgumų, arba užsirašykite į jos laukiančiųjų sąrašą konsolėje.
Specifikacijos
Vienam mazgui. Kiekvienas GPUwerk egzempliorius bet kuriame lygyje yra vienas visas įrenginys tik jums.
| GPU | L40S, Ada Lovelace architektūra |
|---|---|
| Atmintis | 48 GB GDDR6 |
| Talpinti | x86 pagrindinė sistema |
| Nuomos modelis | Vienam įrenginiui – vienas klientas, niekada nebendrinama |
GPUwerk skelbia tok/s ir mokymo pralaidumo skaičius tik iš paleidimų savo įrangoje. Kaip jie pateikiami, žr. DGX Spark parko lyginamuosiuose testuose.
Ką jame paleistumėte?
48 GB L40S pastato tarp 5090 turimų 32 GB ir Spark 128 GB, su duomenų centrų klasės ECC atmintimi.
Vidutinio dydžio modelių inferencija
Modeliai iki maždaug 40B parametrų FP8 formatu arba 30B klasės modelis su vieta KV podėliui.
Mišri grafika ir DI
RT branduoliai ir medijos variklis šalia FP8 tenzorinių branduolių, konvejeriams, kurie vienoje plokštėje ir atvaizduoja, ir vykdo inferenciją.
LoRA pritaikymai
Adapterių mokymas 7B–13B klasės modeliams, kuris telpa į 48 GB su atsarga.
Mažai tinka: mokymas su keliomis GPU
Ji neturi NVLink, todėl užduotis, kuriai reikia kelių GPU, greitai keičiančių duomenis, tinka 8 GPU serveriui.
Kas telpa į 48 GB
Tik svoriai: atmintis, padalyta iš baitų vienam parametrui. Palikite atsargos KV podėliui, aktyvacijoms ir vykdymo aplinkai, dažnai 10–30% daugiau.
| Tikslumas | Vienam parametrui | Didžiausias modelis, tik svoriai |
|---|---|---|
| FP16 / BF16 | 2 baitai | apie 24B parametrų |
| FP8 | 1 baitas | apie 48B parametrų |
| 4 bitų kvantuotas | 0,5 baito | apie 96B parametrų (Ada neturi natyvaus FP4; vykdymo aplinka atlieka dekvantavimą) |
Atsiskaitymas
| Tarifas | 0,99 USD per valandą, apmokestinama už minutę |
|---|---|
| Atsiskaitymas | Už minutę, iš išankstinio kredito likučio |
| Mokesčiai | Jokių išeinančio srauto mokesčių |
| Įsipareigojimas | Nėra |
Kainos nurodytos USD, be taikomų mokesčių. Visa apmokestinimo tvarka, įskaitant tai, ką daro sustabdymas ir nutraukimas, aprašyta kainų puslapyje.
DUK
Ar galiu išsinuomoti L40S dabar?
Paleiskite ją iš konsolės, kai yra laisvų pajėgumų; kol jų nėra, konsolė siūlo laukiančiųjų sąrašą, o eilėje esantiems el. laiškai siunčiami po vieną, pradedant seniausiai užsirašiusiais. Pajėgumai niekam nelaikomi: kas pirmas paleidžia, tas ir gauna.
Kaip veikia apmokestinimas šiame lygyje?
Taip pat kaip kiekviename GPUwerk lygyje: už minutę, iš išankstinio kredito likučio, USD, be taikomų mokesčių, be išeinančio srauto mokesčių ir be įsipareigojimų.
Reikia GPU laiko šiandien?
DGX Spark turi 128 GB bendros atminties ir jį galima išsinuomoti jau dabar už 0,79 USD/val., apmokestinama už minutę. Pirmasis papildymas: sumokėkite 20 USD, gaukite 30 USD kredito. Žr., kaip Spark atrodo palyginti su atskira vaizdo plokšte, arba užsirašykite į L40S laukiančiųjų sąrašą.