GPU debesija
L4, dedikuota.
Viena NVIDIA L4 GPU, 24 GB GDDR6 Ada Lovelace architektūroje, x86 pagrindinėje sistemoje. 0,49 USD per valandą, apmokestinama už minutę, tomis pačiomis sąlygomis kaip ir visi kiti GPUwerk lygiai.
Nuomojama principu „kas pirmas, tas laimi“: paleiskite L4, kai yra laisvų pajėgumų, arba užsirašykite į jos laukiančiųjų sąrašą konsolėje.
Specifikacijos
Vienai GPU. Nuomos metu GPU ir jos atmintis priklauso tik jums.
| GPU | L4, Ada Lovelace architektūra |
|---|---|
| Atmintis | 24 GB GDDR6 |
| Atminties pralaidumas | 300 GB/s |
| CUDA branduoliai | 7 424 |
| Didžiausia galia | Iki 72 W |
| Talpinti | x86 pagrindinė sistema |
| Nuomos modelis | Kol nuomojatės, GPU priklauso tik jums, niekada nebendrinama |
GPU skaičiai iš NVIDIA L4. GPUwerk skelbia tok/s ir mokymo pralaidumo skaičius tik iš paleidimų savo įrangoje. Kaip jie pateikiami, žr. DGX Spark parko lyginamuosiuose testuose.
Ką jame paleistumėte?
Mažos galios inferencijos plokštė: 24 GB prie 72 W, modeliams, kurie telpa, ir srautui, kuriam nereikia H100.
Mažų modelių inferencija
Pokalbių ar užbaigimo modeliai iki maždaug 14B parametrų FP8 formatu ir įterpinių ar pakartotinio reitingavimo modeliai už API, kai pakanka 24 GB.
Vaizdo ir regos konvejeriai
Aparatinis vaizdo kodavimas ir dekodavimas šalia GPU, perkodavimui arba vaizdo modeliams, skaitantiems vaizdo kadrus.
Pigus kūrimas
Modelių paleidimo programinės įrangos kūrimas ir testavimas su pigia GPU prieš perkeliant ją į didesnę.
Mažai tinka: mokymas ir dideli pritaikymai
24 GB lieka mažai vietos gradientams ir optimizatoriaus būsenai, todėl bet kas daugiau nei nedidelis LoRA tinka H100 ar didesniam GPU.
Reikia daugiau atminties? Žr. L40S (48 GB) arba H100 (80 GB).
Kas telpa į 24 GB
Tik svoriai: atmintis, padalyta iš baitų vienam parametrui. Palikite atsargos KV podėliui, aktyvacijoms ir vykdymo aplinkai, dažnai 10–30% daugiau.
| Tikslumas | Vienam parametrui | Didžiausias modelis, tik svoriai |
|---|---|---|
| FP16 / BF16 | 2 baitai | apie 12B parametrų |
| FP8 | 1 baitas | apie 24B parametrų |
| 4 bitų kvantuotas | 0,5 baito | apie 48B parametrų (Ada neturi natyvaus FP4; vykdymo aplinka atlieka dekvantavimą) |
Atsiskaitymas
| Tarifas | 0,49 USD per valandą, apmokestinama už minutę |
|---|---|
| Atsiskaitymas | Už minutę, iš išankstinio kredito likučio |
| Mokesčiai | Jokių išeinančio srauto mokesčių |
| Įsipareigojimas | Nėra |
Kainos nurodytos USD, be taikomų mokesčių. Visa apmokestinimo tvarka, įskaitant tai, ką daro sustabdymas ir nutraukimas, aprašyta kainų puslapyje.
DUK
Ar galiu išsinuomoti L4 dabar?
Paleiskite ją iš konsolės, kai yra laisvų pajėgumų; kol jų nėra, konsolė siūlo laukiančiųjų sąrašą, o eilėje esantiems el. laiškai siunčiami po vieną, pradedant seniausiai užsirašiusiais. Pajėgumai niekam nelaikomi: kas pirmas paleidžia, tas ir gauna.
Kaip veikia apmokestinimas šiame lygyje?
Taip pat kaip kiekviename GPUwerk lygyje: už minutę, iš išankstinio kredito likučio, USD, be taikomų mokesčių, be išeinančio srauto mokesčių ir be įsipareigojimų.
Reikia GPU laiko šiandien?
DGX Spark turi 128 GB bendros atminties ir jį galima išsinuomoti jau dabar už 0,79 USD/val., apmokestinama už minutę. Pirmasis papildymas: sumokėkite 20 USD, gaukite 30 USD kredito. Arba paleiskite L4.