GPU mākonis

L4, tikai jums.

Viens NVIDIA L4 GPU, 24 GB GDDR6 ar Ada Lovelace arhitektūru, x86 resursdatorā. 0,49 $ stundā, maksa par katru minūti, ar tādiem pašiem noteikumiem kā visiem citiem GPUwerk līmeņiem.

Tiek iznomāts rindas kārtībā: izvietojiet L4, kad ir brīva jauda, vai pievienojieties tā gaidīšanas sarakstam konsolē.

Specifikācijas

Par GPU. Nomas laikā GPU un tā atmiņa pieder tikai jums.

NVIDIA L4
GPUL4, Ada Lovelace arhitektūra
Atmiņa24 GB GDDR6
Atmiņas joslas platums300 GB/s
CUDA kodoli7 424
Maks. jaudaUp to 72 W
Mitinātx86 resursdators
Nomas modelisKamēr to nomājat, GPU pieder tikai jums, tas nekad netiek koplietots

GPU skaitļi no NVIDIA L4. GPUwerk publicē tok/s un apmācības caurlaidspējas skaitļus tikai mērījumiem savā aparatūrā. Kā tie tiek ziņoti, skatiet DGX Spark flotes etalontestos.

Ko jūs tajā darbinātu?

Mazjaudas inferences karte: 24 GB pie 72 W modeļiem, kas ietilpst, un datplūsmai, kurai nav vajadzīgs H100.

Mazu modeļu inference

Tērzēšanas vai teksta pabeigšanas modeļi līdz aptuveni 14B parametriem ar FP8 un iegulšanas vai pārkārtošanas modeļi aiz API, kur pietiek ar 24 GB.

Video un redzes konveijeri

Aparatūras video kodēšana un dekodēšana blakus GPU pārkodēšanai vai redzes modeļiem, kas lasa video kadrus.

Lēta izstrāde

Apkalpošanas steka izveide un testēšana uz lēta GPU pirms pārcelšanas uz lielāku.

Nav piemērots: apmācība un liela apjoma pielāgošana

24 GB atstāj maz vietas gradientiem un optimizatora stāvoklim, tāpēc viss, kas pārsniedz nelielu LoRA, pieder H100 vai lielākai kartei.

Vajag vairāk atmiņas? Skatiet L40S (48 GB) vai H100 (80 GB).

Kas ietilpst 24 GB

Tikai svari: atmiņa, dalīta ar baitiem uz parametru. Atstājiet rezervi KV kešatmiņai, aktivācijām un izpildvidei, bieži par 10 līdz 30% vairāk.

Lielākais modelis, ņemot vērā tikai svarus, vienā L4
PrecizitāteUz parametruLielākais modelis, tikai svari
FP16 / BF162 baitiaptuveni 12B parametri
FP81 baitsaptuveni 24B parametri
4 bitu kvantēts0,5 baitaaptuveni 48B parametri (Ada nav vietējā FP4 atbalsta; izpildvide veic dekvantēšanu)

Norēķini

Likme0,49 $ stundā, maksa par katru minūti
NorēķiniPar katru minūti no priekšapmaksas kredīta atlikuma
MaksasBez maksas par izejošo datplūsmu
SaistībasNav

Cenas norādītas USD bez piemērojamiem nodokļiem. Pilns norēķinu mehānisms, ieskaitot to, ko dara apturēšana un ko izbeigšana, ir cenu lapā.

BUJ

Vai L4 var nomāt jau tagad?

Izvietojiet to no konsoles, kad ir brīva jauda; kamēr tādas nav, konsole piedāvā gaidīšanas sarakstu, un rindā esošajiem tiek nosūtīts e-pasts pa vienam, sākot ar senākajiem. Jauda netiek nevienam turēta: to saņem tas, kurš izvieto pirmais.

Kā šajā līmenī darbojas norēķini?

Tāpat kā visos GPUwerk līmeņos: par katru minūti no priekšapmaksas kredīta atlikuma, USD, bez piemērojamiem nodokļiem, bez maksas par izejošo datplūsmu un bez saistībām.

Vajag GPU laiku šodien?

DGX Spark ir 128 GB vienotās atmiņas, un to var nomāt jau tagad par 0,79 $/stundā, maksa par katru minūti. Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā. Vai izvietojiet L4.