GPU mākonis
L4, tikai jums.
Viens NVIDIA L4 GPU, 24 GB GDDR6 ar Ada Lovelace arhitektūru, x86 resursdatorā. 0,49 $ stundā, maksa par katru minūti, ar tādiem pašiem noteikumiem kā visiem citiem GPUwerk līmeņiem.
Tiek iznomāts rindas kārtībā: izvietojiet L4, kad ir brīva jauda, vai pievienojieties tā gaidīšanas sarakstam konsolē.
Specifikācijas
Par GPU. Nomas laikā GPU un tā atmiņa pieder tikai jums.
| GPU | L4, Ada Lovelace arhitektūra |
|---|---|
| Atmiņa | 24 GB GDDR6 |
| Atmiņas joslas platums | 300 GB/s |
| CUDA kodoli | 7 424 |
| Maks. jauda | Up to 72 W |
| Mitināt | x86 resursdators |
| Nomas modelis | Kamēr to nomājat, GPU pieder tikai jums, tas nekad netiek koplietots |
GPU skaitļi no NVIDIA L4. GPUwerk publicē tok/s un apmācības caurlaidspējas skaitļus tikai mērījumiem savā aparatūrā. Kā tie tiek ziņoti, skatiet DGX Spark flotes etalontestos.
Ko jūs tajā darbinātu?
Mazjaudas inferences karte: 24 GB pie 72 W modeļiem, kas ietilpst, un datplūsmai, kurai nav vajadzīgs H100.
Mazu modeļu inference
Tērzēšanas vai teksta pabeigšanas modeļi līdz aptuveni 14B parametriem ar FP8 un iegulšanas vai pārkārtošanas modeļi aiz API, kur pietiek ar 24 GB.
Video un redzes konveijeri
Aparatūras video kodēšana un dekodēšana blakus GPU pārkodēšanai vai redzes modeļiem, kas lasa video kadrus.
Lēta izstrāde
Apkalpošanas steka izveide un testēšana uz lēta GPU pirms pārcelšanas uz lielāku.
Nav piemērots: apmācība un liela apjoma pielāgošana
24 GB atstāj maz vietas gradientiem un optimizatora stāvoklim, tāpēc viss, kas pārsniedz nelielu LoRA, pieder H100 vai lielākai kartei.
Vajag vairāk atmiņas? Skatiet L40S (48 GB) vai H100 (80 GB).
Kas ietilpst 24 GB
Tikai svari: atmiņa, dalīta ar baitiem uz parametru. Atstājiet rezervi KV kešatmiņai, aktivācijām un izpildvidei, bieži par 10 līdz 30% vairāk.
| Precizitāte | Uz parametru | Lielākais modelis, tikai svari |
|---|---|---|
| FP16 / BF16 | 2 baiti | aptuveni 12B parametri |
| FP8 | 1 baits | aptuveni 24B parametri |
| 4 bitu kvantēts | 0,5 baita | aptuveni 48B parametri (Ada nav vietējā FP4 atbalsta; izpildvide veic dekvantēšanu) |
Norēķini
| Likme | 0,49 $ stundā, maksa par katru minūti |
|---|---|
| Norēķini | Par katru minūti no priekšapmaksas kredīta atlikuma |
| Maksas | Bez maksas par izejošo datplūsmu |
| Saistības | Nav |
Cenas norādītas USD bez piemērojamiem nodokļiem. Pilns norēķinu mehānisms, ieskaitot to, ko dara apturēšana un ko izbeigšana, ir cenu lapā.
BUJ
Vai L4 var nomāt jau tagad?
Izvietojiet to no konsoles, kad ir brīva jauda; kamēr tādas nav, konsole piedāvā gaidīšanas sarakstu, un rindā esošajiem tiek nosūtīts e-pasts pa vienam, sākot ar senākajiem. Jauda netiek nevienam turēta: to saņem tas, kurš izvieto pirmais.
Kā šajā līmenī darbojas norēķini?
Tāpat kā visos GPUwerk līmeņos: par katru minūti no priekšapmaksas kredīta atlikuma, USD, bez piemērojamiem nodokļiem, bez maksas par izejošo datplūsmu un bez saistībām.
Vajag GPU laiku šodien?
DGX Spark ir 128 GB vienotās atmiņas, un to var nomāt jau tagad par 0,79 $/stundā, maksa par katru minūti. Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā. Vai izvietojiet L4.