GPU mākonis

L40S, tikai jums.

Vienas GPU L40S iekārta, 48 GB GDDR6 ar NVIDIA Ada Lovelace arhitektūru, x86 resursdatorā. 0,99 $ stundā, maksa par katru minūti, ar tādiem pašiem noteikumiem kā visiem citiem GPUwerk līmeņiem.

Tiek iznomāts rindas kārtībā: izvietojiet L40S, kad ir brīva jauda, vai pievienojieties tā gaidīšanas sarakstam konsolē.

Specifikācijas

Uz mezglu. Katra GPUwerk instance jebkurā līmenī ir viena vesela iekārta tikai jums.

NVIDIA L40S
GPUL40S, Ada Lovelace arhitektūra
Atmiņa48 GB GDDR6
Mitinātx86 resursdators
Nomas modelisViens klients vienā iekārtā, nekad netiek koplietota

GPUwerk publicē tok/s un apmācības caurlaidspējas skaitļus tikai mērījumiem savā aparatūrā. Kā tie tiek ziņoti, skatiet DGX Spark flotes etalontestos.

Ko jūs tajā darbinātu?

Ar 48 GB L40S atrodas starp 5090 32 GB un Spark 128 GB, ar datu centra klases ECC atmiņu.

Vidēja izmēra modeļu inference

Modeļi līdz aptuveni 40B parametriem ar FP8 vai 30B klases modelis ar vietu KV kešatmiņai.

Jaukta grafika un MI

RT kodoli un mediju dzinējs līdzās FP8 tenzoru kodoliem konveijeriem, kas vienā kartē veic renderēšanu un inferenci.

LoRA pielāgošana

Adapteru apmācība 7B līdz 13B klases modeļiem, kas ietilpst 48 GB ar rezervi.

Nav piemērots: apmācība ar vairākiem GPU

Tam nav NVLink, tāpēc uzdevums, kuram vajag vairākus GPU, kas ātri apmainās ar datiem, pieder 8 GPU serverim.

Kas ietilpst 48 GB

Tikai svari: atmiņa, dalīta ar baitiem uz parametru. Atstājiet rezervi KV kešatmiņai, aktivācijām un izpildvidei, bieži par 10 līdz 30% vairāk.

Lielākais modelis, ņemot vērā tikai svarus, vienā L40S
PrecizitāteUz parametruLielākais modelis, tikai svari
FP16 / BF162 baitiaptuveni 24B parametri
FP81 baitsaptuveni 48B parametri
4 bitu kvantēts0,5 baitaaptuveni 96B parametri (Ada nav vietējā FP4 atbalsta; izpildvide veic dekvantēšanu)

Norēķini

Likme0,99 $ stundā, maksa par katru minūti
NorēķiniPar katru minūti no priekšapmaksas kredīta atlikuma
MaksasBez maksas par izejošo datplūsmu
SaistībasNav

Cenas norādītas USD bez piemērojamiem nodokļiem. Pilns norēķinu mehānisms, ieskaitot to, ko dara apturēšana un ko izbeigšana, ir cenu lapā.

BUJ

Vai L40S var nomāt jau tagad?

Izvietojiet to no konsoles, kad ir brīva jauda; kamēr tādas nav, konsole piedāvā gaidīšanas sarakstu, un rindā esošajiem tiek nosūtīts e-pasts pa vienam, sākot ar senākajiem. Jauda netiek nevienam turēta: to saņem tas, kurš izvieto pirmais.

Kā šajā līmenī darbojas norēķini?

Tāpat kā visos GPUwerk līmeņos: par katru minūti no priekšapmaksas kredīta atlikuma, USD, bez piemērojamiem nodokļiem, bez maksas par izejošo datplūsmu un bez saistībām.

Vajag GPU laiku šodien?

DGX Spark ir 128 GB vienotās atmiņas, un to var nomāt jau tagad par 0,79 $/stundā, maksa par katru minūti. Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā. Skatiet, kā Spark salīdzināms ar diskrēto karti, vai pievienojieties L40S gaidīšanas sarakstam.