GPU Cloud

L4, dedikat.

GPU NVIDIA L4 wieħed, 24 GB GDDR6 fuq l-arkitettura Ada Lovelace, fuq host x86. $0.49 fis-siegħa, iffatturat bil-minuta, l-istess termini bħal kull livell ieħor ta' GPUwerk.

Mikrija min jiġi l-ewwel jinqeda l-ewwel: iddeploja L4 meta jkun hemm kapaċità libera, jew idħol fil-lista ta' stennija tagħha fil-console.

Speċifikazzjonijiet

Għal kull GPU. Il-GPU u l-memorja tiegħu huma tiegħek waħdek għat-tul tal-kera.

NVIDIA L4
GPUL4, arkitettura Ada Lovelace
Memorja24 GB GDDR6
Bandwidth tal-memorja300 GB/s
Cores CUDA7,424
Enerġija massimaSa 72 W
OspitaHost x86
KirjaIl-GPU hija tiegħek waħdek waqt li tikriha, qatt maqsuma

Ċifri tal-GPU minn NVIDIA L4. GPUwerk tippubblika ċifri ta' tok/s u ta' throughput tat-taħriġ biss għal provi fuq il-hardware tagħha stess. Ara l-benchmarks tal-flotta ta' DGX Spark għal kif jiġu rrappurtati.

X'kont tħaddem fuqu?

Karta ta' inferenza b'konsum baxx: 24 GB b'72 W, għal mudelli li joqogħdu u traffiku li ma jeħtieġx H100.

Inferenza ta' mudelli żgħar

Mudelli ta' chat jew completion sa madwar 14B parametru f'FP8, u mudelli ta' embedding jew reranking wara API, fejn 24 GB huma biżżejjed.

Pipelines tal-vidjow u tal-viżjoni

Encode u decode tal-vidjow bil-hardware ħdejn il-GPU, għat-transcoding jew għal mudelli tal-viżjoni li jaqraw frames tal-vidjow.

Żvilupp bi spiża baxxa

Il-bini u l-ittestjar ta' serving stack fuq GPU irħis qabel ma tmexxih fuq wieħed akbar.

Ma jaqbilx: taħriġ u fine-tunes kbar

24 GB iħallu ftit spazju għall-gradients u l-istat tal-optimizer, għalhekk kull ħaġa lil hinn minn LoRA żgħir hija għal H100 jew akbar.

Teħtieġ aktar memorja? Ara l-L40S (48 GB) jew l-H100 (80 GB).

X'joqgħod f'24 GB

Il-piżijiet biss: il-memorja diviża bil-bytes għal kull parametru. Ħalli lok għall-KV cache, għall-attivazzjonijiet u għar-runtime, ħafna drabi 10 sa 30% aktar.

L-akbar mudell bil-piżijiet biss fuq L4 wieħed
PreċiżjoniGħal kull parametruL-akbar mudell, bil-piżijiet biss
FP16 / BF162 bytesmadwar 12B parametru
FP81 bytemadwar 24B parametru
Kwantizzat f'4-bit0.5 bytesmadwar 48B parametru (ebda FP4 nattiv fuq Ada; ir-runtime tiddekwantizza)

Fatturazzjoni

Rata$0.49 kull siegħa, iffatturat bil-minuta
FatturazzjoniBil-minuta, kontra bilanċ ta' kreditu mħallas minn qabel
TariffiEbda tariffi tal-egress
ImpennXejn

Il-prezzijiet huma f'USD, eskluża t-taxxa applikabbli. Il-mekkaniżmi sħaħ tal-fatturazzjoni, inkluż x'tagħmel it-twaqqif kontra t-terminazzjoni, jinsabu fuq il-paġna tal-prezzijiet.

Mistoqsijiet frekwenti

Nista' nikri L4 issa?

Iddeplojah mill-console meta jkun hemm kapaċità libera; waqt li ma jkunx hemm, il-console toffri lista ta' stennija u n-nies fil-kju jirċievu email wieħed wieħed, l-eqdem l-ewwel. Il-kapaċità ma tinżamm għal ħadd: min jiddeploja l-ewwel jeħodha.

Kif taħdem il-fatturazzjoni f'dan il-livell?

L-istess bħal kull livell ta' GPUwerk: bil-minuta, kontra bilanċ ta' kreditu mħallas minn qabel, f'USD, eskluża t-taxxa applikabbli, bla tariffi tal-egress u bla impenn.

Teħtieġ ħin fuq GPU illum?

DGX Spark għandu 128 GB ta' memorja unifikata u jista' jinkera issa, għal $0.79/siegħa iffatturat bil-minuta. L-ewwel top-up: ħallas $20, ikseb $30 kreditu. Jew iddeploja L4.