GPU Cloud

L40S, dedikat.

Magna b'GPU L40S wieħed, 48 GB ta' GDDR6 fuq l-arkitettura Ada Lovelace ta' NVIDIA, fuq host x86. $0.99 fis-siegħa, iffatturat bil-minuta, l-istess termini bħal kull livell ieħor ta' GPUwerk.

Mikrija min jiġi l-ewwel jinqeda l-ewwel: iddeploja L40S meta jkun hemm kapaċità libera, jew idħol fil-lista ta' stennija tagħha fil-console.

Speċifikazzjonijiet

Għal kull nodu. Kull istanza ta' GPUwerk, fuq kull livell, hija magna sħiħa waħda għalik waħdek.

NVIDIA L40S
GPUL40S, arkitettura Ada Lovelace
Memorja48 GB GDDR6
OspitaHost x86
KirjaKlijent wieħed għal kull magna, qatt maqsuma

GPUwerk tippubblika ċifri ta' tok/s u ta' throughput tat-taħriġ biss għal provi fuq il-hardware tagħha stess. Ara l-benchmarks tal-flotta ta' DGX Spark għal kif jiġu rrappurtati.

X'kont tħaddem fuqu?

48 GB ipoġġu l-L40S bejn it-32 GB tal-5090 u t-128 GB ta' Spark, b'memorja ECC tal-klassi tad-data center.

Inferenza ta' mudelli ta' daqs medju

Mudelli sa madwar 40B parametru f'FP8, jew mudell tal-klassi 30B b'lok għall-KV cache.

Grafika u AI flimkien

Cores RT u media engine ħdejn tensor cores FP8, għal pipelines li jirrenderjaw u jagħmlu inferenza fuq karta waħda.

Fine-tunes b'LoRA

Taħriġ ta' adapters fuq mudelli tal-klassi 7B sa 13B, li joqgħod f'48 GB bil-lok.

Ma jaqbilx: taħriġ b'diversi GPUs

Ma għandux NVLink, għalhekk xogħol li jeħtieġ diversi GPUs jaqsmu d-data malajr jaqbel fuq server b'8 GPUs.

X'joqgħod f'48 GB

Il-piżijiet biss: il-memorja diviża bil-bytes għal kull parametru. Ħalli lok għall-KV cache, għall-attivazzjonijiet u għar-runtime, ħafna drabi 10 sa 30% aktar.

L-akbar mudell bil-piżijiet biss fuq L40S wieħed
PreċiżjoniGħal kull parametruL-akbar mudell, bil-piżijiet biss
FP16 / BF162 bytesmadwar 24B parametru
FP81 bytemadwar 48B parametru
Kwantizzat f'4-bit0.5 bytesmadwar 96B parametru (ebda FP4 nattiv fuq Ada; ir-runtime tiddekwantizza)

Fatturazzjoni

Rata$0.99 kull siegħa, iffatturat bil-minuta
FatturazzjoniBil-minuta, kontra bilanċ ta' kreditu mħallas minn qabel
TariffiEbda tariffi tal-egress
ImpennXejn

Il-prezzijiet huma f'USD, eskluża t-taxxa applikabbli. Il-mekkaniżmi sħaħ tal-fatturazzjoni, inkluż x'tagħmel it-twaqqif kontra t-terminazzjoni, jinsabu fuq il-paġna tal-prezzijiet.

Mistoqsijiet frekwenti

Nista' nikri L40S issa?

Iddeplojah mill-console meta jkun hemm kapaċità libera; waqt li ma jkunx hemm, il-console toffri lista ta' stennija u n-nies fil-kju jirċievu email wieħed wieħed, l-eqdem l-ewwel. Il-kapaċità ma tinżamm għal ħadd: min jiddeploja l-ewwel jeħodha.

Kif taħdem il-fatturazzjoni f'dan il-livell?

L-istess bħal kull livell ta' GPUwerk: bil-minuta, kontra bilanċ ta' kreditu mħallas minn qabel, f'USD, eskluża t-taxxa applikabbli, bla tariffi tal-egress u bla impenn.

Teħtieġ ħin fuq GPU illum?

DGX Spark għandu 128 GB ta' memorja unifikata u jista' jinkera issa, għal $0.79/siegħa iffatturat bil-minuta. L-ewwel top-up: ħallas $20, ikseb $30 kreditu. Ara kif Spark iqabbel ma' karta diskreta, jew idħol fil-lista ta' stennija tal-L40S.