GPU Cloud

RTX 6000 Ada, dedikat.

Magna b'GPU NVIDIA RTX 6000 Ada Generation wieħed, 48 GB ta' GDDR6 b'ECC fuq l-arkitettura Ada Lovelace, fuq host x86. $0.75 fis-siegħa, iffatturat bil-minuta, l-istess termini bħal kull livell ieħor ta' GPUwerk.

Mikrija min jiġi l-ewwel jinqeda l-ewwel: iddeploja RTX 6000 Ada meta jkun hemm kapaċità libera, jew idħol fil-lista ta' stennija tagħha fil-console.

Speċifikazzjonijiet

Għal kull nodu. Kull istanza ta' GPUwerk, fuq kull livell, hija magna sħiħa waħda għalik waħdek.

NVIDIA RTX 6000 Ada Generation
GPURTX 6000 Ada Generation, arkitettura Ada Lovelace
Memorja48 GB GDDR6 b'ECC
Bandwidth tal-memorja960 GB/s
Cores CUDA18,176
Enerġija massima300 W
OspitaHost x86
KirjaKlijent wieħed għal kull magna, qatt maqsuma

Ċifri tal-GPU minn NVIDIA RTX 6000 Ada. GPUwerk tippubblika ċifri ta' tok/s u ta' throughput tat-taħriġ biss għal provi fuq il-hardware tagħha stess. Ara l-benchmarks tal-flotta ta' DGX Spark għal kif jiġu rrappurtati.

X'kont tħaddem fuqu?

48 GB b'ECC: l-istess memorja bħal L40S, fuq karta tal-klassi workstation.

Inferenza ta' mudelli ta' daqs medju

Mudelli sa madwar 40B parametru f'FP8, jew mudell tal-klassi 30B b'lok għall-KV cache.

Rendering u grafika

Cores RT u driver tal-klassi workstation għar-rendering, is-simulazzjoni jew pipelines imħallta ta' grafika u AI.

Fine-tunes b'LoRA

Taħriġ ta' adapters fuq mudelli tal-klassi 7B sa 13B, li joqgħod f'48 GB bil-lok.

Ma jaqbilx: taħriġ b'diversi GPUs

Ma għandux NVLink, għalhekk xogħol li jeħtieġ diversi GPUs jaqsmu d-data malajr jaqbel fuq server b'8 GPUs.

X'joqgħod f'48 GB

Il-piżijiet biss: il-memorja diviża bil-bytes għal kull parametru. Ħalli lok għall-KV cache, għall-attivazzjonijiet u għar-runtime, ħafna drabi 10 sa 30% aktar.

L-akbar mudell bil-piżijiet biss fuq RTX 6000 Ada wieħed
PreċiżjoniGħal kull parametruL-akbar mudell, bil-piżijiet biss
FP16 / BF162 bytesmadwar 24B parametru
FP81 bytemadwar 48B parametru
Kwantizzat f'4-bit0.5 bytesmadwar 96B parametru (ebda FP4 nattiv fuq Ada; ir-runtime tiddekwantizza)

Fatturazzjoni

Rata$0.75 kull siegħa, iffatturat bil-minuta
FatturazzjoniBil-minuta, kontra bilanċ ta' kreditu mħallas minn qabel
TariffiEbda tariffi tal-egress
ImpennXejn

Il-prezzijiet huma f'USD, eskluża t-taxxa applikabbli. Il-mekkaniżmi sħaħ tal-fatturazzjoni, inkluż x'tagħmel it-twaqqif kontra t-terminazzjoni, jinsabu fuq il-paġna tal-prezzijiet.

Mistoqsijiet frekwenti

Nista' nikri RTX 6000 Ada issa?

Iddeplojah mill-console meta jkun hemm kapaċità libera; waqt li ma jkunx hemm, il-console toffri lista ta' stennija u n-nies fil-kju jirċievu email wieħed wieħed, l-eqdem l-ewwel. Il-kapaċità ma tinżamm għal ħadd: min jiddeploja l-ewwel jeħodha.

Kif taħdem il-fatturazzjoni f'dan il-livell?

L-istess bħal kull livell ta' GPUwerk: bil-minuta, kontra bilanċ ta' kreditu mħallas minn qabel, f'USD, eskluża t-taxxa applikabbli, bla tariffi tal-egress u bla impenn.

Teħtieġ ħin fuq GPU illum?

DGX Spark għandu 128 GB ta' memorja unifikata u jista' jinkera issa, għal $0.79/siegħa iffatturat bil-minuta. L-ewwel top-up: ħallas $20, ikseb $30 kreditu. Qabblu mal-L40S, jew idħol fil-lista ta' stennija tal-RTX 6000 Ada.