GPU Cloud

H200, dedikat.

GPU NVIDIA H200 wieħed, 141 GB HBM3e fuq l-arkitettura Hopper, fuq host x86. $3.49 fis-siegħa, iffatturat bil-minuta, l-istess termini bħal kull livell ieħor ta' GPUwerk.

Mikrija min jiġi l-ewwel jinqeda l-ewwel: iddeploja H200 meta jkun hemm kapaċità libera, jew idħol fil-lista ta' stennija tagħha fil-console.

Speċifikazzjonijiet

Għal kull GPU. Il-GPU u l-memorja tiegħu huma tiegħek waħdek għat-tul tal-kera.

NVIDIA H200
GPUH200 SXM, arkitettura Hopper
Memorja141 GB HBM3e
Bandwidth tal-memorja4.8 TB/s
Enerġija massimaSa 700 W
MIGSa 7 istanzi ta' 18 GB
OspitaHost x86
KirjaIl-GPU hija tiegħek waħdek waqt li tikriha, qatt maqsuma

Ċifri tal-GPU minn NVIDIA H200. GPUwerk tippubblika ċifri ta' tok/s u ta' throughput tat-taħriġ biss għal provi fuq il-hardware tagħha stess. Ara l-benchmarks tal-flotta ta' DGX Spark għal kif jiġu rrappurtati.

X'kont tħaddem fuqu?

Il-compute tal-H100 b'76% aktar memorja: mudelli akbar fuq GPU wieħed u aktar lok għall-KV cache.

Mudelli tal-klassi 70B b'kuntest twil

Mudell 70B f'FP8 joqgħod b'madwar 70 GB mħollija għall-KV cache, allura prompts itwal u aktar talbiet simultanji.

Mudelli sa madwar 140B f'FP8

Piżijiet li jeħtieġu żewġ H100 joqogħdu fuq H200 wieħed.

Fine-tuning

Fine-tunes sħaħ u LoRA fuq mudelli li ma joqogħdux f'80 GB.

Ma jaqbilx: FP4 nattiv

Hopper ma għandux FP4; għal inferenza 4-bit bil-veloċità ta' Blackwell, ikri B200 jew B300.

Teħtieġ diversi GPUs marbuta b'NVLink? Ara s-server b'8× H200.

X'joqgħod f'141 GB

Il-piżijiet biss: il-memorja diviża bil-bytes għal kull parametru. Ħalli lok għall-KV cache, għall-attivazzjonijiet u għar-runtime, ħafna drabi 10 sa 30% aktar.

L-akbar mudell bil-piżijiet biss fuq H200 wieħed
PreċiżjoniGħal kull parametruL-akbar mudell, bil-piżijiet biss
FP16 / BF162 bytesmadwar 70B parametru
FP81 bytemadwar 141B parametru
Kwantizzat f'4-bit0.5 bytesmadwar 282B parametru (ebda FP4 nattiv fuq Hopper; ir-runtime tiddekwantizza)

Fatturazzjoni

Rata$3.49 kull siegħa, iffatturat bil-minuta
FatturazzjoniBil-minuta, kontra bilanċ ta' kreditu mħallas minn qabel
TariffiEbda tariffi tal-egress
ImpennXejn

Il-prezzijiet huma f'USD, eskluża t-taxxa applikabbli. Il-mekkaniżmi sħaħ tal-fatturazzjoni, inkluż x'tagħmel it-twaqqif kontra t-terminazzjoni, jinsabu fuq il-paġna tal-prezzijiet.

Mistoqsijiet frekwenti

Nista' nikri H200 issa?

Iddeplojah mill-console meta jkun hemm kapaċità libera; waqt li ma jkunx hemm, il-console toffri lista ta' stennija u n-nies fil-kju jirċievu email wieħed wieħed, l-eqdem l-ewwel. Il-kapaċità ma tinżamm għal ħadd: min jiddeploja l-ewwel jeħodha.

Kif taħdem il-fatturazzjoni f'dan il-livell?

L-istess bħal kull livell ta' GPUwerk: bil-minuta, kontra bilanċ ta' kreditu mħallas minn qabel, f'USD, eskluża t-taxxa applikabbli, bla tariffi tal-egress u bla impenn.

Teħtieġ ħin fuq GPU illum?

DGX Spark għandu 128 GB ta' memorja unifikata u jista' jinkera issa, għal $0.79/siegħa iffatturat bil-minuta. L-ewwel top-up: ħallas $20, ikseb $30 kreditu. Jew iddeploja H200.