GPU Cloud

H100 SXM, dedikat.

GPU NVIDIA H100 SXM wieħed, 80 GB ta' HBM3 b'3.35 TB/s fuq l-arkitettura Hopper, fuq host x86. $2.69 fis-siegħa, iffatturat bil-minuta, l-istess termini bħal kull livell ieħor ta' GPUwerk.

Mikrija min jiġi l-ewwel jinqeda l-ewwel: iddeploja H100 meta jkun hemm kapaċità libera, jew idħol fil-lista ta' stennija tagħha fil-console.

Speċifikazzjonijiet

Għal kull nodu. Kull istanza ta' GPUwerk, fuq kull livell, hija magna sħiħa waħda għalik waħdek.

NVIDIA H100 SXM
GPUH100 SXM5, arkitettura Hopper
Memorja80 GB HBM3
Bandwidth tal-memorja3.35 TB/s
Cores CUDA16,896
Enerġija massimaSa 700 W
MIGSa 7 istanzi ta' 10 GB
OspitaHost x86
KirjaKlijent wieħed għal kull magna, qatt maqsuma

Ċifri tal-GPU minn NVIDIA H100 u l-whitepaper tal-arkitettura tal-H100. GPUwerk tippubblika ċifri ta' tok/s u ta' throughput tat-taħriġ biss għal provi fuq il-hardware tagħha stess. Ara l-benchmarks tal-flotta ta' DGX Spark għal kif jiġu rrappurtati.

X'kont tħaddem fuqu?

HBM3 b'3.35 TB/s, għat-throughput aktar milli għall-kapaċità.

Serving b'throughput għoli

Inferenza f'batches għal ħafna utenti fl-istess ħin, fejn il-bandwidth tal-HBM jiddetermina t-tokens fis-sekonda.

Taħriġ u fine-tuning

Fine-tunes sħaħ u taħriġ ta' mudelli li joqogħdu f'80 GB, b'FP8 fuq it-Transformer Engine.

Mudelli sa madwar 70B f'FP8

Il-piżijiet ta' mudell 70B joqogħdu, għalkemm tibqa' ftit memorja għall-KV cache.

Ma jaqbilx: FP4 nattiv u l-akbar mudelli

Hopper ma għandux FP4, u mudell akbar minn madwar 70B f'FP8 jeħtieġ H200, GPU Blackwell jew diversi GPUs.

Teħtieġ diversi GPUs marbuta b'NVLink? Ara s-server b'8× H100.

X'joqgħod f'80 GB

Il-piżijiet biss: il-memorja diviża bil-bytes għal kull parametru. Ħalli lok għall-KV cache, għall-attivazzjonijiet u għar-runtime, ħafna drabi 10 sa 30% aktar.

L-akbar mudell bil-piżijiet biss fuq H100 wieħed
PreċiżjoniGħal kull parametruL-akbar mudell, bil-piżijiet biss
FP16 / BF162 bytesmadwar 40B parametru
FP81 bytemadwar 80B parametru
Kwantizzat f'4-bit0.5 bytesmadwar 160B parametru (ebda FP4 nattiv fuq Hopper; ir-runtime tiddekwantizza)

Fatturazzjoni

Rata$2.69 kull siegħa, iffatturat bil-minuta
FatturazzjoniBil-minuta, kontra bilanċ ta' kreditu mħallas minn qabel
TariffiEbda tariffi tal-egress
ImpennXejn

Il-prezzijiet huma f'USD, eskluża t-taxxa applikabbli. Il-mekkaniżmi sħaħ tal-fatturazzjoni, inkluż x'tagħmel it-twaqqif kontra t-terminazzjoni, jinsabu fuq il-paġna tal-prezzijiet.

Mistoqsijiet frekwenti

Nista' nikri H100 issa?

Iddeplojah mill-console meta jkun hemm kapaċità libera; waqt li ma jkunx hemm, il-console toffri lista ta' stennija u n-nies fil-kju jirċievu email wieħed wieħed, l-eqdem l-ewwel. Il-kapaċità ma tinżamm għal ħadd: min jiddeploja l-ewwel jeħodha.

Kif taħdem il-fatturazzjoni f'dan il-livell?

L-istess bħal kull livell ta' GPUwerk: bil-minuta, kontra bilanċ ta' kreditu mħallas minn qabel, f'USD, eskluża t-taxxa applikabbli, bla tariffi tal-egress u bla impenn.

Teħtieġ ħin fuq GPU illum?

DGX Spark għandu 128 GB ta' memorja unifikata u jista' jinkera issa, għal $0.79/siegħa iffatturat bil-minuta. L-ewwel top-up: ħallas $20, ikseb $30 kreditu. Ara kif iqabbel DGX Spark, jew idħol fil-lista ta' stennija tal-H100.