GPU mākonis

H100 SXM, tikai jums.

Viens NVIDIA H100 SXM GPU, 80 GB HBM3 ar 3,35 TB/s un Hopper arhitektūru, x86 resursdatorā. 2,69 $ stundā, maksa par katru minūti, ar tādiem pašiem noteikumiem kā visiem citiem GPUwerk līmeņiem.

Tiek iznomāts rindas kārtībā: izvietojiet H100, kad ir brīva jauda, vai pievienojieties tā gaidīšanas sarakstam konsolē.

Specifikācijas

Uz mezglu. Katra GPUwerk instance jebkurā līmenī ir viena vesela iekārta tikai jums.

NVIDIA H100 SXM
GPUH100 SXM5, Hopper arhitektūra
Atmiņa80 GB HBM3
Atmiņas joslas platums3,35 TB/s
CUDA kodoli16 896
Maks. jaudaLīdz 700 W
MIGLīdz 7 instancēm pa 10 GB
Mitinātx86 resursdators
Nomas modelisViens klients vienā iekārtā, nekad netiek koplietota

GPU skaitļi no NVIDIA H100 un H100 arhitektūras baltās grāmatas. GPUwerk publicē tok/s un apmācības caurlaidspējas skaitļus tikai mērījumiem savā aparatūrā. Kā tie tiek ziņoti, skatiet DGX Spark flotes etalontestos.

Ko jūs tajā darbinātu?

HBM3 ar 3,35 TB/s, caurlaidspējai, nevis ietilpībai.

Augstas caurlaidspējas apkalpošana

Pakešu inference daudziem vienlaicīgiem lietotājiem, kur tokenus sekundē nosaka HBM joslas platums.

Apmācība un pielāgošana

Pilna pielāgošana un apmācības izpildes modeļiem, kas ietilpst 80 GB, ar FP8 uz Transformer Engine.

Modeļi līdz aptuveni 70B ar FP8

70B modeļa svari ietilpst, lai gan KV kešatmiņai paliek maz atmiņas.

Nav piemērots: vietējais FP4 un lielākie modeļi

Hopper nav FP4, un modelim, kas lielāks par aptuveni 70B ar FP8, vajag H200, Blackwell GPU vai vairākus GPU.

Vajag vairākus GPU, kas savienoti ar NVLink? Skatiet 8× H100 serveri.

Kas ietilpst 80 GB

Tikai svari: atmiņa, dalīta ar baitiem uz parametru. Atstājiet rezervi KV kešatmiņai, aktivācijām un izpildvidei, bieži par 10 līdz 30% vairāk.

Lielākais modelis, ņemot vērā tikai svarus, vienā H100
PrecizitāteUz parametruLielākais modelis, tikai svari
FP16 / BF162 baitiaptuveni 40B parametri
FP81 baitsaptuveni 80B parametri
4 bitu kvantēts0,5 baitaaptuveni 160B parametri (Hopper nav vietējā FP4 atbalsta; izpildvide veic dekvantēšanu)

Norēķini

Likme2,69 $ stundā, maksa par katru minūti
NorēķiniPar katru minūti no priekšapmaksas kredīta atlikuma
MaksasBez maksas par izejošo datplūsmu
SaistībasNav

Cenas norādītas USD bez piemērojamiem nodokļiem. Pilns norēķinu mehānisms, ieskaitot to, ko dara apturēšana un ko izbeigšana, ir cenu lapā.

BUJ

Vai H100 var nomāt jau tagad?

Izvietojiet to no konsoles, kad ir brīva jauda; kamēr tādas nav, konsole piedāvā gaidīšanas sarakstu, un rindā esošajiem tiek nosūtīts e-pasts pa vienam, sākot ar senākajiem. Jauda netiek nevienam turēta: to saņem tas, kurš izvieto pirmais.

Kā šajā līmenī darbojas norēķini?

Tāpat kā visos GPUwerk līmeņos: par katru minūti no priekšapmaksas kredīta atlikuma, USD, bez piemērojamiem nodokļiem, bez maksas par izejošo datplūsmu un bez saistībām.

Vajag GPU laiku šodien?

DGX Spark ir 128 GB vienotās atmiņas, un to var nomāt jau tagad par 0,79 $/stundā, maksa par katru minūti. Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā. Skatiet, kā DGX Spark salīdzināms, vai pievienojieties H100 gaidīšanas sarakstam.