GPU mākonis

H200, tikai jums.

Viens NVIDIA H200 GPU, 141 GB HBM3e ar Hopper arhitektūru, x86 resursdatorā. 3,49 $ stundā, maksa par katru minūti, ar tādiem pašiem noteikumiem kā visiem citiem GPUwerk līmeņiem.

Tiek iznomāts rindas kārtībā: izvietojiet H200, kad ir brīva jauda, vai pievienojieties tā gaidīšanas sarakstam konsolē.

Specifikācijas

Par GPU. Nomas laikā GPU un tā atmiņa pieder tikai jums.

NVIDIA H200
GPUH200 SXM, Hopper arhitektūra
Atmiņa141 GB HBM3e
Atmiņas joslas platums4,8 TB/s
Maks. jaudaLīdz 700 W
MIGLīdz 7 instancēm pa 18 GB
Mitinātx86 resursdators
Nomas modelisKamēr to nomājat, GPU pieder tikai jums, tas nekad netiek koplietots

GPU skaitļi no NVIDIA H200. GPUwerk publicē tok/s un apmācības caurlaidspējas skaitļus tikai mērījumiem savā aparatūrā. Kā tie tiek ziņoti, skatiet DGX Spark flotes etalontestos.

Ko jūs tajā darbinātu?

H100 skaitļošanas jauda ar par 76% vairāk atmiņas: lielāki modeļi vienā GPU un vairāk vietas KV kešatmiņai.

70B klases modeļi ar garu kontekstu

70B modelis ar FP8 ietilpst, un KV kešatmiņai paliek aptuveni 70 GB, tātad garāki prompti un vairāk vienlaicīgu pieprasījumu.

Modeļi līdz aptuveni 140B ar FP8

Svari, kuriem vajag divus H100, ietilpst vienā H200.

Pielāgošana

Pilna pielāgošana un LoRA izpildes modeļiem, kas neietilpst 80 GB.

Nav piemērots: vietējais FP4

Hopper nav FP4; 4 bitu inferencei ar Blackwell ātrumu nomājiet B200 vai B300.

Vajag vairākus GPU, kas savienoti ar NVLink? Skatiet 8× H200 serveri.

Kas ietilpst 141 GB

Tikai svari: atmiņa, dalīta ar baitiem uz parametru. Atstājiet rezervi KV kešatmiņai, aktivācijām un izpildvidei, bieži par 10 līdz 30% vairāk.

Lielākais modelis, ņemot vērā tikai svarus, vienā H200
PrecizitāteUz parametruLielākais modelis, tikai svari
FP16 / BF162 baitiaptuveni 70B parametri
FP81 baitsaptuveni 141B parametri
4 bitu kvantēts0,5 baitaaptuveni 282B parametri (Hopper nav vietējā FP4 atbalsta; izpildvide veic dekvantēšanu)

Norēķini

Likme3,49 $ stundā, maksa par katru minūti
NorēķiniPar katru minūti no priekšapmaksas kredīta atlikuma
MaksasBez maksas par izejošo datplūsmu
SaistībasNav

Cenas norādītas USD bez piemērojamiem nodokļiem. Pilns norēķinu mehānisms, ieskaitot to, ko dara apturēšana un ko izbeigšana, ir cenu lapā.

BUJ

Vai H200 var nomāt jau tagad?

Izvietojiet to no konsoles, kad ir brīva jauda; kamēr tādas nav, konsole piedāvā gaidīšanas sarakstu, un rindā esošajiem tiek nosūtīts e-pasts pa vienam, sākot ar senākajiem. Jauda netiek nevienam turēta: to saņem tas, kurš izvieto pirmais.

Kā šajā līmenī darbojas norēķini?

Tāpat kā visos GPUwerk līmeņos: par katru minūti no priekšapmaksas kredīta atlikuma, USD, bez piemērojamiem nodokļiem, bez maksas par izejošo datplūsmu un bez saistībām.

Vajag GPU laiku šodien?

DGX Spark ir 128 GB vienotās atmiņas, un to var nomāt jau tagad par 0,79 $/stundā, maksa par katru minūti. Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā. Vai izvietojiet H200.