GPU mākonis
H200, tikai jums.
Viens NVIDIA H200 GPU, 141 GB HBM3e ar Hopper arhitektūru, x86 resursdatorā. 3,49 $ stundā, maksa par katru minūti, ar tādiem pašiem noteikumiem kā visiem citiem GPUwerk līmeņiem.
Tiek iznomāts rindas kārtībā: izvietojiet H200, kad ir brīva jauda, vai pievienojieties tā gaidīšanas sarakstam konsolē.
Specifikācijas
Par GPU. Nomas laikā GPU un tā atmiņa pieder tikai jums.
| GPU | H200 SXM, Hopper arhitektūra |
|---|---|
| Atmiņa | 141 GB HBM3e |
| Atmiņas joslas platums | 4,8 TB/s |
| Maks. jauda | Līdz 700 W |
| MIG | Līdz 7 instancēm pa 18 GB |
| Mitināt | x86 resursdators |
| Nomas modelis | Kamēr to nomājat, GPU pieder tikai jums, tas nekad netiek koplietots |
GPU skaitļi no NVIDIA H200. GPUwerk publicē tok/s un apmācības caurlaidspējas skaitļus tikai mērījumiem savā aparatūrā. Kā tie tiek ziņoti, skatiet DGX Spark flotes etalontestos.
Ko jūs tajā darbinātu?
H100 skaitļošanas jauda ar par 76% vairāk atmiņas: lielāki modeļi vienā GPU un vairāk vietas KV kešatmiņai.
70B klases modeļi ar garu kontekstu
70B modelis ar FP8 ietilpst, un KV kešatmiņai paliek aptuveni 70 GB, tātad garāki prompti un vairāk vienlaicīgu pieprasījumu.
Modeļi līdz aptuveni 140B ar FP8
Svari, kuriem vajag divus H100, ietilpst vienā H200.
Pielāgošana
Pilna pielāgošana un LoRA izpildes modeļiem, kas neietilpst 80 GB.
Nav piemērots: vietējais FP4
Hopper nav FP4; 4 bitu inferencei ar Blackwell ātrumu nomājiet B200 vai B300.
Vajag vairākus GPU, kas savienoti ar NVLink? Skatiet 8× H200 serveri.
Kas ietilpst 141 GB
Tikai svari: atmiņa, dalīta ar baitiem uz parametru. Atstājiet rezervi KV kešatmiņai, aktivācijām un izpildvidei, bieži par 10 līdz 30% vairāk.
| Precizitāte | Uz parametru | Lielākais modelis, tikai svari |
|---|---|---|
| FP16 / BF16 | 2 baiti | aptuveni 70B parametri |
| FP8 | 1 baits | aptuveni 141B parametri |
| 4 bitu kvantēts | 0,5 baita | aptuveni 282B parametri (Hopper nav vietējā FP4 atbalsta; izpildvide veic dekvantēšanu) |
Norēķini
| Likme | 3,49 $ stundā, maksa par katru minūti |
|---|---|
| Norēķini | Par katru minūti no priekšapmaksas kredīta atlikuma |
| Maksas | Bez maksas par izejošo datplūsmu |
| Saistības | Nav |
Cenas norādītas USD bez piemērojamiem nodokļiem. Pilns norēķinu mehānisms, ieskaitot to, ko dara apturēšana un ko izbeigšana, ir cenu lapā.
BUJ
Vai H200 var nomāt jau tagad?
Izvietojiet to no konsoles, kad ir brīva jauda; kamēr tādas nav, konsole piedāvā gaidīšanas sarakstu, un rindā esošajiem tiek nosūtīts e-pasts pa vienam, sākot ar senākajiem. Jauda netiek nevienam turēta: to saņem tas, kurš izvieto pirmais.
Kā šajā līmenī darbojas norēķini?
Tāpat kā visos GPUwerk līmeņos: par katru minūti no priekšapmaksas kredīta atlikuma, USD, bez piemērojamiem nodokļiem, bez maksas par izejošo datplūsmu un bez saistībām.
Vajag GPU laiku šodien?
DGX Spark ir 128 GB vienotās atmiņas, un to var nomāt jau tagad par 0,79 $/stundā, maksa par katru minūti. Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā. Vai izvietojiet H200.