GPU mākonis
H100 SXM, tikai jums.
Viens NVIDIA H100 SXM GPU, 80 GB HBM3 ar 3,35 TB/s un Hopper arhitektūru, x86 resursdatorā. 2,69 $ stundā, maksa par katru minūti, ar tādiem pašiem noteikumiem kā visiem citiem GPUwerk līmeņiem.
Tiek iznomāts rindas kārtībā: izvietojiet H100, kad ir brīva jauda, vai pievienojieties tā gaidīšanas sarakstam konsolē.
Specifikācijas
Uz mezglu. Katra GPUwerk instance jebkurā līmenī ir viena vesela iekārta tikai jums.
| GPU | H100 SXM5, Hopper arhitektūra |
|---|---|
| Atmiņa | 80 GB HBM3 |
| Atmiņas joslas platums | 3,35 TB/s |
| CUDA kodoli | 16 896 |
| Maks. jauda | Līdz 700 W |
| MIG | Līdz 7 instancēm pa 10 GB |
| Mitināt | x86 resursdators |
| Nomas modelis | Viens klients vienā iekārtā, nekad netiek koplietota |
GPU skaitļi no NVIDIA H100 un H100 arhitektūras baltās grāmatas. GPUwerk publicē tok/s un apmācības caurlaidspējas skaitļus tikai mērījumiem savā aparatūrā. Kā tie tiek ziņoti, skatiet DGX Spark flotes etalontestos.
Ko jūs tajā darbinātu?
HBM3 ar 3,35 TB/s, caurlaidspējai, nevis ietilpībai.
Augstas caurlaidspējas apkalpošana
Pakešu inference daudziem vienlaicīgiem lietotājiem, kur tokenus sekundē nosaka HBM joslas platums.
Apmācība un pielāgošana
Pilna pielāgošana un apmācības izpildes modeļiem, kas ietilpst 80 GB, ar FP8 uz Transformer Engine.
Modeļi līdz aptuveni 70B ar FP8
70B modeļa svari ietilpst, lai gan KV kešatmiņai paliek maz atmiņas.
Nav piemērots: vietējais FP4 un lielākie modeļi
Hopper nav FP4, un modelim, kas lielāks par aptuveni 70B ar FP8, vajag H200, Blackwell GPU vai vairākus GPU.
Vajag vairākus GPU, kas savienoti ar NVLink? Skatiet 8× H100 serveri.
Kas ietilpst 80 GB
Tikai svari: atmiņa, dalīta ar baitiem uz parametru. Atstājiet rezervi KV kešatmiņai, aktivācijām un izpildvidei, bieži par 10 līdz 30% vairāk.
| Precizitāte | Uz parametru | Lielākais modelis, tikai svari |
|---|---|---|
| FP16 / BF16 | 2 baiti | aptuveni 40B parametri |
| FP8 | 1 baits | aptuveni 80B parametri |
| 4 bitu kvantēts | 0,5 baita | aptuveni 160B parametri (Hopper nav vietējā FP4 atbalsta; izpildvide veic dekvantēšanu) |
Norēķini
| Likme | 2,69 $ stundā, maksa par katru minūti |
|---|---|
| Norēķini | Par katru minūti no priekšapmaksas kredīta atlikuma |
| Maksas | Bez maksas par izejošo datplūsmu |
| Saistības | Nav |
Cenas norādītas USD bez piemērojamiem nodokļiem. Pilns norēķinu mehānisms, ieskaitot to, ko dara apturēšana un ko izbeigšana, ir cenu lapā.
BUJ
Vai H100 var nomāt jau tagad?
Izvietojiet to no konsoles, kad ir brīva jauda; kamēr tādas nav, konsole piedāvā gaidīšanas sarakstu, un rindā esošajiem tiek nosūtīts e-pasts pa vienam, sākot ar senākajiem. Jauda netiek nevienam turēta: to saņem tas, kurš izvieto pirmais.
Kā šajā līmenī darbojas norēķini?
Tāpat kā visos GPUwerk līmeņos: par katru minūti no priekšapmaksas kredīta atlikuma, USD, bez piemērojamiem nodokļiem, bez maksas par izejošo datplūsmu un bez saistībām.
Vajag GPU laiku šodien?
DGX Spark ir 128 GB vienotās atmiņas, un to var nomāt jau tagad par 0,79 $/stundā, maksa par katru minūti. Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā. Skatiet, kā DGX Spark salīdzināms, vai pievienojieties H100 gaidīšanas sarakstam.