Oblak GPU
H200, namenski.
En GPU NVIDIA H200, 141 GB HBM3e na arhitekturi Hopper, na gostitelju x86. 3,49 USD na uro, obračun po minutah, pod enakimi pogoji kot vsi drugi razredi GPUwerka.
Oddaja se po vrstnem redu prijav: zaženite H200, ko je zmogljivost prosta, ali se v konzoli uvrstite na njegov čakalni seznam.
Specifikacije
Na GPU. GPU in njegov pomnilnik sta med najemom samo vaša.
| GPU | H200 SXM, arhitektura Hopper |
|---|---|
| Pomnilnik | 141 GB HBM3e |
| Pasovna širina pomnilnika | 4,8 TB/s |
| Največja moč | Do 700 W |
| MIG | Do 7 instanc po 18 GB |
| Gostitelj | Gostitelj x86 |
| Najem | GPU je med najemom samo vaš, nikoli deljen |
Podatki o GPU z NVIDIA H200. GPUwerk objavlja podatke o tok/s in prepustnosti učenja le za zagone na lastni strojni opremi. Kako so poročani, glejte med meritvami flote DGX Spark.
Kaj bi na njem poganjali?
Računska moč H100 s 76 % več pomnilnika: večji modeli na enem GPU-ju in več prostora za predpomnilnik KV.
Modeli razreda 70B z dolgim kontekstom
Model 70B pri FP8 gre v pomnilnik in za predpomnilnik KV ostane približno 70 GB, torej daljši pozivi in več sočasnih zahtev.
Modeli do približno 140B pri FP8
Uteži, ki potrebujejo dva H100, gredo na en H200.
Fino nastavljanje
Popolno fino nastavljanje in zagoni LoRA na modelih, ki ne gredo v 80 GB.
Slabo ustreza: izvorni FP4
Hopper nima FP4; za 4-bitno sklepanje s hitrostjo Blackwella najemite B200 ali B300.
Potrebujete več GPU, povezanih z NVLink? Oglejte si strežnik 8× H200.
Kaj gre v 141 GB
Samo uteži: pomnilnik, deljen z bajti na parameter. Pustite rezervo za predpomnilnik KV, aktivacije in izvajalno okolje, pogosto 10 do 30 % več.
| Natančnost | Na parameter | Največji model, samo uteži |
|---|---|---|
| FP16 / BF16 | 2 bajta | približno 70B parametrov |
| FP8 | 1 bajt | približno 141B parametrov |
| 4-bitno kvantiziran | 0,5 bajta | približno 282B parametrov (Hopper nima izvorne podpore FP4; izvajalno okolje dekvantizira) |
Obračun
| Cena | 3,49 USD na uro, obračun po minutah |
|---|---|
| Obračun | Po minutah, iz predplačniškega dobroimetja |
| Provizije | Brez stroškov odhodnega prometa |
| Zaveza | Brez |
Cene so v USD, brez veljavnih davkov. Celoten način obračuna, vključno s tem, kaj naredi ustavitev v primerjavi z odstranitvijo, je na strani s cenami.
Pogosta vprašanja
Ali lahko H200 najamem že zdaj?
Zaženite jo iz konzole, ko je zmogljivost prosta; dokler je ni, konzola ponudi čakalni seznam in ljudje v vrsti prejmejo e-pošto drug za drugim, najstarejši najprej. Zmogljivost ni rezervirana za nikogar: dobi jo tisti, ki jo prvi zažene.
Kako poteka obračun pri tem razredu?
Enako kot pri vsakem razredu GPUwerka: po minutah, iz predplačniškega dobroimetja, v USD, brez morebitnega davka, brez stroškov odhodnega prometa in brez zaveze.
Potrebujete GPU že danes?
DGX Spark ima 128 GB enotnega pomnilnika in ga lahko najamete takoj, za 0,79 USD/uro z obračunom po minutah. Prvo polnjenje: plačajte 20 USD, dobite 30 USD dobroimetja. Ali pa zaženite H200.