Oblak GPU
H100 SXM, namenski.
En GPU NVIDIA H100 SXM, 80 GB HBM3 s 3,35 TB/s na arhitekturi Hopper, na gostitelju x86. 2,69 USD na uro, obračun po minutah, pod enakimi pogoji kot vsi drugi razredi GPUwerka.
Oddaja se po vrstnem redu prijav: zaženite H100, ko je zmogljivost prosta, ali se v konzoli uvrstite na njegov čakalni seznam.
Specifikacije
Na vozlišče. Vsaka instanca GPUwerk v katerem koli razredu je cela naprava samo za vas.
| GPU | H100 SXM5, arhitektura Hopper |
|---|---|
| Pomnilnik | 80 GB HBM3 |
| Pasovna širina pomnilnika | 3,35 TB/s |
| Jedra CUDA | 16.896 |
| Največja moč | Do 700 W |
| MIG | Do 7 instanc po 10 GB |
| Gostitelj | Gostitelj x86 |
| Najem | Ena stranka na napravo, nikoli deljeno |
Podatki o GPU z NVIDIA H100 in iz arhitekturnega dokumenta H100. GPUwerk objavlja podatke o tok/s in prepustnosti učenja le za zagone na lastni strojni opremi. Kako so poročani, glejte med meritvami flote DGX Spark.
Kaj bi na njem poganjali?
HBM3 pri 3,35 TB/s, bolj za prepustnost kot za zmogljivost.
Strežba z veliko prepustnostjo
Paketno sklepanje za veliko sočasnih uporabnikov, kjer število tokenov na sekundo določa pasovna širina HBM.
Učenje in fino nastavljanje
Popolno fino nastavljanje in učenje modelov, ki gredo v 80 GB, s FP8 na Transformer Engine.
Modeli do približno 70B pri FP8
Uteži modela 70B gredo v pomnilnik, vendar za predpomnilnik KV ostane malo pomnilnika.
Slabo ustreza: izvorni FP4 in največji modeli
Hopper nima FP4, model, večji od približno 70B pri FP8, pa potrebuje H200, GPU Blackwell ali več GPU-jev.
Potrebujete več GPU, povezanih z NVLink? Oglejte si strežnik 8× H100.
Kaj gre v 80 GB
Samo uteži: pomnilnik, deljen z bajti na parameter. Pustite rezervo za predpomnilnik KV, aktivacije in izvajalno okolje, pogosto 10 do 30 % več.
| Natančnost | Na parameter | Največji model, samo uteži |
|---|---|---|
| FP16 / BF16 | 2 bajta | približno 40B parametrov |
| FP8 | 1 bajt | približno 80B parametrov |
| 4-bitno kvantiziran | 0,5 bajta | približno 160B parametrov (Hopper nima izvorne podpore FP4; izvajalno okolje dekvantizira) |
Obračun
| Cena | 2,69 USD na uro, obračun po minutah |
|---|---|
| Obračun | Po minutah, iz predplačniškega dobroimetja |
| Provizije | Brez stroškov odhodnega prometa |
| Zaveza | Brez |
Cene so v USD, brez veljavnih davkov. Celoten način obračuna, vključno s tem, kaj naredi ustavitev v primerjavi z odstranitvijo, je na strani s cenami.
Pogosta vprašanja
Ali lahko H100 najamem že zdaj?
Zaženite jo iz konzole, ko je zmogljivost prosta; dokler je ni, konzola ponudi čakalni seznam in ljudje v vrsti prejmejo e-pošto drug za drugim, najstarejši najprej. Zmogljivost ni rezervirana za nikogar: dobi jo tisti, ki jo prvi zažene.
Kako poteka obračun pri tem razredu?
Enako kot pri vsakem razredu GPUwerka: po minutah, iz predplačniškega dobroimetja, v USD, brez morebitnega davka, brez stroškov odhodnega prometa in brez zaveze.
Potrebujete GPU že danes?
DGX Spark ima 128 GB enotnega pomnilnika in ga lahko najamete takoj, za 0,79 USD/uro z obračunom po minutah. Prvo polnjenje: plačajte 20 USD, dobite 30 USD dobroimetja. Oglejte si, kako se DGX Spark primerja, ali se pridružite čakalnemu seznamu za H100.