Oblak GPU

H100 SXM, namenski.

En GPU NVIDIA H100 SXM, 80 GB HBM3 s 3,35 TB/s na arhitekturi Hopper, na gostitelju x86. 2,69 USD na uro, obračun po minutah, pod enakimi pogoji kot vsi drugi razredi GPUwerka.

Oddaja se po vrstnem redu prijav: zaženite H100, ko je zmogljivost prosta, ali se v konzoli uvrstite na njegov čakalni seznam.

Specifikacije

Na vozlišče. Vsaka instanca GPUwerk v katerem koli razredu je cela naprava samo za vas.

NVIDIA H100 SXM
GPUH100 SXM5, arhitektura Hopper
Pomnilnik80 GB HBM3
Pasovna širina pomnilnika3,35 TB/s
Jedra CUDA16.896
Največja močDo 700 W
MIGDo 7 instanc po 10 GB
GostiteljGostitelj x86
NajemEna stranka na napravo, nikoli deljeno

Podatki o GPU z NVIDIA H100 in iz arhitekturnega dokumenta H100. GPUwerk objavlja podatke o tok/s in prepustnosti učenja le za zagone na lastni strojni opremi. Kako so poročani, glejte med meritvami flote DGX Spark.

Kaj bi na njem poganjali?

HBM3 pri 3,35 TB/s, bolj za prepustnost kot za zmogljivost.

Strežba z veliko prepustnostjo

Paketno sklepanje za veliko sočasnih uporabnikov, kjer število tokenov na sekundo določa pasovna širina HBM.

Učenje in fino nastavljanje

Popolno fino nastavljanje in učenje modelov, ki gredo v 80 GB, s FP8 na Transformer Engine.

Modeli do približno 70B pri FP8

Uteži modela 70B gredo v pomnilnik, vendar za predpomnilnik KV ostane malo pomnilnika.

Slabo ustreza: izvorni FP4 in največji modeli

Hopper nima FP4, model, večji od približno 70B pri FP8, pa potrebuje H200, GPU Blackwell ali več GPU-jev.

Potrebujete več GPU, povezanih z NVLink? Oglejte si strežnik 8× H100.

Kaj gre v 80 GB

Samo uteži: pomnilnik, deljen z bajti na parameter. Pustite rezervo za predpomnilnik KV, aktivacije in izvajalno okolje, pogosto 10 do 30 % več.

Največji model samo po utežeh na enem H100
NatančnostNa parameterNajvečji model, samo uteži
FP16 / BF162 bajtapribližno 40B parametrov
FP81 bajtpribližno 80B parametrov
4-bitno kvantiziran0,5 bajtapribližno 160B parametrov (Hopper nima izvorne podpore FP4; izvajalno okolje dekvantizira)

Obračun

Cena2,69 USD na uro, obračun po minutah
ObračunPo minutah, iz predplačniškega dobroimetja
ProvizijeBrez stroškov odhodnega prometa
ZavezaBrez

Cene so v USD, brez veljavnih davkov. Celoten način obračuna, vključno s tem, kaj naredi ustavitev v primerjavi z odstranitvijo, je na strani s cenami.

Pogosta vprašanja

Ali lahko H100 najamem že zdaj?

Zaženite jo iz konzole, ko je zmogljivost prosta; dokler je ni, konzola ponudi čakalni seznam in ljudje v vrsti prejmejo e-pošto drug za drugim, najstarejši najprej. Zmogljivost ni rezervirana za nikogar: dobi jo tisti, ki jo prvi zažene.

Kako poteka obračun pri tem razredu?

Enako kot pri vsakem razredu GPUwerka: po minutah, iz predplačniškega dobroimetja, v USD, brez morebitnega davka, brez stroškov odhodnega prometa in brez zaveze.

Potrebujete GPU že danes?

DGX Spark ima 128 GB enotnega pomnilnika in ga lahko najamete takoj, za 0,79 USD/uro z obračunom po minutah. Prvo polnjenje: plačajte 20 USD, dobite 30 USD dobroimetja. Oglejte si, kako se DGX Spark primerja, ali se pridružite čakalnemu seznamu za H100.