GPU cloud

H100 SXM, vyhradená.

Jedno GPU NVIDIA H100 SXM, 80 GB HBM3 s 3,35 TB/s na architektúre Hopper, na x86 hostiteľovi. 2,69 $ za hodinu, účtované po minútach, za rovnakých podmienok ako každá iná úroveň GPUwerk.

Prenajíma sa podľa poradia: nasaďte H100, keď je kapacita voľná, alebo sa zapíšte do jej poradovníka v konzole.

Špecifikácie

Na uzol. Každá inštancia GPUwerk, na akejkoľvek úrovni, je jeden celý stroj len pre vás.

NVIDIA H100 SXM
GPUH100 SXM5, architektúra Hopper
Pamäť80 GB HBM3
Priepustnosť pamäte3,35 TB/s
Jadrá CUDA16 896
Max. príkonAž 700 W
MIGAž 7 inštancií po 10 GB
Hostovaťx86 hostiteľ
NájomJeden zákazník na stroj, nikdy zdieľaný

Údaje o GPU pochádzajú zo stránky NVIDIA H100 a whitepaperu architektúry H100. GPUwerk zverejňuje údaje o tok/s a priepustnosti trénovania len pre behy na vlastnom hardvéri. Ako sa uvádzajú, nájdete v benchmarkoch flotily DGX Sparkov.

Čo by ste na ňom spúšťali?

HBM3 s 3,35 TB/s, skôr pre priepustnosť než kapacitu.

Inferencia s vysokou priepustnosťou

Dávková inferencia pre mnoho súbežných používateľov, kde počet tokenov za sekundu určuje priepustnosť HBM.

Trénovanie a fine-tuning

Úplné fine-tuningy a trénovania modelov, ktoré sa zmestia do 80 GB, s FP8 na Transformer Engine.

Modely do asi 70B v FP8

Váhy modelu 70B sa zmestia, no pre KV cache zostane málo pamäte.

Nehodí sa: natívne FP4 a najväčšie modely

Hopper nemá FP4 a model väčší ako asi 70B v FP8 potrebuje H200, GPU Blackwell alebo viac GPU.

Potrebujete viac GPU prepojených cez NVLink? Pozrite si server 8× H100.

Čo sa zmestí do 80 GB

Len váhy: pamäť delená počtom bajtov na parameter. Nechajte rezervu pre KV cache, aktivácie a runtime, často o 10 až 30 % viac.

Najväčší model na jednej H100, len podľa váh
PresnosťNa parameterNajväčší model, len váhy
FP16 / BF162 bajtyasi 40B parametrov
FP81 bajtasi 80B parametrov
4-bitová kvantizácia0,5 bajtuasi 160B parametrov (Hopper nemá natívne FP4; runtime dekvantizuje)

Fakturácia

Sadzba2,69 $ za hodinu, účtované po minútach
FakturáciaPo minútach, z predplateného zostatku kreditu
PoplatkyŽiadne poplatky za odchádzajúce dáta
ZáväzokŽiadne

Ceny sú v USD, bez príslušných daní. Úplné pravidlá fakturácie vrátane toho, čo robí zastavenie a čo ukončenie, sú na stránke s cenami.

FAQ

Môžem si H100 prenajať hneď?

Keď je kapacita voľná, nasaďte ho z konzoly; kým nie je, konzola ponúkne poradovník a ľudí v poradí oslovuje e-mailom po jednom, od najstaršieho. Kapacita sa pre nikoho nedrží: dostane ju ten, kto nasadí prvý.

Ako funguje účtovanie na tejto úrovni?

Rovnako ako každá úroveň GPUwerk: po minútach, z predplateného zostatku kreditu, v USD, bez príslušných daní, bez poplatkov za odchádzajúce dáta a bez záväzku.

Potrebujete čas na GPU ešte dnes?

DGX Spark má 128 GB zjednotenej pamäte a dá sa prenajať hneď, za 0,79 $/hod. účtované po minútach. Prvé dobitie: zaplatíte 20 $, dostanete 30 $ kreditu. Pozrite si, ako sa DGX Spark porovnáva, alebo sa zapíšte do poradovníka na H100.