GPU cloud

H100 SXM, dedikovaná.

Jedna GPU NVIDIA H100 SXM, 80 GB HBM3 s 3,35 TB/s na architektuře Hopper, na hostiteli x86. 2,69 $ za hodinu, účtováno po minutách, za stejných podmínek jako všechny ostatní úrovně GPUwerk.

Pronajímá se podle pořadí: nasaďte H100, když je kapacita volná, nebo se zapište do pořadníku v konzoli.

Specifikace

Na uzel. Každá instance GPUwerk, na jakékoli úrovni, je jeden celý stroj jen pro vás.

NVIDIA H100 SXM
GPUH100 SXM5, architektura Hopper
Paměť80 GB HBM3
Propustnost paměti3,35 TB/s
Jádra CUDA16 896
Max. příkonAž 700 W
MIGAž 7 instancí po 10 GB
HostovatHostitel x86
NájemJeden zákazník na stroj, nikdy sdíleno

Údaje o GPU z NVIDIA H100 a whitepaperu k architektuře H100. GPUwerk zveřejňuje údaje o tok/s a propustnosti trénování jen z měření na vlastním hardwaru. Jak se uvádějí, viz benchmarky flotily DGX Sparků.

Co byste na něm provozovali?

HBM3 s 3,35 TB/s, pro propustnost spíš než kapacitu.

Provoz s vysokou propustností

Dávková inference pro mnoho souběžných uživatelů, kde je počet tokenů za sekundu dán propustností HBM.

Trénování a fine-tuning

Plný fine-tuning a trénování modelů, které se vejdou do 80 GB, s FP8 na Transformer Engine.

Modely do zhruba 70B v FP8

Váhy modelu 70B se vejdou, na KV cache ale zbude málo paměti.

Nevhodné: nativní FP4 a největší modely

Hopper nemá FP4 a model větší než zhruba 70B v FP8 potřebuje H200, GPU Blackwell nebo několik GPU.

Potřebujete několik GPU propojených přes NVLink? Viz server 8× H100.

Co se vejde do 80 GB

Jen váhy: paměť dělená bajty na parametr. Nechte rezervu pro KV cache, aktivace a runtime, často o 10 až 30 % víc.

Největší model podle samotných vah na jedné H100
PřesnostNa parametrNejvětší model, jen váhy
FP16 / BF162 bajtyzhruba 40B parametrů
FP81 bajtzhruba 80B parametrů
4bitová kvantizace0,5 bajtuzhruba 160B parametrů (Hopper nemá nativní FP4; runtime dekvantizuje)

Fakturace

Sazba2,69 $ za hodinu, účtováno po minutách
FakturacePo minutách, z předplaceného kreditu
PoplatkyŽádné poplatky za odchozí data
ZávazekŽádné

Ceny jsou v USD, bez příslušné daně. Úplné fungování účtování, včetně toho, co dělá zastavení oproti ukončení, popisuje stránka s ceníkem.

FAQ

Mohu si H100 pronajmout hned?

Nasaďte ho z konzole, když je kapacita volná; dokud není, konzole nabízí pořadník a lidé ve frontě dostávají e-mail jeden po druhém, od nejstaršího. Kapacita se pro nikoho nedrží: dostane ji ten, kdo nasadí první.

Jak funguje účtování na této úrovni?

Stejně jako u každé úrovně GPUwerk: po minutách, z předplaceného kreditu, v USD, bez příslušné daně, bez poplatků za odchozí data a bez závazku.

Potřebujete GPU ještě dnes?

DGX Spark má 128 GB sjednocené paměti a je k pronájmu hned, za 0,79 $/hod účtováno po minutách. První dobití: zaplaťte 20 $, získejte 30 $ kreditu. Podívejte se, jak si DGX Spark stojí ve srovnání, nebo se zapište do pořadníku na H100.