GPU cloud

H200, dedikovaná.

Jedna GPU NVIDIA H200, 141 GB HBM3e na architektuře Hopper, na hostiteli x86. 3,49 $ za hodinu, účtováno po minutách, za stejných podmínek jako všechny ostatní úrovně GPUwerk.

Pronajímá se podle pořadí: nasaďte H200, když je kapacita volná, nebo se zapište do pořadníku v konzoli.

Specifikace

Za GPU. GPU a její paměť jsou po dobu pronájmu jen vaše.

NVIDIA H200
GPUH200 SXM, architektura Hopper
Paměť141 GB HBM3e
Propustnost paměti4,8 TB/s
Max. příkonAž 700 W
MIGAž 7 instancí po 18 GB
HostovatHostitel x86
NájemPo dobu pronájmu je GPU jen vaše, nikdy sdílená

Údaje o GPU z NVIDIA H200. GPUwerk zveřejňuje údaje o tok/s a propustnosti trénování jen z měření na vlastním hardwaru. Jak se uvádějí, viz benchmarky flotily DGX Sparků.

Co byste na něm provozovali?

Výpočetní výkon H100 se o 76 % větší pamětí: větší modely na jedné GPU a víc místa pro KV cache.

Modely třídy 70B s dlouhým kontextem

Model 70B v FP8 se vejde a na KV cache zbude zhruba 70 GB, tedy delší prompty a více souběžných požadavků.

Modely do zhruba 140B v FP8

Váhy, které potřebují dvě H100, se vejdou na jednu H200.

Fine-tuning

Plný fine-tuning a LoRA na modelech, které se nevejdou do 80 GB.

Nevhodné: nativní FP4

Hopper nemá FP4; pro 4bitovou inferenci rychlostí Blackwellu si pronajměte B200 nebo B300.

Potřebujete několik GPU propojených přes NVLink? Viz server 8× H200.

Co se vejde do 141 GB

Jen váhy: paměť dělená bajty na parametr. Nechte rezervu pro KV cache, aktivace a runtime, často o 10 až 30 % víc.

Největší model podle samotných vah na jedné H200
PřesnostNa parametrNejvětší model, jen váhy
FP16 / BF162 bajtyzhruba 70B parametrů
FP81 bajtzhruba 141B parametrů
4bitová kvantizace0,5 bajtuzhruba 282B parametrů (Hopper nemá nativní FP4; runtime dekvantizuje)

Fakturace

Sazba3,49 $ za hodinu, účtováno po minutách
FakturacePo minutách, z předplaceného kreditu
PoplatkyŽádné poplatky za odchozí data
ZávazekŽádné

Ceny jsou v USD, bez příslušné daně. Úplné fungování účtování, včetně toho, co dělá zastavení oproti ukončení, popisuje stránka s ceníkem.

FAQ

Mohu si H200 pronajmout hned?

Nasaďte ho z konzole, když je kapacita volná; dokud není, konzole nabízí pořadník a lidé ve frontě dostávají e-mail jeden po druhém, od nejstaršího. Kapacita se pro nikoho nedrží: dostane ji ten, kdo nasadí první.

Jak funguje účtování na této úrovni?

Stejně jako u každé úrovně GPUwerk: po minutách, z předplaceného kreditu, v USD, bez příslušné daně, bez poplatků za odchozí data a bez závazku.

Potřebujete GPU ještě dnes?

DGX Spark má 128 GB sjednocené paměti a je k pronájmu hned, za 0,79 $/hod účtováno po minutách. První dobití: zaplaťte 20 $, získejte 30 $ kreditu. Nebo nasaďte H200.