GPU cloud
H200, dedikovaná.
Jedna GPU NVIDIA H200, 141 GB HBM3e na architektuře Hopper, na hostiteli x86. 3,49 $ za hodinu, účtováno po minutách, za stejných podmínek jako všechny ostatní úrovně GPUwerk.
Pronajímá se podle pořadí: nasaďte H200, když je kapacita volná, nebo se zapište do pořadníku v konzoli.
Specifikace
Za GPU. GPU a její paměť jsou po dobu pronájmu jen vaše.
| GPU | H200 SXM, architektura Hopper |
|---|---|
| Paměť | 141 GB HBM3e |
| Propustnost paměti | 4,8 TB/s |
| Max. příkon | Až 700 W |
| MIG | Až 7 instancí po 18 GB |
| Hostovat | Hostitel x86 |
| Nájem | Po dobu pronájmu je GPU jen vaše, nikdy sdílená |
Údaje o GPU z NVIDIA H200. GPUwerk zveřejňuje údaje o tok/s a propustnosti trénování jen z měření na vlastním hardwaru. Jak se uvádějí, viz benchmarky flotily DGX Sparků.
Co byste na něm provozovali?
Výpočetní výkon H100 se o 76 % větší pamětí: větší modely na jedné GPU a víc místa pro KV cache.
Modely třídy 70B s dlouhým kontextem
Model 70B v FP8 se vejde a na KV cache zbude zhruba 70 GB, tedy delší prompty a více souběžných požadavků.
Modely do zhruba 140B v FP8
Váhy, které potřebují dvě H100, se vejdou na jednu H200.
Fine-tuning
Plný fine-tuning a LoRA na modelech, které se nevejdou do 80 GB.
Nevhodné: nativní FP4
Hopper nemá FP4; pro 4bitovou inferenci rychlostí Blackwellu si pronajměte B200 nebo B300.
Potřebujete několik GPU propojených přes NVLink? Viz server 8× H200.
Co se vejde do 141 GB
Jen váhy: paměť dělená bajty na parametr. Nechte rezervu pro KV cache, aktivace a runtime, často o 10 až 30 % víc.
| Přesnost | Na parametr | Největší model, jen váhy |
|---|---|---|
| FP16 / BF16 | 2 bajty | zhruba 70B parametrů |
| FP8 | 1 bajt | zhruba 141B parametrů |
| 4bitová kvantizace | 0,5 bajtu | zhruba 282B parametrů (Hopper nemá nativní FP4; runtime dekvantizuje) |
Fakturace
| Sazba | 3,49 $ za hodinu, účtováno po minutách |
|---|---|
| Fakturace | Po minutách, z předplaceného kreditu |
| Poplatky | Žádné poplatky za odchozí data |
| Závazek | Žádné |
Ceny jsou v USD, bez příslušné daně. Úplné fungování účtování, včetně toho, co dělá zastavení oproti ukončení, popisuje stránka s ceníkem.
FAQ
Mohu si H200 pronajmout hned?
Nasaďte ho z konzole, když je kapacita volná; dokud není, konzole nabízí pořadník a lidé ve frontě dostávají e-mail jeden po druhém, od nejstaršího. Kapacita se pro nikoho nedrží: dostane ji ten, kdo nasadí první.
Jak funguje účtování na této úrovni?
Stejně jako u každé úrovně GPUwerk: po minutách, z předplaceného kreditu, v USD, bez příslušné daně, bez poplatků za odchozí data a bez závazku.
Potřebujete GPU ještě dnes?
DGX Spark má 128 GB sjednocené paměti a je k pronájmu hned, za 0,79 $/hod účtováno po minutách. První dobití: zaplaťte 20 $, získejte 30 $ kreditu. Nebo nasaďte H200.