GPU cloud
H100 SXM, dedikovaná.
Jedna GPU NVIDIA H100 SXM, 80 GB HBM3 s 3,35 TB/s na architektuře Hopper, na hostiteli x86. 2,69 $ za hodinu, účtováno po minutách, za stejných podmínek jako všechny ostatní úrovně GPUwerk.
Pronajímá se podle pořadí: nasaďte H100, když je kapacita volná, nebo se zapište do pořadníku v konzoli.
Specifikace
Na uzel. Každá instance GPUwerk, na jakékoli úrovni, je jeden celý stroj jen pro vás.
| GPU | H100 SXM5, architektura Hopper |
|---|---|
| Paměť | 80 GB HBM3 |
| Propustnost paměti | 3,35 TB/s |
| Jádra CUDA | 16 896 |
| Max. příkon | Až 700 W |
| MIG | Až 7 instancí po 10 GB |
| Hostovat | Hostitel x86 |
| Nájem | Jeden zákazník na stroj, nikdy sdíleno |
Údaje o GPU z NVIDIA H100 a whitepaperu k architektuře H100. GPUwerk zveřejňuje údaje o tok/s a propustnosti trénování jen z měření na vlastním hardwaru. Jak se uvádějí, viz benchmarky flotily DGX Sparků.
Co byste na něm provozovali?
HBM3 s 3,35 TB/s, pro propustnost spíš než kapacitu.
Provoz s vysokou propustností
Dávková inference pro mnoho souběžných uživatelů, kde je počet tokenů za sekundu dán propustností HBM.
Trénování a fine-tuning
Plný fine-tuning a trénování modelů, které se vejdou do 80 GB, s FP8 na Transformer Engine.
Modely do zhruba 70B v FP8
Váhy modelu 70B se vejdou, na KV cache ale zbude málo paměti.
Nevhodné: nativní FP4 a největší modely
Hopper nemá FP4 a model větší než zhruba 70B v FP8 potřebuje H200, GPU Blackwell nebo několik GPU.
Potřebujete několik GPU propojených přes NVLink? Viz server 8× H100.
Co se vejde do 80 GB
Jen váhy: paměť dělená bajty na parametr. Nechte rezervu pro KV cache, aktivace a runtime, často o 10 až 30 % víc.
| Přesnost | Na parametr | Největší model, jen váhy |
|---|---|---|
| FP16 / BF16 | 2 bajty | zhruba 40B parametrů |
| FP8 | 1 bajt | zhruba 80B parametrů |
| 4bitová kvantizace | 0,5 bajtu | zhruba 160B parametrů (Hopper nemá nativní FP4; runtime dekvantizuje) |
Fakturace
| Sazba | 2,69 $ za hodinu, účtováno po minutách |
|---|---|
| Fakturace | Po minutách, z předplaceného kreditu |
| Poplatky | Žádné poplatky za odchozí data |
| Závazek | Žádné |
Ceny jsou v USD, bez příslušné daně. Úplné fungování účtování, včetně toho, co dělá zastavení oproti ukončení, popisuje stránka s ceníkem.
FAQ
Mohu si H100 pronajmout hned?
Nasaďte ho z konzole, když je kapacita volná; dokud není, konzole nabízí pořadník a lidé ve frontě dostávají e-mail jeden po druhém, od nejstaršího. Kapacita se pro nikoho nedrží: dostane ji ten, kdo nasadí první.
Jak funguje účtování na této úrovni?
Stejně jako u každé úrovně GPUwerk: po minutách, z předplaceného kreditu, v USD, bez příslušné daně, bez poplatků za odchozí data a bez závazku.
Potřebujete GPU ještě dnes?
DGX Spark má 128 GB sjednocené paměti a je k pronájmu hned, za 0,79 $/hod účtováno po minutách. První dobití: zaplaťte 20 $, získejte 30 $ kreditu. Podívejte se, jak si DGX Spark stojí ve srovnání, nebo se zapište do pořadníku na H100.