GPU debesija

H100 SXM, dedikuota.

Viena NVIDIA H100 SXM GPU, 80 GB HBM3, 3,35 TB/s, Hopper architektūroje, x86 pagrindinėje sistemoje. 2,69 USD per valandą, apmokestinama už minutę, tomis pačiomis sąlygomis kaip ir visi kiti GPUwerk lygiai.

Nuomojama principu „kas pirmas, tas laimi“: paleiskite H100, kai yra laisvų pajėgumų, arba užsirašykite į jos laukiančiųjų sąrašą konsolėje.

Specifikacijos

Vienam mazgui. Kiekvienas GPUwerk egzempliorius bet kuriame lygyje yra vienas visas įrenginys tik jums.

NVIDIA H100 SXM
GPUH100 SXM5, Hopper architektūra
Atmintis80 GB HBM3
Atminties pralaidumas3,35 TB/s
CUDA branduoliai16 896
Didžiausia galiaIki 700 W
MIGIki 7 egzempliorių po 10 GB
Talpintix86 pagrindinė sistema
Nuomos modelisVienam įrenginiui – vienas klientas, niekada nebendrinama

GPU skaičiai iš NVIDIA H100 ir H100 architektūros baltosios knygos. GPUwerk skelbia tok/s ir mokymo pralaidumo skaičius tik iš paleidimų savo įrangoje. Kaip jie pateikiami, žr. DGX Spark parko lyginamuosiuose testuose.

Ką jame paleistumėte?

HBM3, 3,35 TB/s, pralaidumui, o ne talpai.

Didelio pralaidumo užklausų apdorojimas

Paketinė inferencija daugeliui lygiagrečių naudotojų, kai tokenų per sekundę skaičių lemia HBM pralaidumas.

Mokymas ir pritaikymas (fine-tuning)

Visi pritaikymai ir mokymai modeliams, kurie telpa į 80 GB, su FP8 Transformer Engine.

Modeliai iki maždaug 70B FP8 formatu

70B modelio svoriai telpa, nors KV podėliui lieka mažai atminties.

Mažai tinka: natyvus FP4 ir didžiausi modeliai

Hopper neturi FP4, o modeliui, didesniam nei apie 70B FP8 formatu, reikia H200, Blackwell GPU arba kelių GPU.

Reikia kelių NVLink sujungtų GPU? Žr. 8× H100 serverį.

Kas telpa į 80 GB

Tik svoriai: atmintis, padalyta iš baitų vienam parametrui. Palikite atsargos KV podėliui, aktyvacijoms ir vykdymo aplinkai, dažnai 10–30% daugiau.

Didžiausias modelis vien pagal svorius vienoje H100
TikslumasVienam parametruiDidžiausias modelis, tik svoriai
FP16 / BF162 baitaiapie 40B parametrų
FP81 baitasapie 80B parametrų
4 bitų kvantuotas0,5 baitoapie 160B parametrų (Hopper neturi natyvaus FP4; vykdymo aplinka atlieka dekvantavimą)

Atsiskaitymas

Tarifas2,69 USD per valandą, apmokestinama už minutę
AtsiskaitymasUž minutę, iš išankstinio kredito likučio
MokesčiaiJokių išeinančio srauto mokesčių
ĮsipareigojimasNėra

Kainos nurodytos USD, be taikomų mokesčių. Visa apmokestinimo tvarka, įskaitant tai, ką daro sustabdymas ir nutraukimas, aprašyta kainų puslapyje.

DUK

Ar galiu išsinuomoti H100 dabar?

Paleiskite ją iš konsolės, kai yra laisvų pajėgumų; kol jų nėra, konsolė siūlo laukiančiųjų sąrašą, o eilėje esantiems el. laiškai siunčiami po vieną, pradedant seniausiai užsirašiusiais. Pajėgumai niekam nelaikomi: kas pirmas paleidžia, tas ir gauna.

Kaip veikia apmokestinimas šiame lygyje?

Taip pat kaip kiekviename GPUwerk lygyje: už minutę, iš išankstinio kredito likučio, USD, be taikomų mokesčių, be išeinančio srauto mokesčių ir be įsipareigojimų.

Reikia GPU laiko šiandien?

DGX Spark turi 128 GB bendros atminties ir jį galima išsinuomoti jau dabar už 0,79 USD/val., apmokestinama už minutę. Pirmasis papildymas: sumokėkite 20 USD, gaukite 30 USD kredito. Žr., kaip atrodo DGX Spark palyginimas, arba užsirašykite į H100 laukiančiųjų sąrašą.