GPU debesija
H100 SXM, dedikuota.
Viena NVIDIA H100 SXM GPU, 80 GB HBM3, 3,35 TB/s, Hopper architektūroje, x86 pagrindinėje sistemoje. 2,69 USD per valandą, apmokestinama už minutę, tomis pačiomis sąlygomis kaip ir visi kiti GPUwerk lygiai.
Nuomojama principu „kas pirmas, tas laimi“: paleiskite H100, kai yra laisvų pajėgumų, arba užsirašykite į jos laukiančiųjų sąrašą konsolėje.
Specifikacijos
Vienam mazgui. Kiekvienas GPUwerk egzempliorius bet kuriame lygyje yra vienas visas įrenginys tik jums.
| GPU | H100 SXM5, Hopper architektūra |
|---|---|
| Atmintis | 80 GB HBM3 |
| Atminties pralaidumas | 3,35 TB/s |
| CUDA branduoliai | 16 896 |
| Didžiausia galia | Iki 700 W |
| MIG | Iki 7 egzempliorių po 10 GB |
| Talpinti | x86 pagrindinė sistema |
| Nuomos modelis | Vienam įrenginiui – vienas klientas, niekada nebendrinama |
GPU skaičiai iš NVIDIA H100 ir H100 architektūros baltosios knygos. GPUwerk skelbia tok/s ir mokymo pralaidumo skaičius tik iš paleidimų savo įrangoje. Kaip jie pateikiami, žr. DGX Spark parko lyginamuosiuose testuose.
Ką jame paleistumėte?
HBM3, 3,35 TB/s, pralaidumui, o ne talpai.
Didelio pralaidumo užklausų apdorojimas
Paketinė inferencija daugeliui lygiagrečių naudotojų, kai tokenų per sekundę skaičių lemia HBM pralaidumas.
Mokymas ir pritaikymas (fine-tuning)
Visi pritaikymai ir mokymai modeliams, kurie telpa į 80 GB, su FP8 Transformer Engine.
Modeliai iki maždaug 70B FP8 formatu
70B modelio svoriai telpa, nors KV podėliui lieka mažai atminties.
Mažai tinka: natyvus FP4 ir didžiausi modeliai
Hopper neturi FP4, o modeliui, didesniam nei apie 70B FP8 formatu, reikia H200, Blackwell GPU arba kelių GPU.
Reikia kelių NVLink sujungtų GPU? Žr. 8× H100 serverį.
Kas telpa į 80 GB
Tik svoriai: atmintis, padalyta iš baitų vienam parametrui. Palikite atsargos KV podėliui, aktyvacijoms ir vykdymo aplinkai, dažnai 10–30% daugiau.
| Tikslumas | Vienam parametrui | Didžiausias modelis, tik svoriai |
|---|---|---|
| FP16 / BF16 | 2 baitai | apie 40B parametrų |
| FP8 | 1 baitas | apie 80B parametrų |
| 4 bitų kvantuotas | 0,5 baito | apie 160B parametrų (Hopper neturi natyvaus FP4; vykdymo aplinka atlieka dekvantavimą) |
Atsiskaitymas
| Tarifas | 2,69 USD per valandą, apmokestinama už minutę |
|---|---|
| Atsiskaitymas | Už minutę, iš išankstinio kredito likučio |
| Mokesčiai | Jokių išeinančio srauto mokesčių |
| Įsipareigojimas | Nėra |
Kainos nurodytos USD, be taikomų mokesčių. Visa apmokestinimo tvarka, įskaitant tai, ką daro sustabdymas ir nutraukimas, aprašyta kainų puslapyje.
DUK
Ar galiu išsinuomoti H100 dabar?
Paleiskite ją iš konsolės, kai yra laisvų pajėgumų; kol jų nėra, konsolė siūlo laukiančiųjų sąrašą, o eilėje esantiems el. laiškai siunčiami po vieną, pradedant seniausiai užsirašiusiais. Pajėgumai niekam nelaikomi: kas pirmas paleidžia, tas ir gauna.
Kaip veikia apmokestinimas šiame lygyje?
Taip pat kaip kiekviename GPUwerk lygyje: už minutę, iš išankstinio kredito likučio, USD, be taikomų mokesčių, be išeinančio srauto mokesčių ir be įsipareigojimų.
Reikia GPU laiko šiandien?
DGX Spark turi 128 GB bendros atminties ir jį galima išsinuomoti jau dabar už 0,79 USD/val., apmokestinama už minutę. Pirmasis papildymas: sumokėkite 20 USD, gaukite 30 USD kredito. Žr., kaip atrodo DGX Spark palyginimas, arba užsirašykite į H100 laukiančiųjų sąrašą.