GPU-cloud
H200, dedikeret.
En enkelt NVIDIA H200-GPU, 141 GB HBM3e på Hopper-arkitekturen, på en x86-host. 3 $,49 i timen, faktureret pr. minut, på samme vilkår som alle andre GPUwerk-niveauer.
Udlejes efter først-til-mølle: udrul en H200, når der er ledig kapacitet, eller skriv dig på ventelisten i konsollen.
Specifikationer
Pr. GPU. GPU'en og dens hukommelse er kun dine under lejen.
| GPU | H200 SXM, Hopper-arkitektur |
|---|---|
| Hukommelse | 141 GB HBM3e |
| Hukommelsesbåndbredde | 4,8 TB/s |
| Maks. effekt | Op til 700 W |
| MIG | Op til 7 instanser på 18 GB |
| Host | x86-vært |
| Lejemodel | GPU'en er kun din, mens du lejer den, aldrig delt |
GPU-tal fra NVIDIA H200. GPUwerk offentliggør kun tal for tok/s og træningsgennemløb fra kørsler på egen hardware. Se benchmarks for DGX Spark-flåden for, hvordan de rapporteres.
Hvad ville du køre på den?
H100's regnekraft med 76 % mere hukommelse: større modeller på én GPU og mere plads til KV-cachen.
Modeller i 70B-klassen med lang kontekst
En 70B-model ved FP8 passer med cirka 70 GB tilbage til KV-cachen, så der er plads til længere prompts og flere samtidige forespørgsler.
Modeller op til cirka 140B ved FP8
Vægte, der kræver to H100'er, passer på én H200.
Finjustering
Fulde finjusteringer og LoRA-kørsler på modeller, der ikke passer i 80 GB.
Passer dårligt: indbygget FP4
Hopper har ingen FP4; til 4-bit-inferens med Blackwell-hastighed kan du leje en B200 eller B300.
Brug for flere GPU'er forbundet med NVLink? Se 8× H200-serveren.
Hvad passer i 141 GB
Kun vægte: hukommelse divideret med byte pr. parameter. Afsæt plads til KV-cachen, aktiveringer og runtime, ofte 10 til 30 % mere.
| Præcision | Pr. parameter | Største model, kun vægte |
|---|---|---|
| FP16 / BF16 | 2 byte | cirka 70B parametre |
| FP8 | 1 byte | cirka 141B parametre |
| 4-bit kvantiseret | 0,5 byte | cirka 282B parametre (ingen indbygget FP4 på Hopper; runtime dekvantiserer) |
Fakturering
| Pris | 3 $,49 i timen, faktureret pr. minut |
|---|---|
| Fakturering | Pr. minut fra en forudbetalt kreditsaldo |
| Gebyrer | Ingen gebyrer for udgående trafik |
| Binding | Ingen |
Priserne er i USD, ekskl. gældende skat. Hele faktureringsmekanikken, inklusive hvad et stop og en afslutning gør, står på prissiden.
FAQ
Kan jeg leje en H200 nu?
Udrul den fra konsollen, når der er ledig kapacitet; når der ikke er, tilbyder konsollen en venteliste, og folk i køen får en e-mail én ad gangen, ældste først. Kapacitet holdes ikke til nogen: den, der udruller først, får den.
Hvordan fungerer faktureringen på dette niveau?
Det samme som alle GPUwerk-niveauer: pr. minut fra en forudbetalt kreditsaldo i USD, ekskl. gældende skat, uden gebyrer for udgående trafik og uden binding.
Brug for GPU-tid i dag?
En DGX Spark har 128 GB unified memory og kan lejes nu til 0 $,79/time, faktureret pr. minut. Første optankning: betal 20 $, få 30 $ i kredit. Eller udrul en H200.