GPU-sky
RTX PRO 6000, dedikert.
En maskin med én NVIDIA RTX PRO 6000 Blackwell Server Edition-GPU, 96 GB GDDR7 med ECC på Blackwell-arkitekturen, på en x86-vert. 1 $,89 per time, fakturert per minutt, på samme vilkår som alle andre GPUwerk-nivåer.
Leies ut etter førstemann til mølla: deploy en RTX PRO 6000 når kapasiteten er ledig, eller sett deg på ventelisten i konsollen.
Spesifikasjoner
Per node. Hver GPUwerk-instans, på alle nivåer, er én hel maskin for deg selv.
| GPU | RTX PRO 6000 Blackwell Server Edition, Blackwell-arkitektur |
|---|---|
| Minne | 96 GB GDDR7 med ECC |
| Minnebåndbredde | 1 597 GB/s |
| CUDA-kjerner | 24 064 |
| Maks effekt | Opptil 600 W, konfigurerbar |
| MIG | Opptil 4 instanser på 24 GB |
| Vert | x86-vert |
| Leieforhold | Én kunde per maskin, aldri delt |
GPU-tall fra NVIDIA RTX PRO 6000 Blackwell Server Edition. GPUwerk publiserer tall for tok/s og treningsgjennomstrømning bare for kjøringer på egen maskinvare. Se benchmarker fra DGX Spark-flåten for hvordan de rapporteres.
Hva ville du kjørt på den?
96 GB på ett kort, med femte generasjons Tensor-kjerner som kjører FP4.
Modeller i 70B-klassen på én GPU
En 70B-modell i FP8 får plass i 96 GB med litt rom til KV-cachen, uten å deles over flere GPU-er.
FP4-inferens
Blackwell kjører FP4 direkte, så en 4-bits modell på opptil omtrent 192B parametere får plass målt i vekter alene.
Grafikk og AI på ett kort
RT-kjerner og en stor bildebuffer for rendering eller simulering ved siden av modellarbeid.
Passer dårlig: trening med flere GPU-er
Den har ikke NVLink, så en jobb som trenger flere GPU-er som utveksler data raskt, hører hjemme på en server med 8 GPU-er.
Flere mindre jobber
MIG deler kortet i opptil fire isolerte GPU-er på 24 GB, for å servere mer enn én modell samtidig.
Hva som får plass i 96 GB
Bare vekter: minnet delt på byte per parameter. Sett av margin til KV-cachen, aktiveringer og kjøretidsmiljøet, ofte 10 til 30 % mer.
| Presisjon | Per parameter | Største modell, bare vekter |
|---|---|---|
| FP16 / BF16 | 2 byte | omtrent 48B parametere |
| FP8 | 1 byte | omtrent 96B parametere |
| FP4 (innebygd på Blackwell) | 0,5 byte | omtrent 192B parametere |
Fakturering
| Pris | 1 $,89 per time, fakturert per minutt |
|---|---|
| Fakturering | Per minutt, mot en forhåndsbetalt kredittsaldo |
| Gebyrer | Ingen gebyrer for utgående trafikk |
| Binding | Ingen |
Prisene er i USD, eksklusive gjeldende avgifter. Hele faktureringsmekanikken, inkludert hva stopp og avslutning gjør, står på prissiden.
Spørsmål og svar
Kan jeg leie en RTX PRO 6000 nå?
Deploy den fra konsollen når kapasiteten er ledig; mens det ikke er noe ledig, tilbyr konsollen en venteliste, og de som står i kø, får e-post én om gangen, eldste først. Kapasitet holdes ikke av for noen: den som deployer først, får den.
Hvordan fungerer faktureringen på dette nivået?
Det samme som alle GPUwerk-nivåer: per minutt, mot en forhåndsbetalt kredittsaldo, i USD, eksklusive gjeldende avgifter, uten gebyrer for utgående trafikk og uten binding.
Trenger du GPU-tid i dag?
En DGX Spark har 128 GB enhetlig minne og kan leies nå, for 0 $,79/time fakturert per minutt. Første påfylling: betal 20 $, få 30 $ i kreditt. Se hvordan en DGX Spark står seg, eller sett deg på ventelisten for RTX PRO 6000.