GPU-cloud
RTX PRO 6000, dedikeret.
En NVIDIA RTX PRO 6000 Blackwell Server Edition-maskine med én GPU, 96 GB GDDR7 med ECC på Blackwell-arkitekturen, på en x86-host. 1 $,89 i timen, faktureret pr. minut, på samme vilkår som alle andre GPUwerk-niveauer.
Udlejes efter først-til-mølle: udrul en RTX PRO 6000, når der er ledig kapacitet, eller skriv dig på ventelisten i konsollen.
Specifikationer
Pr. node. Hver GPUwerk-instans, på ethvert niveau, er én hel maskine for dig selv.
| GPU | RTX PRO 6000 Blackwell Server Edition, Blackwell-arkitektur |
|---|---|
| Hukommelse | 96 GB GDDR7 med ECC |
| Hukommelsesbåndbredde | 1.597 GB/s |
| CUDA-kerner | 24.064 |
| Maks. effekt | Op til 600 W, konfigurerbar |
| MIG | Op til 4 instanser på 24 GB |
| Host | x86-vært |
| Lejemodel | Én kunde pr. maskine, aldrig delt |
GPU-tal fra NVIDIA RTX PRO 6000 Blackwell Server Edition. GPUwerk offentliggør kun tal for tok/s og træningsgennemløb fra kørsler på egen hardware. Se benchmarks for DGX Spark-flåden for, hvordan de rapporteres.
Hvad ville du køre på den?
96 GB på ét kort med femte generations Tensor Cores, der kører FP4.
Modeller i 70B-klassen på én GPU
En 70B-model ved FP8 passer i 96 GB med lidt plads til KV-cachen, uden at den skal deles over flere GPU'er.
FP4-inferens
Blackwell kører FP4 indbygget, så en 4-bit-model med op til cirka 192B parametre passer alene vægtmæssigt.
Grafik og AI på ét kort
RT-kerner og en stor framebuffer til rendering eller simulering ved siden af modelarbejde.
Passer dårligt: træning på flere GPU'er
Den har ingen NVLink, så et job, der kræver flere GPU'er, der udveksler data hurtigt, hører hjemme på en server med 8 GPU'er.
Flere mindre job
MIG deler kortet op i op til fire isolerede GPU'er på 24 GB til serving af mere end én model ad gangen.
Hvad passer i 96 GB
Kun vægte: hukommelse divideret med byte pr. parameter. Afsæt plads til KV-cachen, aktiveringer og runtime, ofte 10 til 30 % mere.
| Præcision | Pr. parameter | Største model, kun vægte |
|---|---|---|
| FP16 / BF16 | 2 byte | cirka 48B parametre |
| FP8 | 1 byte | cirka 96B parametre |
| FP4 (indbygget på Blackwell) | 0,5 byte | cirka 192B parametre |
Fakturering
| Pris | 1 $,89 i timen, faktureret pr. minut |
|---|---|
| Fakturering | Pr. minut fra en forudbetalt kreditsaldo |
| Gebyrer | Ingen gebyrer for udgående trafik |
| Binding | Ingen |
Priserne er i USD, ekskl. gældende skat. Hele faktureringsmekanikken, inklusive hvad et stop og en afslutning gør, står på prissiden.
FAQ
Kan jeg leje en RTX PRO 6000 nu?
Udrul den fra konsollen, når der er ledig kapacitet; når der ikke er, tilbyder konsollen en venteliste, og folk i køen får en e-mail én ad gangen, ældste først. Kapacitet holdes ikke til nogen: den, der udruller først, får den.
Hvordan fungerer faktureringen på dette niveau?
Det samme som alle GPUwerk-niveauer: pr. minut fra en forudbetalt kreditsaldo i USD, ekskl. gældende skat, uden gebyrer for udgående trafik og uden binding.
Brug for GPU-tid i dag?
En DGX Spark har 128 GB unified memory og kan lejes nu til 0 $,79/time, faktureret pr. minut. Første optankning: betal 20 $, få 30 $ i kredit. Se, hvordan en DGX Spark klarer sig, eller skriv dig på ventelisten til RTX PRO 6000.