GPU-cloud
RTX PRO 6000, dedicated.
Een NVIDIA RTX PRO 6000 Blackwell Server Edition-machine met één GPU, 96 GB GDDR7 met ECC op de Blackwell-architectuur, op een x86-host. $ 1,89 per uur, per minuut gefactureerd, onder dezelfde voorwaarden als elke andere tier van GPUwerk.
Wie het eerst komt, het eerst maalt: deploy een RTX PRO 6000 wanneer er capaciteit vrij is, of zet je in de console op de wachtlijst.
Specificaties
Per node. Elke instance van GPUwerk, op welke tier ook, is één volledige machine voor jezelf.
| GPU | RTX PRO 6000 Blackwell Server Edition, Blackwell-architectuur |
|---|---|
| Geheugen | 96 GB GDDR7 met ECC |
| Geheugenbandbreedte | 1.597 GB/s |
| CUDA-cores | 24.064 |
| Max. vermogen | Tot 600 W, instelbaar |
| MIG | Tot 4 instances van 24 GB |
| Host | x86-host |
| Tenancy | Eén klant per machine, nooit gedeeld |
GPU-cijfers van NVIDIA RTX PRO 6000 Blackwell Server Edition. GPUwerk publiceert tok/s en trainingsdoorvoer alleen voor runs op eigen hardware. Zie de benchmarks van de DGX Spark-vloot voor hoe die worden gerapporteerd.
Wat zou je erop draaien?
96 GB op één kaart, met Tensor Cores van de vijfde generatie die FP4 draaien.
Modellen van de 70B-klasse op één GPU
Een 70B-model in FP8 past in 96 GB met wat ruimte voor de KV-cache, zonder het over GPU's te verdelen.
FP4-inference
Blackwell draait FP4 native, dus een 4-bit-model tot ongeveer 192B parameters past qua gewichten.
Graphics en AI op één kaart
RT-cores en een grote framebuffer voor rendering of simulatie naast modelwerk.
Past slecht: training met meerdere GPU's
Hij heeft geen NVLink, dus een job waarbij meerdere GPU's snel data moeten uitwisselen, hoort op een 8-GPU-server.
Meerdere kleinere jobs
MIG splitst de kaart in tot vier geïsoleerde GPU's van 24 GB, om meer dan één model tegelijk te serveren.
Wat past er in 96 GB
Alleen gewichten: geheugen gedeeld door bytes per parameter. Laat marge voor de KV-cache, activaties en de runtime, vaak 10 tot 30% meer.
| Precisie | Per parameter | Grootste model, alleen gewichten |
|---|---|---|
| FP16 / BF16 | 2 bytes | ongeveer 48B parameters |
| FP8 | 1 byte | ongeveer 96B parameters |
| FP4 (native op Blackwell) | 0,5 byte | ongeveer 192B parameters |
Facturering
| Tarief | $ 1,89 per uur, per minuut gefactureerd |
|---|---|
| Facturering | Per minuut, tegen een prepaid saldo aan tegoed |
| Vergoedingen | Geen kosten voor egress |
| Verplichting | Geen |
Prijzen zijn in USD, exclusief toepasselijke belasting. Alle details over facturering, inclusief wat stoppen tegenover beëindigen doet, staan op de prijspagina.
FAQ
Kan ik nu een RTX PRO 6000 huren?
Deploy hem vanuit de console wanneer er capaciteit vrij is; zolang dat niet zo is, biedt de console een wachtlijst aan, en mensen in de rij krijgen één voor één een e-mail, de oudste eerst. Capaciteit wordt voor niemand vastgehouden: wie het eerst deployt, krijgt hem.
Hoe werkt de facturering op deze tier?
Hetzelfde als elke tier van GPUwerk: per minuut, tegen een prepaid saldo aan tegoed, in USD, exclusief toepasselijke belasting, zonder kosten voor egress en zonder verplichting.
Vandaag GPU-tijd nodig?
Een DGX Spark heeft 128 GB unified memory en is nu te huur, voor $ 0,79/uur per minuut gefactureerd. Eerste opwaardering: betaal $ 20, krijg $ 30 tegoed. Bekijk hoe een DGX Spark zich verhoudt, of zet je op de wachtlijst voor de RTX PRO 6000.