GPU-cloud
RTX 6000 Ada, dedicated.
Een NVIDIA RTX 6000 Ada Generation-machine met één GPU, 48 GB GDDR6 met ECC op de Ada Lovelace-architectuur, op een x86-host. $ 0,75 per uur, per minuut gefactureerd, onder dezelfde voorwaarden als elke andere tier van GPUwerk.
Wie het eerst komt, het eerst maalt: deploy een RTX 6000 Ada wanneer er capaciteit vrij is, of zet je in de console op de wachtlijst.
Specificaties
Per node. Elke instance van GPUwerk, op welke tier ook, is één volledige machine voor jezelf.
| GPU | RTX 6000 Ada Generation, Ada Lovelace-architectuur |
|---|---|
| Geheugen | 48 GB GDDR6 met ECC |
| Geheugenbandbreedte | 960 GB/s |
| CUDA-cores | 18.176 |
| Max. vermogen | 300 W |
| Host | x86-host |
| Tenancy | Eén klant per machine, nooit gedeeld |
GPU-cijfers van NVIDIA RTX 6000 Ada. GPUwerk publiceert tok/s en trainingsdoorvoer alleen voor runs op eigen hardware. Zie de benchmarks van de DGX Spark-vloot voor hoe die worden gerapporteerd.
Wat zou je erop draaien?
48 GB met ECC: hetzelfde geheugen als een L40S, op een kaart van workstationklasse.
Inference met middelgrote modellen
Modellen tot ongeveer 40B parameters in FP8, of een model van de 30B-klasse met ruimte voor de KV-cache.
Rendering en graphics
RT-cores en een driver van workstationklasse voor rendering, simulatie of gemengde pipelines voor graphics en AI.
LoRA-fine-tunes
Adaptertraining op modellen van de 7B- tot 13B-klasse, die ruim in 48 GB past.
Past slecht: training met meerdere GPU's
Hij heeft geen NVLink, dus een job waarbij meerdere GPU's snel data moeten uitwisselen, hoort op een 8-GPU-server.
Wat past er in 48 GB
Alleen gewichten: geheugen gedeeld door bytes per parameter. Laat marge voor de KV-cache, activaties en de runtime, vaak 10 tot 30% meer.
| Precisie | Per parameter | Grootste model, alleen gewichten |
|---|---|---|
| FP16 / BF16 | 2 bytes | ongeveer 24B parameters |
| FP8 | 1 byte | ongeveer 48B parameters |
| 4-bit gekwantiseerd | 0,5 byte | ongeveer 96B parameters (geen native FP4 op Ada; de runtime dekwantiseert) |
Facturering
| Tarief | $ 0,75 per uur, per minuut gefactureerd |
|---|---|
| Facturering | Per minuut, tegen een prepaid saldo aan tegoed |
| Vergoedingen | Geen kosten voor egress |
| Verplichting | Geen |
Prijzen zijn in USD, exclusief toepasselijke belasting. Alle details over facturering, inclusief wat stoppen tegenover beëindigen doet, staan op de prijspagina.
FAQ
Kan ik nu een RTX 6000 Ada huren?
Deploy hem vanuit de console wanneer er capaciteit vrij is; zolang dat niet zo is, biedt de console een wachtlijst aan, en mensen in de rij krijgen één voor één een e-mail, de oudste eerst. Capaciteit wordt voor niemand vastgehouden: wie het eerst deployt, krijgt hem.
Hoe werkt de facturering op deze tier?
Hetzelfde als elke tier van GPUwerk: per minuut, tegen een prepaid saldo aan tegoed, in USD, exclusief toepasselijke belasting, zonder kosten voor egress en zonder verplichting.
Vandaag GPU-tijd nodig?
Een DGX Spark heeft 128 GB unified memory en is nu te huur, voor $ 0,79/uur per minuut gefactureerd. Eerste opwaardering: betaal $ 20, krijg $ 30 tegoed. Vergelijk hem met de L40S, of zet je op de wachtlijst voor de RTX 6000 Ada.