GPU-moln
RTX 6000 Ada, dedikerad.
En maskin med en NVIDIA RTX 6000 Ada Generation-GPU, 48 GB GDDR6 med ECC på Ada Lovelace-arkitekturen, på en x86-värd. 0,75 USD per timme, debiteras per minut, samma villkor som alla andra nivåer hos GPUwerk.
Hyrs ut efter principen först till kvarn: driftsätt en RTX 6000 Ada när det finns ledig kapacitet, eller ställ dig på dess väntelista i konsolen.
Specifikationer
Per nod. Varje instans hos GPUwerk, på vilken nivå som helst, är en hel maskin för dig själv.
| GPU | RTX 6000 Ada Generation, Ada Lovelace-arkitektur |
|---|---|
| Minne | 48 GB GDDR6 med ECC |
| Minnesbandbredd | 960 GB/s |
| CUDA-kärnor | 18 176 |
| Max effekt | 300 W |
| Värd | x86-värd |
| Hyresform | En kund per maskin, aldrig delad |
GPU-siffror från NVIDIA RTX 6000 Ada. GPUwerk publicerar siffror för tok/s och träningsgenomströmning bara för körningar på sin egen hårdvara. Se benchmarks för DGX Spark-maskinparken för hur de rapporteras.
Vad skulle du köra på den?
48 GB med ECC: samma minne som en L40S, på ett kort i arbetsstationsklass.
Inferens med medelstora modeller
Modeller upp till cirka 40B parametrar i FP8, eller en modell i 30B-klassen med utrymme för KV-cachen.
Rendering och grafik
RT-kärnor och en drivrutin i arbetsstationsklass för rendering, simulering eller blandade grafik- och AI-pipelines.
LoRA-finjusteringar
Adapterträning på modeller i klassen 7B till 13B, som får plats i 48 GB med marginal.
Passar dåligt: träning med flera GPU:er
Den har ingen NVLink, så ett jobb som behöver flera GPU:er som utbyter data snabbt hör hemma på en 8-GPU-server.
Vad som får plats i 48 GB
Bara vikter: minne delat med byte per parameter. Lämna marginal för KV-cachen, aktiveringar och körmiljön, ofta 10 till 30 % mer.
| Precision | Per parameter | Största modellen, bara vikter |
|---|---|---|
| FP16 / BF16 | 2 byte | cirka 24B parametrar |
| FP8 | 1 byte | cirka 48B parametrar |
| 4-bitars kvantiserad | 0,5 byte | cirka 96B parametrar (ingen inbyggd FP4 på Ada; körmiljön avkvantiserar) |
Fakturering
| Pris | 0,75 USD per timme, debiteras per minut |
|---|---|
| Fakturering | Per minut, mot ett förbetalt kreditsaldo |
| Avgifter | Inga avgifter för utgående trafik |
| Bindning | Inga |
Priserna är i USD, exkl. tillämplig skatt. Hela faktureringsmekaniken, inklusive vad ett stopp respektive ett avslut gör, finns på prissidan.
Vanliga frågor
Kan jag hyra en RTX 6000 Ada nu?
Driftsätt den från konsolen när det finns ledig kapacitet; när det inte finns någon erbjuder konsolen en väntelista, och de som står i kön får e-post en i taget, äldst först. Kapacitet hålls inte för någon: den som driftsätter först får den.
Hur fungerar faktureringen på den här nivån?
Samma som alla nivåer hos GPUwerk: per minut, mot ett förbetalt kreditsaldo, i USD, exkl. tillämplig skatt, utan avgifter för utgående trafik och utan bindning.
Behöver du GPU-tid i dag?
En DGX Spark har 128 GB enhetligt minne och kan hyras nu, för 0,79 USD/timme debiterat per minut. Första påfyllningen: betala 20 USD, få 30 USD i kredit. Jämför den med L40S, eller ställ dig på väntelistan för RTX 6000 Ada.