GPU-moln

RTX PRO 6000, dedikerad.

En maskin med en NVIDIA RTX PRO 6000 Blackwell Server Edition-GPU, 96 GB GDDR7 med ECC på Blackwell-arkitekturen, på en x86-värd. 1,89 USD per timme, debiteras per minut, samma villkor som alla andra nivåer hos GPUwerk.

Hyrs ut efter principen först till kvarn: driftsätt en RTX PRO 6000 när det finns ledig kapacitet, eller ställ dig på dess väntelista i konsolen.

Specifikationer

Per nod. Varje instans hos GPUwerk, på vilken nivå som helst, är en hel maskin för dig själv.

NVIDIA RTX PRO 6000 Blackwell Server Edition
GPURTX PRO 6000 Blackwell Server Edition, Blackwell-arkitektur
Minne96 GB GDDR7 med ECC
Minnesbandbredd1 597 GB/s
CUDA-kärnor24 064
Max effektUpp till 600 W, konfigurerbart
MIGUpp till 4 instanser på 24 GB
Värdx86-värd
HyresformEn kund per maskin, aldrig delad

GPU-siffror från NVIDIA RTX PRO 6000 Blackwell Server Edition. GPUwerk publicerar siffror för tok/s och träningsgenomströmning bara för körningar på sin egen hårdvara. Se benchmarks för DGX Spark-maskinparken för hur de rapporteras.

Vad skulle du köra på den?

96 GB på ett kort, med femte generationens Tensor-kärnor som kör FP4.

Modeller i 70B-klassen på en GPU

En 70B-modell i FP8 får plats i 96 GB med visst utrymme för KV-cachen, utan att delas upp över flera GPU:er.

FP4-inferens

Blackwell kör FP4 inbyggt, så en 4-bitarsmodell på upp till cirka 192B parametrar får plats sett till vikterna enbart.

Grafik och AI på ett kort

RT-kärnor och en stor bildbuffert för rendering eller simulering bredvid modellarbete.

Passar dåligt: träning med flera GPU:er

Den har ingen NVLink, så ett jobb som behöver flera GPU:er som utbyter data snabbt hör hemma på en 8-GPU-server.

Flera mindre jobb

MIG delar upp kortet i upp till fyra isolerade GPU:er på 24 GB, för att servera mer än en modell samtidigt.

Vad som får plats i 96 GB

Bara vikter: minne delat med byte per parameter. Lämna marginal för KV-cachen, aktiveringar och körmiljön, ofta 10 till 30 % mer.

Största modellen sett till vikterna enbart på en RTX PRO 6000
PrecisionPer parameterStörsta modellen, bara vikter
FP16 / BF162 bytecirka 48B parametrar
FP81 bytecirka 96B parametrar
FP4 (inbyggt på Blackwell)0,5 bytecirka 192B parametrar

Fakturering

Pris1,89 USD per timme, debiteras per minut
FaktureringPer minut, mot ett förbetalt kreditsaldo
AvgifterInga avgifter för utgående trafik
BindningInga

Priserna är i USD, exkl. tillämplig skatt. Hela faktureringsmekaniken, inklusive vad ett stopp respektive ett avslut gör, finns på prissidan.

Vanliga frågor

Kan jag hyra en RTX PRO 6000 nu?

Driftsätt den från konsolen när det finns ledig kapacitet; när det inte finns någon erbjuder konsolen en väntelista, och de som står i kön får e-post en i taget, äldst först. Kapacitet hålls inte för någon: den som driftsätter först får den.

Hur fungerar faktureringen på den här nivån?

Samma som alla nivåer hos GPUwerk: per minut, mot ett förbetalt kreditsaldo, i USD, exkl. tillämplig skatt, utan avgifter för utgående trafik och utan bindning.

Behöver du GPU-tid i dag?

En DGX Spark har 128 GB enhetligt minne och kan hyras nu, för 0,79 USD/timme debiterat per minut. Första påfyllningen: betala 20 USD, få 30 USD i kredit. Se hur en DGX Spark står sig, eller ställ dig på väntelistan för RTX PRO 6000.