GPU-moln

L40S, dedikerad.

En maskin med en L40S-GPU, 48 GB GDDR6 på NVIDIA:s Ada Lovelace-arkitektur, på en x86-värd. 0,99 USD per timme, debiteras per minut, samma villkor som alla andra nivåer hos GPUwerk.

Hyrs ut efter principen först till kvarn: driftsätt en L40S när det finns ledig kapacitet, eller ställ dig på dess väntelista i konsolen.

Specifikationer

Per nod. Varje instans hos GPUwerk, på vilken nivå som helst, är en hel maskin för dig själv.

NVIDIA L40S
GPUL40S, Ada Lovelace-arkitektur
Minne48 GB GDDR6
Värdx86-värd
HyresformEn kund per maskin, aldrig delad

GPUwerk publicerar siffror för tok/s och träningsgenomströmning bara för körningar på sin egen hårdvara. Se benchmarks för DGX Spark-maskinparken för hur de rapporteras.

Vad skulle du köra på den?

Med 48 GB hamnar L40S mellan 5090:s 32 GB och en Sparks 128 GB, med ECC-minne i datacenterklass.

Inferens med medelstora modeller

Modeller upp till cirka 40B parametrar i FP8, eller en modell i 30B-klassen med utrymme för KV-cachen.

Blandad grafik och AI

RT-kärnor och en mediemotor bredvid FP8-tensorkärnor, för pipelines som renderar och kör inferens på ett kort.

LoRA-finjusteringar

Adapterträning på modeller i klassen 7B till 13B, som får plats i 48 GB med marginal.

Passar dåligt: träning med flera GPU:er

Den har ingen NVLink, så ett jobb som behöver flera GPU:er som utbyter data snabbt hör hemma på en 8-GPU-server.

Vad som får plats i 48 GB

Bara vikter: minne delat med byte per parameter. Lämna marginal för KV-cachen, aktiveringar och körmiljön, ofta 10 till 30 % mer.

Största modellen sett till vikterna enbart på en L40S
PrecisionPer parameterStörsta modellen, bara vikter
FP16 / BF162 bytecirka 24B parametrar
FP81 bytecirka 48B parametrar
4-bitars kvantiserad0,5 bytecirka 96B parametrar (ingen inbyggd FP4 på Ada; körmiljön avkvantiserar)

Fakturering

Pris0,99 USD per timme, debiteras per minut
FaktureringPer minut, mot ett förbetalt kreditsaldo
AvgifterInga avgifter för utgående trafik
BindningInga

Priserna är i USD, exkl. tillämplig skatt. Hela faktureringsmekaniken, inklusive vad ett stopp respektive ett avslut gör, finns på prissidan.

Vanliga frågor

Kan jag hyra en L40S nu?

Driftsätt den från konsolen när det finns ledig kapacitet; när det inte finns någon erbjuder konsolen en väntelista, och de som står i kön får e-post en i taget, äldst först. Kapacitet hålls inte för någon: den som driftsätter först får den.

Hur fungerar faktureringen på den här nivån?

Samma som alla nivåer hos GPUwerk: per minut, mot ett förbetalt kreditsaldo, i USD, exkl. tillämplig skatt, utan avgifter för utgående trafik och utan bindning.

Behöver du GPU-tid i dag?

En DGX Spark har 128 GB enhetligt minne och kan hyras nu, för 0,79 USD/timme debiterat per minut. Första påfyllningen: betala 20 USD, få 30 USD i kredit. Se hur en Spark står sig mot ett separat grafikkort, eller ställ dig på väntelistan för L40S.