GPU-moln

L4, dedikerad.

En enskild NVIDIA L4-GPU, 24 GB GDDR6 på Ada Lovelace-arkitekturen, på en x86-värd. 0,49 USD per timme, debiteras per minut, samma villkor som alla andra nivåer hos GPUwerk.

Hyrs ut efter principen först till kvarn: driftsätt en L4 när det finns ledig kapacitet, eller ställ dig på dess väntelista i konsolen.

Specifikationer

Per GPU. GPU:n och dess minne är bara dina under hyran.

NVIDIA L4
GPUL4, Ada Lovelace-arkitektur
Minne24 GB GDDR6
Minnesbandbredd300 GB/s
CUDA-kärnor7 424
Max effektUpp till 72 W
Värdx86-värd
HyresformGPU:n är bara din medan du hyr den, aldrig delad

GPU-siffror från NVIDIA L4. GPUwerk publicerar siffror för tok/s och träningsgenomströmning bara för körningar på sin egen hårdvara. Se benchmarks för DGX Spark-maskinparken för hur de rapporteras.

Vad skulle du köra på den?

Ett inferenskort med låg effekt: 24 GB vid 72 W, för modeller som får plats och trafik som inte kräver en H100.

Inferens med små modeller

Chatt- eller completion-modeller upp till cirka 14B parametrar i FP8, och embedding- eller rerankingmodeller bakom ett API, där 24 GB räcker.

Video- och visionspipelines

Hårdvarubaserad videokodning och -avkodning bredvid GPU:n, för omkodning eller för visionsmodeller som läser videobilder.

Utveckling till låg kostnad

Att bygga och testa en inferensstack på en billig GPU innan den flyttas till en större.

Passar dåligt: träning och stora finjusteringar

24 GB lämnar lite utrymme för gradienter och optimerartillstånd, så allt utöver en liten LoRA hör hemma på en H100 eller större.

Behöver du mer minne? Se L40S (48 GB) eller H100 (80 GB).

Vad som får plats i 24 GB

Bara vikter: minne delat med byte per parameter. Lämna marginal för KV-cachen, aktiveringar och körmiljön, ofta 10 till 30 % mer.

Största modellen sett till vikterna enbart på en L4
PrecisionPer parameterStörsta modellen, bara vikter
FP16 / BF162 bytecirka 12B parametrar
FP81 bytecirka 24B parametrar
4-bitars kvantiserad0,5 bytecirka 48B parametrar (ingen inbyggd FP4 på Ada; körmiljön avkvantiserar)

Fakturering

Pris0,49 USD per timme, debiteras per minut
FaktureringPer minut, mot ett förbetalt kreditsaldo
AvgifterInga avgifter för utgående trafik
BindningInga

Priserna är i USD, exkl. tillämplig skatt. Hela faktureringsmekaniken, inklusive vad ett stopp respektive ett avslut gör, finns på prissidan.

Vanliga frågor

Kan jag hyra en L4 nu?

Driftsätt den från konsolen när det finns ledig kapacitet; när det inte finns någon erbjuder konsolen en väntelista, och de som står i kön får e-post en i taget, äldst först. Kapacitet hålls inte för någon: den som driftsätter först får den.

Hur fungerar faktureringen på den här nivån?

Samma som alla nivåer hos GPUwerk: per minut, mot ett förbetalt kreditsaldo, i USD, exkl. tillämplig skatt, utan avgifter för utgående trafik och utan bindning.

Behöver du GPU-tid i dag?

En DGX Spark har 128 GB enhetligt minne och kan hyras nu, för 0,79 USD/timme debiterat per minut. Första påfyllningen: betala 20 USD, få 30 USD i kredit. Eller driftsätt en L4.