GPU-moln
L4, dedikerad.
En enskild NVIDIA L4-GPU, 24 GB GDDR6 på Ada Lovelace-arkitekturen, på en x86-värd. 0,49 USD per timme, debiteras per minut, samma villkor som alla andra nivåer hos GPUwerk.
Hyrs ut efter principen först till kvarn: driftsätt en L4 när det finns ledig kapacitet, eller ställ dig på dess väntelista i konsolen.
Specifikationer
Per GPU. GPU:n och dess minne är bara dina under hyran.
| GPU | L4, Ada Lovelace-arkitektur |
|---|---|
| Minne | 24 GB GDDR6 |
| Minnesbandbredd | 300 GB/s |
| CUDA-kärnor | 7 424 |
| Max effekt | Upp till 72 W |
| Värd | x86-värd |
| Hyresform | GPU:n är bara din medan du hyr den, aldrig delad |
GPU-siffror från NVIDIA L4. GPUwerk publicerar siffror för tok/s och träningsgenomströmning bara för körningar på sin egen hårdvara. Se benchmarks för DGX Spark-maskinparken för hur de rapporteras.
Vad skulle du köra på den?
Ett inferenskort med låg effekt: 24 GB vid 72 W, för modeller som får plats och trafik som inte kräver en H100.
Inferens med små modeller
Chatt- eller completion-modeller upp till cirka 14B parametrar i FP8, och embedding- eller rerankingmodeller bakom ett API, där 24 GB räcker.
Video- och visionspipelines
Hårdvarubaserad videokodning och -avkodning bredvid GPU:n, för omkodning eller för visionsmodeller som läser videobilder.
Utveckling till låg kostnad
Att bygga och testa en inferensstack på en billig GPU innan den flyttas till en större.
Passar dåligt: träning och stora finjusteringar
24 GB lämnar lite utrymme för gradienter och optimerartillstånd, så allt utöver en liten LoRA hör hemma på en H100 eller större.
Vad som får plats i 24 GB
Bara vikter: minne delat med byte per parameter. Lämna marginal för KV-cachen, aktiveringar och körmiljön, ofta 10 till 30 % mer.
| Precision | Per parameter | Största modellen, bara vikter |
|---|---|---|
| FP16 / BF16 | 2 byte | cirka 12B parametrar |
| FP8 | 1 byte | cirka 24B parametrar |
| 4-bitars kvantiserad | 0,5 byte | cirka 48B parametrar (ingen inbyggd FP4 på Ada; körmiljön avkvantiserar) |
Fakturering
| Pris | 0,49 USD per timme, debiteras per minut |
|---|---|
| Fakturering | Per minut, mot ett förbetalt kreditsaldo |
| Avgifter | Inga avgifter för utgående trafik |
| Bindning | Inga |
Priserna är i USD, exkl. tillämplig skatt. Hela faktureringsmekaniken, inklusive vad ett stopp respektive ett avslut gör, finns på prissidan.
Vanliga frågor
Kan jag hyra en L4 nu?
Driftsätt den från konsolen när det finns ledig kapacitet; när det inte finns någon erbjuder konsolen en väntelista, och de som står i kön får e-post en i taget, äldst först. Kapacitet hålls inte för någon: den som driftsätter först får den.
Hur fungerar faktureringen på den här nivån?
Samma som alla nivåer hos GPUwerk: per minut, mot ett förbetalt kreditsaldo, i USD, exkl. tillämplig skatt, utan avgifter för utgående trafik och utan bindning.
Behöver du GPU-tid i dag?
En DGX Spark har 128 GB enhetligt minne och kan hyras nu, för 0,79 USD/timme debiterat per minut. Första påfyllningen: betala 20 USD, få 30 USD i kredit. Eller driftsätt en L4.