GPU-cloud

L4, dedicated.

Eén NVIDIA L4-GPU, 24 GB GDDR6 op de Ada Lovelace-architectuur, op een x86-host. $ 0,49 per uur, per minuut gefactureerd, onder dezelfde voorwaarden als elke andere tier van GPUwerk.

Wie het eerst komt, het eerst maalt: deploy een L4 wanneer er capaciteit vrij is, of zet je in de console op de wachtlijst.

Specificaties

Per GPU. De GPU en het geheugen zijn tijdens de huur alleen van jou.

NVIDIA L4
GPUL4, Ada Lovelace-architectuur
Geheugen24 GB GDDR6
Geheugenbandbreedte300 GB/s
CUDA-cores7.424
Max. vermogenTot 72 W
Hostx86-host
TenancyDe GPU is alleen van jou zolang je hem huurt, nooit gedeeld

GPU-cijfers van NVIDIA L4. GPUwerk publiceert tok/s en trainingsdoorvoer alleen voor runs op eigen hardware. Zie de benchmarks van de DGX Spark-vloot voor hoe die worden gerapporteerd.

Wat zou je erop draaien?

Een zuinige inference-kaart: 24 GB bij 72 W, voor modellen die passen en verkeer waarvoor geen H100 nodig is.

Inference met kleine modellen

Chat- of completionmodellen tot ongeveer 14B parameters in FP8, en embedding- of rerankingmodellen achter een API, waarvoor 24 GB genoeg is.

Video- en visionpipelines

Hardwarematige video-encodering en -decodering naast de GPU, voor transcoding of voor visionmodellen die videoframes lezen.

Goedkope ontwikkeling

Een serving-stack bouwen en testen op een goedkope GPU voordat je hem naar een grotere verplaatst.

Past slecht: training en grote fine-tunes

24 GB laat weinig ruimte voor gradients en optimizer-state, dus alles wat groter is dan een kleine LoRA hoort op een H100 of groter.

Meer geheugen nodig? Zie de L40S (48 GB) of de H100 (80 GB).

Wat past er in 24 GB

Alleen gewichten: geheugen gedeeld door bytes per parameter. Laat marge voor de KV-cache, activaties en de runtime, vaak 10 tot 30% meer.

Grootste model op één L4, alleen naar gewichten
PrecisiePer parameterGrootste model, alleen gewichten
FP16 / BF162 bytesongeveer 12B parameters
FP81 byteongeveer 24B parameters
4-bit gekwantiseerd0,5 byteongeveer 48B parameters (geen native FP4 op Ada; de runtime dekwantiseert)

Facturering

Tarief$ 0,49 per uur, per minuut gefactureerd
FactureringPer minuut, tegen een prepaid saldo aan tegoed
VergoedingenGeen kosten voor egress
VerplichtingGeen

Prijzen zijn in USD, exclusief toepasselijke belasting. Alle details over facturering, inclusief wat stoppen tegenover beëindigen doet, staan op de prijspagina.

FAQ

Kan ik nu een L4 huren?

Deploy hem vanuit de console wanneer er capaciteit vrij is; zolang dat niet zo is, biedt de console een wachtlijst aan, en mensen in de rij krijgen één voor één een e-mail, de oudste eerst. Capaciteit wordt voor niemand vastgehouden: wie het eerst deployt, krijgt hem.

Hoe werkt de facturering op deze tier?

Hetzelfde als elke tier van GPUwerk: per minuut, tegen een prepaid saldo aan tegoed, in USD, exclusief toepasselijke belasting, zonder kosten voor egress en zonder verplichting.

Vandaag GPU-tijd nodig?

Een DGX Spark heeft 128 GB unified memory en is nu te huur, voor $ 0,79/uur per minuut gefactureerd. Eerste opwaardering: betaal $ 20, krijg $ 30 tegoed. Of deploy een L4.