GPU-cloud
L4, dedicated.
Eén NVIDIA L4-GPU, 24 GB GDDR6 op de Ada Lovelace-architectuur, op een x86-host. $ 0,49 per uur, per minuut gefactureerd, onder dezelfde voorwaarden als elke andere tier van GPUwerk.
Wie het eerst komt, het eerst maalt: deploy een L4 wanneer er capaciteit vrij is, of zet je in de console op de wachtlijst.
Specificaties
Per GPU. De GPU en het geheugen zijn tijdens de huur alleen van jou.
| GPU | L4, Ada Lovelace-architectuur |
|---|---|
| Geheugen | 24 GB GDDR6 |
| Geheugenbandbreedte | 300 GB/s |
| CUDA-cores | 7.424 |
| Max. vermogen | Tot 72 W |
| Host | x86-host |
| Tenancy | De GPU is alleen van jou zolang je hem huurt, nooit gedeeld |
GPU-cijfers van NVIDIA L4. GPUwerk publiceert tok/s en trainingsdoorvoer alleen voor runs op eigen hardware. Zie de benchmarks van de DGX Spark-vloot voor hoe die worden gerapporteerd.
Wat zou je erop draaien?
Een zuinige inference-kaart: 24 GB bij 72 W, voor modellen die passen en verkeer waarvoor geen H100 nodig is.
Inference met kleine modellen
Chat- of completionmodellen tot ongeveer 14B parameters in FP8, en embedding- of rerankingmodellen achter een API, waarvoor 24 GB genoeg is.
Video- en visionpipelines
Hardwarematige video-encodering en -decodering naast de GPU, voor transcoding of voor visionmodellen die videoframes lezen.
Goedkope ontwikkeling
Een serving-stack bouwen en testen op een goedkope GPU voordat je hem naar een grotere verplaatst.
Past slecht: training en grote fine-tunes
24 GB laat weinig ruimte voor gradients en optimizer-state, dus alles wat groter is dan een kleine LoRA hoort op een H100 of groter.
Meer geheugen nodig? Zie de L40S (48 GB) of de H100 (80 GB).
Wat past er in 24 GB
Alleen gewichten: geheugen gedeeld door bytes per parameter. Laat marge voor de KV-cache, activaties en de runtime, vaak 10 tot 30% meer.
| Precisie | Per parameter | Grootste model, alleen gewichten |
|---|---|---|
| FP16 / BF16 | 2 bytes | ongeveer 12B parameters |
| FP8 | 1 byte | ongeveer 24B parameters |
| 4-bit gekwantiseerd | 0,5 byte | ongeveer 48B parameters (geen native FP4 op Ada; de runtime dekwantiseert) |
Facturering
| Tarief | $ 0,49 per uur, per minuut gefactureerd |
|---|---|
| Facturering | Per minuut, tegen een prepaid saldo aan tegoed |
| Vergoedingen | Geen kosten voor egress |
| Verplichting | Geen |
Prijzen zijn in USD, exclusief toepasselijke belasting. Alle details over facturering, inclusief wat stoppen tegenover beëindigen doet, staan op de prijspagina.
FAQ
Kan ik nu een L4 huren?
Deploy hem vanuit de console wanneer er capaciteit vrij is; zolang dat niet zo is, biedt de console een wachtlijst aan, en mensen in de rij krijgen één voor één een e-mail, de oudste eerst. Capaciteit wordt voor niemand vastgehouden: wie het eerst deployt, krijgt hem.
Hoe werkt de facturering op deze tier?
Hetzelfde als elke tier van GPUwerk: per minuut, tegen een prepaid saldo aan tegoed, in USD, exclusief toepasselijke belasting, zonder kosten voor egress en zonder verplichting.
Vandaag GPU-tijd nodig?
Een DGX Spark heeft 128 GB unified memory en is nu te huur, voor $ 0,79/uur per minuut gefactureerd. Eerste opwaardering: betaal $ 20, krijg $ 30 tegoed. Of deploy een L4.