GPU Cloud

L4, dedicata.

Una singola GPU NVIDIA L4, 24 GB GDDR6 su architettura Ada Lovelace, su un host x86. 0 $,49 all'ora, fatturati al minuto, alle stesse condizioni di ogni altro livello GPUwerk.

Noleggiate in ordine di arrivo: avvia una L4 quando c'è capacità libera, oppure iscriviti alla sua lista d'attesa nella console.

Specifiche

Per GPU. La GPU e la sua memoria sono solo tue per tutto il noleggio.

NVIDIA L4
GPUL4, architettura Ada Lovelace
Memoria24 GB GDDR6
Banda di memoria300 GB/s
Core CUDA7.424
Potenza massimaFino a 72 W
HostHost x86
LocazioneLa GPU è solo tua finché la noleggi, mai condivisa

Dati GPU da NVIDIA L4. GPUwerk pubblica dati di tok/s e throughput di training solo per prove sul proprio hardware. Vedi i benchmark della flotta DGX Spark per come vengono riportati.

Cosa ci eseguiresti?

Una scheda di inferenza a basso consumo: 24 GB a 72 W, per modelli che ci stanno e traffico che non richiede una H100.

Inferenza di modelli piccoli

Modelli di chat o completamento fino a circa 14B parametri in FP8, e modelli di embedding o reranking dietro un'API, dove 24 GB bastano.

Pipeline video e di visione

Codifica e decodifica video hardware accanto alla GPU, per transcodifica o per modelli di visione che leggono fotogrammi video.

Sviluppo a basso costo

Costruire e testare uno stack di serving su una GPU economica prima di spostarlo su una più grande.

Poco adatta: training e grandi fine-tuning

24 GB lasciano poco spazio per gradienti e stato dell'ottimizzatore, quindi tutto ciò che va oltre una piccola LoRA va fatto su una H100 o superiore.

Ti serve più memoria? Vedi la L40S (48 GB) o la H100 (80 GB).

Cosa ci sta in 24 GB

Solo pesi: memoria divisa per byte per parametro. Lascia margine per KV cache, attivazioni e runtime, spesso dal 10 al 30% in più.

Modello più grande considerando solo i pesi su una L4
PrecisionePer parametroModello più grande, solo pesi
FP16 / BF162 bytecirca 12B parametri
FP81 bytecirca 24B parametri
Quantizzato a 4 bit0,5 bytecirca 48B parametri (nessun FP4 nativo su Ada; il runtime dequantizza)

Fatturazione

Tariffa0 $,49 all'ora, fatturati al minuto
FatturazioneAl minuto, da un saldo di credito prepagato
CommissioniNessun costo di egress
ImpegnoNessuno

Prezzi in USD, imposte applicabili escluse. Tutti i meccanismi di fatturazione, compreso cosa fa un arresto rispetto a una terminazione, sono nella pagina dei prezzi.

FAQ

Posso noleggiare una L4 adesso?

Avviala dalla console quando c'è capacità libera; finché non ce n'è, la console offre una lista d'attesa e le persone in coda ricevono un'email una alla volta, partendo dalla più vecchia. La capacità non viene riservata a nessuno: chi l'avvia per primo se la prende.

Come funziona la fatturazione su questo livello?

Come per ogni livello GPUwerk: al minuto, da un saldo di credito prepagato, in USD, imposte applicabili escluse, senza costi di egress e senza vincoli.

Ti serve tempo GPU oggi?

Una DGX Spark ha 128 GB di memoria unificata ed è noleggiabile subito, a 0 $,79/ora fatturati al minuto. Prima ricarica: paghi 20 $, ricevi 30 $ di credito. Oppure avvia una L4.