GPU Cloud

H100 SXM, dedicata.

Una singola GPU NVIDIA H100 SXM, 80 GB di HBM3 a 3,35 TB/s su architettura Hopper, su un host x86. 2 $,69 all'ora, fatturati al minuto, alle stesse condizioni di ogni altro livello GPUwerk.

Noleggiate in ordine di arrivo: avvia una H100 quando c'è capacità libera, oppure iscriviti alla sua lista d'attesa nella console.

Specifiche

Per nodo. Ogni istanza GPUwerk, su qualsiasi livello, è un'intera macchina tutta per te.

NVIDIA H100 SXM
GPUH100 SXM5, architettura Hopper
Memoria80 GB HBM3
Banda di memoria3,35 TB/s
Core CUDA16.896
Potenza massimaFino a 700 W
MIGFino a 7 istanze da 10 GB
HostHost x86
LocazioneUn cliente per macchina, mai condivisa

Dati GPU da NVIDIA H100 e dal whitepaper sull'architettura H100. GPUwerk pubblica dati di tok/s e throughput di training solo per prove sul proprio hardware. Vedi i benchmark della flotta DGX Spark per come vengono riportati.

Cosa ci eseguiresti?

HBM3 a 3,35 TB/s, per il throughput più che per la capacità.

Serving ad alto throughput

Inferenza in batch per molti utenti simultanei, dove la banda HBM determina i token al secondo.

Training e fine-tuning

Fine-tuning completi e training di modelli che entrano in 80 GB, con FP8 sul Transformer Engine.

Modelli fino a circa 70B in FP8

I pesi di un modello 70B ci stanno, ma resta poca memoria per la KV cache.

Poco adatta: FP4 nativo e i modelli più grandi

Hopper non ha FP4, e un modello più grande di circa 70B in FP8 richiede una H200, una GPU Blackwell o più GPU.

Ti servono più GPU collegate tramite NVLink? Vedi il server 8× H100.

Cosa ci sta in 80 GB

Solo pesi: memoria divisa per byte per parametro. Lascia margine per KV cache, attivazioni e runtime, spesso dal 10 al 30% in più.

Modello più grande considerando solo i pesi su una H100
PrecisionePer parametroModello più grande, solo pesi
FP16 / BF162 bytecirca 40B parametri
FP81 bytecirca 80B parametri
Quantizzato a 4 bit0,5 bytecirca 160B parametri (nessun FP4 nativo su Hopper; il runtime dequantizza)

Fatturazione

Tariffa2 $,69 all'ora, fatturati al minuto
FatturazioneAl minuto, da un saldo di credito prepagato
CommissioniNessun costo di egress
ImpegnoNessuno

Prezzi in USD, imposte applicabili escluse. Tutti i meccanismi di fatturazione, compreso cosa fa un arresto rispetto a una terminazione, sono nella pagina dei prezzi.

FAQ

Posso noleggiare una H100 adesso?

Avviala dalla console quando c'è capacità libera; finché non ce n'è, la console offre una lista d'attesa e le persone in coda ricevono un'email una alla volta, partendo dalla più vecchia. La capacità non viene riservata a nessuno: chi l'avvia per primo se la prende.

Come funziona la fatturazione su questo livello?

Come per ogni livello GPUwerk: al minuto, da un saldo di credito prepagato, in USD, imposte applicabili escluse, senza costi di egress e senza vincoli.

Ti serve tempo GPU oggi?

Una DGX Spark ha 128 GB di memoria unificata ed è noleggiabile subito, a 0 $,79/ora fatturati al minuto. Prima ricarica: paghi 20 $, ricevi 30 $ di credito. Vedi come si confronta una DGX Spark, oppure iscriviti alla lista d'attesa per la H100.