GPU Cloud
H100 SXM, dedicata.
Una singola GPU NVIDIA H100 SXM, 80 GB di HBM3 a 3,35 TB/s su architettura Hopper, su un host x86. 2 $,69 all'ora, fatturati al minuto, alle stesse condizioni di ogni altro livello GPUwerk.
Noleggiate in ordine di arrivo: avvia una H100 quando c'è capacità libera, oppure iscriviti alla sua lista d'attesa nella console.
Specifiche
Per nodo. Ogni istanza GPUwerk, su qualsiasi livello, è un'intera macchina tutta per te.
| GPU | H100 SXM5, architettura Hopper |
|---|---|
| Memoria | 80 GB HBM3 |
| Banda di memoria | 3,35 TB/s |
| Core CUDA | 16.896 |
| Potenza massima | Fino a 700 W |
| MIG | Fino a 7 istanze da 10 GB |
| Host | Host x86 |
| Locazione | Un cliente per macchina, mai condivisa |
Dati GPU da NVIDIA H100 e dal whitepaper sull'architettura H100. GPUwerk pubblica dati di tok/s e throughput di training solo per prove sul proprio hardware. Vedi i benchmark della flotta DGX Spark per come vengono riportati.
Cosa ci eseguiresti?
HBM3 a 3,35 TB/s, per il throughput più che per la capacità.
Serving ad alto throughput
Inferenza in batch per molti utenti simultanei, dove la banda HBM determina i token al secondo.
Training e fine-tuning
Fine-tuning completi e training di modelli che entrano in 80 GB, con FP8 sul Transformer Engine.
Modelli fino a circa 70B in FP8
I pesi di un modello 70B ci stanno, ma resta poca memoria per la KV cache.
Poco adatta: FP4 nativo e i modelli più grandi
Hopper non ha FP4, e un modello più grande di circa 70B in FP8 richiede una H200, una GPU Blackwell o più GPU.
Ti servono più GPU collegate tramite NVLink? Vedi il server 8× H100.
Cosa ci sta in 80 GB
Solo pesi: memoria divisa per byte per parametro. Lascia margine per KV cache, attivazioni e runtime, spesso dal 10 al 30% in più.
| Precisione | Per parametro | Modello più grande, solo pesi |
|---|---|---|
| FP16 / BF16 | 2 byte | circa 40B parametri |
| FP8 | 1 byte | circa 80B parametri |
| Quantizzato a 4 bit | 0,5 byte | circa 160B parametri (nessun FP4 nativo su Hopper; il runtime dequantizza) |
Fatturazione
| Tariffa | 2 $,69 all'ora, fatturati al minuto |
|---|---|
| Fatturazione | Al minuto, da un saldo di credito prepagato |
| Commissioni | Nessun costo di egress |
| Impegno | Nessuno |
Prezzi in USD, imposte applicabili escluse. Tutti i meccanismi di fatturazione, compreso cosa fa un arresto rispetto a una terminazione, sono nella pagina dei prezzi.
FAQ
Posso noleggiare una H100 adesso?
Avviala dalla console quando c'è capacità libera; finché non ce n'è, la console offre una lista d'attesa e le persone in coda ricevono un'email una alla volta, partendo dalla più vecchia. La capacità non viene riservata a nessuno: chi l'avvia per primo se la prende.
Come funziona la fatturazione su questo livello?
Come per ogni livello GPUwerk: al minuto, da un saldo di credito prepagato, in USD, imposte applicabili escluse, senza costi di egress e senza vincoli.
Ti serve tempo GPU oggi?
Una DGX Spark ha 128 GB di memoria unificata ed è noleggiabile subito, a 0 $,79/ora fatturati al minuto. Prima ricarica: paghi 20 $, ricevi 30 $ di credito. Vedi come si confronta una DGX Spark, oppure iscriviti alla lista d'attesa per la H100.