Nube de GPU

H100 SXM, dedicada.

Una GPU NVIDIA H100 SXM, 80 GB de HBM3 a 3,35 TB/s con arquitectura Hopper, en un host x86. 2,69 $ la hora, facturado por minuto, en las mismas condiciones que el resto de niveles de GPUwerk.

Se alquila por orden de llegada: despliega una H100 cuando haya capacidad libre, o únete a su lista de espera en la consola.

Especificaciones

Por nodo. Cada instancia de GPUwerk, en cualquier nivel, es una máquina entera solo para ti.

NVIDIA H100 SXM
GPUH100 SXM5, arquitectura Hopper
Memoria80 GB HBM3
Ancho de banda de memoria3,35 TB/s
Núcleos CUDA16.896
Potencia máximaHasta 700 W
MIGHasta 7 instancias de 10 GB
AlojarHost x86
UsoUn cliente por máquina, nunca compartida

Cifras de GPU de NVIDIA H100 y del whitepaper de la arquitectura H100. GPUwerk solo publica cifras de tok/s y de rendimiento de entrenamiento de ejecuciones en su propio hardware. Consulta los benchmarks de la flota de DGX Spark para ver cómo se presentan.

¿Qué ejecutarías en él?

HBM3 a 3,35 TB/s, para rendimiento más que para capacidad.

Servicio de alto rendimiento

Inferencia por lotes para muchos usuarios simultáneos, donde el ancho de banda de la HBM fija los tokens por segundo.

Entrenamiento y fine-tuning

Fine-tunings completos y entrenamientos de modelos que caben en 80 GB, con FP8 en el Transformer Engine.

Modelos de hasta unos 70B en FP8

Los pesos de un modelo de 70B caben, aunque queda poca memoria para la caché KV.

No encaja: FP4 nativo y los modelos más grandes

Hopper no tiene FP4, y un modelo de más de unos 70B en FP8 necesita una H200, una GPU Blackwell o varias GPU.

¿Necesitas varias GPU enlazadas por NVLink? Consulta el servidor 8× H100.

Qué cabe en 80 GB

Solo pesos: memoria dividida entre bytes por parámetro. Deja margen para la caché KV, las activaciones y el runtime, a menudo entre un 10 y un 30% más.

Mayor modelo por pesos en una sola H100
PrecisiónPor parámetroMayor modelo, solo pesos
FP16 / BF162 bytesunos 40B parámetros
FP81 byteunos 80B parámetros
Cuantizado a 4 bits0,5 bytesunos 160B parámetros (sin FP4 nativo en Hopper; el runtime descuantiza)

Facturación

Tarifa2,69 $ la hora, facturado por minuto
FacturaciónPor minuto, con un saldo de crédito prepago
TarifasSin tarifas de tráfico de salida
CompromisoNinguno

Los precios están en USD, sin los impuestos aplicables. Toda la mecánica de facturación, incluido qué hace detener frente a terminar, está en la página de precios.

Preguntas frecuentes

¿Puedo alquilar una H100 ya?

Despliégala desde la consola cuando haya capacidad libre; mientras no la haya, la consola ofrece una lista de espera y se avisa por correo a las personas en cola de una en una, empezando por la más antigua. La capacidad no se reserva para nadie: quien despliega primero se la queda.

¿Cómo funciona la facturación en este nivel?

Igual que en todos los niveles de GPUwerk: por minuto, con un saldo de crédito prepago, en USD, sin los impuestos aplicables, sin tarifas de tráfico de salida y sin compromiso.

¿Necesitas GPU hoy?

Un DGX Spark tiene 128 GB de memoria unificada y se puede alquilar ya, a 0,79 $/hora facturado por minuto. Primera recarga: paga 20 $ y recibe 30 $ de crédito. Mira cómo se compara un DGX Spark, o únete a la lista de espera de la H100.