GPU Cloud

H100 SXM, dédiée.

Un GPU NVIDIA H100 SXM unique, 80 Go de HBM3 à 3,35 To/s sur l'architecture Hopper, sur un hôte x86. 2,69 $ de l'heure, facturé à la minute, aux mêmes conditions que toutes les autres offres GPUwerk.

Louée au premier arrivé, premier servi : déployez une H100 quand de la capacité est libre, ou rejoignez sa liste d'attente dans la console.

Caractéristiques

Par nœud. Chaque instance GPUwerk, quelle que soit l'offre, est une machine entière rien que pour vous.

NVIDIA H100 SXM
GPUH100 SXM5, architecture Hopper
Mémoire80 Go HBM3
Bande passante mémoire3,35 To/s
Cœurs CUDA16 896
Puissance max.Jusqu'à 700 W
MIGJusqu'à 7 instances de 10 Go
HébergerHôte x86
OccupationUn client par machine, jamais partagée

Chiffres GPU tirés de NVIDIA H100 et du livre blanc de l'architecture H100. GPUwerk ne publie de chiffres de tok/s et de débit d'entraînement que pour des tests sur son propre matériel. Voir les benchmarks de la flotte DGX Spark pour la façon dont ils sont présentés.

Que feriez-vous tourner dessus ?

HBM3 à 3,35 To/s, pour le débit plutôt que pour la capacité.

Service à haut débit

Inférence par lots pour de nombreux utilisateurs simultanés, où la bande passante HBM détermine le nombre de tokens par seconde.

Entraînement et fine-tuning

Fine-tunings complets et entraînements de modèles qui tiennent dans 80 Go, avec le FP8 du Transformer Engine.

Modèles jusqu'à environ 70B en FP8

Les poids d'un modèle 70B tiennent, mais il reste peu de mémoire pour le cache KV.

Peu adapté : FP4 natif et les plus grands modèles

Hopper n'a pas de FP4, et un modèle de plus d'environ 70B en FP8 nécessite une H200, un GPU Blackwell ou plusieurs GPU.

Besoin de plusieurs GPU reliés par NVLink ? Voir le serveur 8× H100.

Ce qui tient dans 80 Go

Poids seuls : mémoire divisée par les octets par paramètre. Prévoyez de la marge pour le cache KV, les activations et le runtime, souvent 10 à 30 % de plus.

Plus grand modèle, poids seuls, sur une H100
PrécisionPar paramètrePlus grand modèle, poids seuls
FP16 / BF162 octetsenviron 40B paramètres
FP81 octetenviron 80B paramètres
Quantifié en 4 bits0,5 octetenviron 160B paramètres (pas de FP4 natif sur Hopper ; le runtime déquantifie)

Facturation

Tarif2,69 $ de l'heure, facturé à la minute
FacturationÀ la minute, sur un solde de crédit prépayé
FraisPas de frais de trafic sortant
EngagementAucun

Les prix sont en USD, hors taxes applicables. Le fonctionnement complet de la facturation, y compris l'effet d'un arrêt par rapport à une suppression, est détaillé sur la page des tarifs.

FAQ

Puis-je louer une H100 dès maintenant ?

Déployez-la depuis la console quand de la capacité est libre ; tant qu'il n'y en a pas, la console propose une liste d'attente et les personnes inscrites sont prévenues par e-mail une à une, de la plus ancienne à la plus récente. La capacité n'est réservée à personne : le premier qui déploie l'obtient.

Comment fonctionne la facturation pour cette offre ?

Comme pour toutes les offres GPUwerk : à la minute, sur un solde de crédit prépayé, en USD, hors taxes applicables, sans frais de trafic sortant et sans engagement.

Besoin de temps GPU aujourd'hui ?

Un DGX Spark dispose de 128 Go de mémoire unifiée et se loue dès maintenant, à 0,79 $/heure facturé à la minute. Première recharge : payez 20 $ recevez 30 $ de crédit. Voyez comment un DGX Spark se compare, ou rejoignez la liste d'attente H100.