GPU Cloud
H100 SXM, dédiée.
Un GPU NVIDIA H100 SXM unique, 80 Go de HBM3 à 3,35 To/s sur l'architecture Hopper, sur un hôte x86. 2,69 $ de l'heure, facturé à la minute, aux mêmes conditions que toutes les autres offres GPUwerk.
Louée au premier arrivé, premier servi : déployez une H100 quand de la capacité est libre, ou rejoignez sa liste d'attente dans la console.
Caractéristiques
Par nœud. Chaque instance GPUwerk, quelle que soit l'offre, est une machine entière rien que pour vous.
| GPU | H100 SXM5, architecture Hopper |
|---|---|
| Mémoire | 80 Go HBM3 |
| Bande passante mémoire | 3,35 To/s |
| Cœurs CUDA | 16 896 |
| Puissance max. | Jusqu'à 700 W |
| MIG | Jusqu'à 7 instances de 10 Go |
| Héberger | Hôte x86 |
| Occupation | Un client par machine, jamais partagée |
Chiffres GPU tirés de NVIDIA H100 et du livre blanc de l'architecture H100. GPUwerk ne publie de chiffres de tok/s et de débit d'entraînement que pour des tests sur son propre matériel. Voir les benchmarks de la flotte DGX Spark pour la façon dont ils sont présentés.
Que feriez-vous tourner dessus ?
HBM3 à 3,35 To/s, pour le débit plutôt que pour la capacité.
Service à haut débit
Inférence par lots pour de nombreux utilisateurs simultanés, où la bande passante HBM détermine le nombre de tokens par seconde.
Entraînement et fine-tuning
Fine-tunings complets et entraînements de modèles qui tiennent dans 80 Go, avec le FP8 du Transformer Engine.
Modèles jusqu'à environ 70B en FP8
Les poids d'un modèle 70B tiennent, mais il reste peu de mémoire pour le cache KV.
Peu adapté : FP4 natif et les plus grands modèles
Hopper n'a pas de FP4, et un modèle de plus d'environ 70B en FP8 nécessite une H200, un GPU Blackwell ou plusieurs GPU.
Besoin de plusieurs GPU reliés par NVLink ? Voir le serveur 8× H100.
Ce qui tient dans 80 Go
Poids seuls : mémoire divisée par les octets par paramètre. Prévoyez de la marge pour le cache KV, les activations et le runtime, souvent 10 à 30 % de plus.
| Précision | Par paramètre | Plus grand modèle, poids seuls |
|---|---|---|
| FP16 / BF16 | 2 octets | environ 40B paramètres |
| FP8 | 1 octet | environ 80B paramètres |
| Quantifié en 4 bits | 0,5 octet | environ 160B paramètres (pas de FP4 natif sur Hopper ; le runtime déquantifie) |
Facturation
| Tarif | 2,69 $ de l'heure, facturé à la minute |
|---|---|
| Facturation | À la minute, sur un solde de crédit prépayé |
| Frais | Pas de frais de trafic sortant |
| Engagement | Aucun |
Les prix sont en USD, hors taxes applicables. Le fonctionnement complet de la facturation, y compris l'effet d'un arrêt par rapport à une suppression, est détaillé sur la page des tarifs.
FAQ
Puis-je louer une H100 dès maintenant ?
Déployez-la depuis la console quand de la capacité est libre ; tant qu'il n'y en a pas, la console propose une liste d'attente et les personnes inscrites sont prévenues par e-mail une à une, de la plus ancienne à la plus récente. La capacité n'est réservée à personne : le premier qui déploie l'obtient.
Comment fonctionne la facturation pour cette offre ?
Comme pour toutes les offres GPUwerk : à la minute, sur un solde de crédit prépayé, en USD, hors taxes applicables, sans frais de trafic sortant et sans engagement.
Besoin de temps GPU aujourd'hui ?
Un DGX Spark dispose de 128 Go de mémoire unifiée et se loue dès maintenant, à 0,79 $/heure facturé à la minute. Première recharge : payez 20 $ recevez 30 $ de crédit. Voyez comment un DGX Spark se compare, ou rejoignez la liste d'attente H100.