GPU Cloud

H100 SXM, αποκλειστική.

Μία GPU NVIDIA H100 SXM, 80 GB HBM3 στα 3,35 TB/s στην αρχιτεκτονική Hopper, σε host x86. 2,69 $ την ώρα, με χρέωση ανά λεπτό, με τους ίδιους όρους που ισχύουν και για κάθε άλλη βαθμίδα του GPUwerk.

Νοικιάζεται με σειρά προτεραιότητας: αναπτύξτε μια H100 όταν υπάρχει ελεύθερη χωρητικότητα, ή μπείτε στη λίστα αναμονής της στην κονσόλα.

Προδιαγραφές

Ανά κόμβο. Κάθε instance του GPUwerk, σε οποιαδήποτε βαθμίδα, είναι ένα ολόκληρο μηχάνημα μόνο για εσάς.

NVIDIA H100 SXM
GPUH100 SXM5, αρχιτεκτονική Hopper
Μνήμη80 GB HBM3
Εύρος ζώνης μνήμης3,35 TB/s
Πυρήνες CUDA16.896
Μέγιστη ισχύςΈως 700 W
MIGΈως 7 instances των 10 GB
ΟικοδεσπότηςHost x86
ΧρήσηΈνας πελάτης ανά μηχάνημα, ποτέ κοινόχρηστο

Στοιχεία GPU από το NVIDIA H100 και τη λευκή βίβλο αρχιτεκτονικής της H100. Το GPUwerk δημοσιεύει tok/s και απόδοση εκπαίδευσης μόνο για εκτελέσεις στο δικό του υλικό. Δείτε τα benchmarks του στόλου DGX Spark για το πώς αναφέρονται.

Τι θα εκτελούσατε σε αυτό;

HBM3 στα 3,35 TB/s, για απόδοση παρά για χωρητικότητα.

Εξυπηρέτηση υψηλής απόδοσης

Inference σε παρτίδες για πολλούς ταυτόχρονους χρήστες, όπου το εύρος ζώνης HBM καθορίζει τα tokens ανά δευτερόλεπτο.

Εκπαίδευση και fine-tuning

Πλήρη fine-tunes και εκπαιδεύσεις μοντέλων που χωράνε στα 80 GB, με FP8 στη Transformer Engine.

Μοντέλα έως περίπου 70B σε FP8

Τα βάρη ενός μοντέλου 70B χωράνε, αλλά μένει λίγη μνήμη για την KV cache.

Δεν ταιριάζει: εγγενές FP4 και τα μεγαλύτερα μοντέλα

Η Hopper δεν έχει FP4, και ένα μοντέλο μεγαλύτερο από περίπου 70B σε FP8 χρειάζεται H200, GPU Blackwell ή πολλές GPU.

Χρειάζεστε πολλές GPU συνδεδεμένες με NVLink; Δείτε τον server 8× H100.

Τι χωρά στα 80 GB

Μόνο βάρη: μνήμη διαιρεμένη με byte ανά παράμετρο. Αφήστε περιθώριο για KV cache, activations και runtime, συχνά 10 έως 30% επιπλέον.

Μεγαλύτερο μοντέλο μόνο με βάση τα βάρη σε μία H100
ΑκρίβειαΑνά παράμετροΜεγαλύτερο μοντέλο, μόνο βάρη
FP16 / BF162 byteπερίπου 40B παράμετροι
FP81 byteπερίπου 80B παράμετροι
Quantized σε 4-bit0,5 byteπερίπου 160B παράμετροι (χωρίς εγγενές FP4 στο Hopper· το runtime κάνει αποκβαντοποίηση)

Χρέωση

Τιμή2,69 $ την ώρα, με χρέωση ανά λεπτό
ΧρέωσηΑνά λεπτό, από προπληρωμένο υπόλοιπο πίστωσης
ΧρεώσειςΧωρίς χρεώσεις εξερχόμενης κίνησης
ΔέσμευσηΚανένα

Οι τιμές είναι σε USD, χωρίς τους ισχύοντες φόρους. Όλος ο μηχανισμός χρέωσης, μαζί με το τι κάνει η διακοπή σε σχέση με τον τερματισμό, βρίσκεται στη σελίδα τιμών.

Συχνές ερωτήσεις

Μπορώ να νοικιάσω H100 τώρα;

Αναπτύξτε το από την κονσόλα όταν υπάρχει ελεύθερη χωρητικότητα· όσο δεν υπάρχει, η κονσόλα προσφέρει λίστα αναμονής και όσοι περιμένουν ειδοποιούνται με email ένας-ένας, με σειρά προτεραιότητας. Η χωρητικότητα δεν κρατιέται για κανέναν: όποιος κάνει πρώτος ανάπτυξη την παίρνει.

Πώς λειτουργεί η χρέωση σε αυτή τη βαθμίδα;

Όπως κάθε βαθμίδα του GPUwerk: ανά λεπτό, από προπληρωμένο υπόλοιπο πίστωσης, σε USD, χωρίς τους ισχύοντες φόρους, χωρίς χρεώσεις εξερχόμενης κίνησης και χωρίς δέσμευση.

Χρειάζεστε χρόνο GPU σήμερα;

Ένα DGX Spark έχει 128 GB ενοποιημένης μνήμης και είναι διαθέσιμο για ενοικίαση τώρα, με 0,79 $/ώρα και χρέωση ανά λεπτό. Πρώτη ανανέωση υπολοίπου: πληρώνετε 20 $, παίρνετε 30 $ σε πίστωση. Δείτε πώς συγκρίνεται ένα DGX Spark, ή μπείτε στη λίστα αναμονής για H100.