GPU Cloud
H100 SXM, αποκλειστική.
Μία GPU NVIDIA H100 SXM, 80 GB HBM3 στα 3,35 TB/s στην αρχιτεκτονική Hopper, σε host x86. 2,69 $ την ώρα, με χρέωση ανά λεπτό, με τους ίδιους όρους που ισχύουν και για κάθε άλλη βαθμίδα του GPUwerk.
Νοικιάζεται με σειρά προτεραιότητας: αναπτύξτε μια H100 όταν υπάρχει ελεύθερη χωρητικότητα, ή μπείτε στη λίστα αναμονής της στην κονσόλα.
Προδιαγραφές
Ανά κόμβο. Κάθε instance του GPUwerk, σε οποιαδήποτε βαθμίδα, είναι ένα ολόκληρο μηχάνημα μόνο για εσάς.
| GPU | H100 SXM5, αρχιτεκτονική Hopper |
|---|---|
| Μνήμη | 80 GB HBM3 |
| Εύρος ζώνης μνήμης | 3,35 TB/s |
| Πυρήνες CUDA | 16.896 |
| Μέγιστη ισχύς | Έως 700 W |
| MIG | Έως 7 instances των 10 GB |
| Οικοδεσπότης | Host x86 |
| Χρήση | Ένας πελάτης ανά μηχάνημα, ποτέ κοινόχρηστο |
Στοιχεία GPU από το NVIDIA H100 και τη λευκή βίβλο αρχιτεκτονικής της H100. Το GPUwerk δημοσιεύει tok/s και απόδοση εκπαίδευσης μόνο για εκτελέσεις στο δικό του υλικό. Δείτε τα benchmarks του στόλου DGX Spark για το πώς αναφέρονται.
Τι θα εκτελούσατε σε αυτό;
HBM3 στα 3,35 TB/s, για απόδοση παρά για χωρητικότητα.
Εξυπηρέτηση υψηλής απόδοσης
Inference σε παρτίδες για πολλούς ταυτόχρονους χρήστες, όπου το εύρος ζώνης HBM καθορίζει τα tokens ανά δευτερόλεπτο.
Εκπαίδευση και fine-tuning
Πλήρη fine-tunes και εκπαιδεύσεις μοντέλων που χωράνε στα 80 GB, με FP8 στη Transformer Engine.
Μοντέλα έως περίπου 70B σε FP8
Τα βάρη ενός μοντέλου 70B χωράνε, αλλά μένει λίγη μνήμη για την KV cache.
Δεν ταιριάζει: εγγενές FP4 και τα μεγαλύτερα μοντέλα
Η Hopper δεν έχει FP4, και ένα μοντέλο μεγαλύτερο από περίπου 70B σε FP8 χρειάζεται H200, GPU Blackwell ή πολλές GPU.
Χρειάζεστε πολλές GPU συνδεδεμένες με NVLink; Δείτε τον server 8× H100.
Τι χωρά στα 80 GB
Μόνο βάρη: μνήμη διαιρεμένη με byte ανά παράμετρο. Αφήστε περιθώριο για KV cache, activations και runtime, συχνά 10 έως 30% επιπλέον.
| Ακρίβεια | Ανά παράμετρο | Μεγαλύτερο μοντέλο, μόνο βάρη |
|---|---|---|
| FP16 / BF16 | 2 byte | περίπου 40B παράμετροι |
| FP8 | 1 byte | περίπου 80B παράμετροι |
| Quantized σε 4-bit | 0,5 byte | περίπου 160B παράμετροι (χωρίς εγγενές FP4 στο Hopper· το runtime κάνει αποκβαντοποίηση) |
Χρέωση
| Τιμή | 2,69 $ την ώρα, με χρέωση ανά λεπτό |
|---|---|
| Χρέωση | Ανά λεπτό, από προπληρωμένο υπόλοιπο πίστωσης |
| Χρεώσεις | Χωρίς χρεώσεις εξερχόμενης κίνησης |
| Δέσμευση | Κανένα |
Οι τιμές είναι σε USD, χωρίς τους ισχύοντες φόρους. Όλος ο μηχανισμός χρέωσης, μαζί με το τι κάνει η διακοπή σε σχέση με τον τερματισμό, βρίσκεται στη σελίδα τιμών.
Συχνές ερωτήσεις
Μπορώ να νοικιάσω H100 τώρα;
Αναπτύξτε το από την κονσόλα όταν υπάρχει ελεύθερη χωρητικότητα· όσο δεν υπάρχει, η κονσόλα προσφέρει λίστα αναμονής και όσοι περιμένουν ειδοποιούνται με email ένας-ένας, με σειρά προτεραιότητας. Η χωρητικότητα δεν κρατιέται για κανέναν: όποιος κάνει πρώτος ανάπτυξη την παίρνει.
Πώς λειτουργεί η χρέωση σε αυτή τη βαθμίδα;
Όπως κάθε βαθμίδα του GPUwerk: ανά λεπτό, από προπληρωμένο υπόλοιπο πίστωσης, σε USD, χωρίς τους ισχύοντες φόρους, χωρίς χρεώσεις εξερχόμενης κίνησης και χωρίς δέσμευση.
Χρειάζεστε χρόνο GPU σήμερα;
Ένα DGX Spark έχει 128 GB ενοποιημένης μνήμης και είναι διαθέσιμο για ενοικίαση τώρα, με 0,79 $/ώρα και χρέωση ανά λεπτό. Πρώτη ανανέωση υπολοίπου: πληρώνετε 20 $, παίρνετε 30 $ σε πίστωση. Δείτε πώς συγκρίνεται ένα DGX Spark, ή μπείτε στη λίστα αναμονής για H100.