GPU Cloud
RTX 6000 Ada, αποκλειστική.
Ένα μηχάνημα με μία GPU NVIDIA RTX 6000 Ada Generation, 48 GB GDDR6 με ECC στην αρχιτεκτονική Ada Lovelace, σε host x86. 0,75 $ την ώρα, με χρέωση ανά λεπτό, με τους ίδιους όρους που ισχύουν και για κάθε άλλη βαθμίδα του GPUwerk.
Νοικιάζεται με σειρά προτεραιότητας: αναπτύξτε μια RTX 6000 Ada όταν υπάρχει ελεύθερη χωρητικότητα, ή μπείτε στη λίστα αναμονής της στην κονσόλα.
Προδιαγραφές
Ανά κόμβο. Κάθε instance του GPUwerk, σε οποιαδήποτε βαθμίδα, είναι ένα ολόκληρο μηχάνημα μόνο για εσάς.
| GPU | RTX 6000 Ada Generation, αρχιτεκτονική Ada Lovelace |
|---|---|
| Μνήμη | 48 GB GDDR6 με ECC |
| Εύρος ζώνης μνήμης | 960 GB/s |
| Πυρήνες CUDA | 18.176 |
| Μέγιστη ισχύς | 300 W |
| Οικοδεσπότης | Host x86 |
| Χρήση | Ένας πελάτης ανά μηχάνημα, ποτέ κοινόχρηστο |
Στοιχεία GPU από το NVIDIA RTX 6000 Ada. Το GPUwerk δημοσιεύει tok/s και απόδοση εκπαίδευσης μόνο για εκτελέσεις στο δικό του υλικό. Δείτε τα benchmarks του στόλου DGX Spark για το πώς αναφέρονται.
Τι θα εκτελούσατε σε αυτό;
48 GB με ECC: η ίδια μνήμη με μια L40S, σε κάρτα κατηγορίας σταθμού εργασίας.
Inference μοντέλων μεσαίου μεγέθους
Μοντέλα έως περίπου 40B παραμέτρων σε FP8, ή ένα μοντέλο κατηγορίας 30B με χώρο για την KV cache.
Rendering και γραφικά
RT cores και driver κατηγορίας σταθμού εργασίας για rendering, προσομοίωση ή μικτά pipelines γραφικών και AI.
Fine-tuning με LoRA
Εκπαίδευση adapters σε μοντέλα κατηγορίας 7B έως 13B, που χωρά στα 48 GB με περιθώριο.
Δεν ταιριάζει: εκπαίδευση με πολλές GPU
Δεν έχει NVLink, οπότε μια εργασία που χρειάζεται πολλές GPU να ανταλλάσσουν δεδομένα γρήγορα ανήκει σε server 8 GPU.
Τι χωρά στα 48 GB
Μόνο βάρη: μνήμη διαιρεμένη με byte ανά παράμετρο. Αφήστε περιθώριο για KV cache, activations και runtime, συχνά 10 έως 30% επιπλέον.
| Ακρίβεια | Ανά παράμετρο | Μεγαλύτερο μοντέλο, μόνο βάρη |
|---|---|---|
| FP16 / BF16 | 2 byte | περίπου 24B παράμετροι |
| FP8 | 1 byte | περίπου 48B παράμετροι |
| Quantized σε 4-bit | 0,5 byte | περίπου 96B παράμετροι (χωρίς εγγενές FP4 στην Ada· το runtime κάνει αποκβαντοποίηση) |
Χρέωση
| Τιμή | 0,75 $ την ώρα, με χρέωση ανά λεπτό |
|---|---|
| Χρέωση | Ανά λεπτό, από προπληρωμένο υπόλοιπο πίστωσης |
| Χρεώσεις | Χωρίς χρεώσεις εξερχόμενης κίνησης |
| Δέσμευση | Κανένα |
Οι τιμές είναι σε USD, χωρίς τους ισχύοντες φόρους. Όλος ο μηχανισμός χρέωσης, μαζί με το τι κάνει η διακοπή σε σχέση με τον τερματισμό, βρίσκεται στη σελίδα τιμών.
Συχνές ερωτήσεις
Μπορώ να νοικιάσω RTX 6000 Ada τώρα;
Αναπτύξτε το από την κονσόλα όταν υπάρχει ελεύθερη χωρητικότητα· όσο δεν υπάρχει, η κονσόλα προσφέρει λίστα αναμονής και όσοι περιμένουν ειδοποιούνται με email ένας-ένας, με σειρά προτεραιότητας. Η χωρητικότητα δεν κρατιέται για κανέναν: όποιος κάνει πρώτος ανάπτυξη την παίρνει.
Πώς λειτουργεί η χρέωση σε αυτή τη βαθμίδα;
Όπως κάθε βαθμίδα του GPUwerk: ανά λεπτό, από προπληρωμένο υπόλοιπο πίστωσης, σε USD, χωρίς τους ισχύοντες φόρους, χωρίς χρεώσεις εξερχόμενης κίνησης και χωρίς δέσμευση.
Χρειάζεστε χρόνο GPU σήμερα;
Ένα DGX Spark έχει 128 GB ενοποιημένης μνήμης και είναι διαθέσιμο για ενοικίαση τώρα, με 0,79 $/ώρα και χρέωση ανά λεπτό. Πρώτη ανανέωση υπολοίπου: πληρώνετε 20 $, παίρνετε 30 $ σε πίστωση. Συγκρίνετέ το με την L40S, ή μπείτε στη λίστα αναμονής για RTX 6000 Ada.