GPU Cloud
L40S, αποκλειστική.
Ένα μηχάνημα με μία GPU L40S, 48 GB GDDR6 στην αρχιτεκτονική Ada Lovelace της NVIDIA, σε host x86. 0,99 $ την ώρα, με χρέωση ανά λεπτό, με τους ίδιους όρους που ισχύουν και για κάθε άλλη βαθμίδα του GPUwerk.
Νοικιάζεται με σειρά προτεραιότητας: αναπτύξτε μια L40S όταν υπάρχει ελεύθερη χωρητικότητα, ή μπείτε στη λίστα αναμονής της στην κονσόλα.
Προδιαγραφές
Ανά κόμβο. Κάθε instance του GPUwerk, σε οποιαδήποτε βαθμίδα, είναι ένα ολόκληρο μηχάνημα μόνο για εσάς.
| GPU | L40S, αρχιτεκτονική Ada Lovelace |
|---|---|
| Μνήμη | 48 GB GDDR6 |
| Οικοδεσπότης | Host x86 |
| Χρήση | Ένας πελάτης ανά μηχάνημα, ποτέ κοινόχρηστο |
Το GPUwerk δημοσιεύει tok/s και απόδοση εκπαίδευσης μόνο για εκτελέσεις στο δικό του υλικό. Δείτε τα benchmarks του στόλου DGX Spark για το πώς αναφέρονται.
Τι θα εκτελούσατε σε αυτό;
Τα 48 GB τοποθετούν την L40S ανάμεσα στα 32 GB της 5090 και στα 128 GB ενός Spark, με μνήμη ECC κατηγορίας κέντρου δεδομένων.
Inference μοντέλων μεσαίου μεγέθους
Μοντέλα έως περίπου 40B παραμέτρων σε FP8, ή ένα μοντέλο κατηγορίας 30B με χώρο για την KV cache.
Μικτά γραφικά και AI
RT cores και media engine δίπλα σε tensor cores FP8, για pipelines που κάνουν rendering και inference σε μία κάρτα.
Fine-tuning με LoRA
Εκπαίδευση adapters σε μοντέλα κατηγορίας 7B έως 13B, που χωρά στα 48 GB με περιθώριο.
Δεν ταιριάζει: εκπαίδευση με πολλές GPU
Δεν έχει NVLink, οπότε μια εργασία που χρειάζεται πολλές GPU να ανταλλάσσουν δεδομένα γρήγορα ανήκει σε server 8 GPU.
Τι χωρά στα 48 GB
Μόνο βάρη: μνήμη διαιρεμένη με byte ανά παράμετρο. Αφήστε περιθώριο για KV cache, activations και runtime, συχνά 10 έως 30% επιπλέον.
| Ακρίβεια | Ανά παράμετρο | Μεγαλύτερο μοντέλο, μόνο βάρη |
|---|---|---|
| FP16 / BF16 | 2 byte | περίπου 24B παράμετροι |
| FP8 | 1 byte | περίπου 48B παράμετροι |
| Quantized σε 4-bit | 0,5 byte | περίπου 96B παράμετροι (χωρίς εγγενές FP4 στην Ada· το runtime κάνει αποκβαντοποίηση) |
Χρέωση
| Τιμή | 0,99 $ την ώρα, με χρέωση ανά λεπτό |
|---|---|
| Χρέωση | Ανά λεπτό, από προπληρωμένο υπόλοιπο πίστωσης |
| Χρεώσεις | Χωρίς χρεώσεις εξερχόμενης κίνησης |
| Δέσμευση | Κανένα |
Οι τιμές είναι σε USD, χωρίς τους ισχύοντες φόρους. Όλος ο μηχανισμός χρέωσης, μαζί με το τι κάνει η διακοπή σε σχέση με τον τερματισμό, βρίσκεται στη σελίδα τιμών.
Συχνές ερωτήσεις
Μπορώ να νοικιάσω L40S τώρα;
Αναπτύξτε το από την κονσόλα όταν υπάρχει ελεύθερη χωρητικότητα· όσο δεν υπάρχει, η κονσόλα προσφέρει λίστα αναμονής και όσοι περιμένουν ειδοποιούνται με email ένας-ένας, με σειρά προτεραιότητας. Η χωρητικότητα δεν κρατιέται για κανέναν: όποιος κάνει πρώτος ανάπτυξη την παίρνει.
Πώς λειτουργεί η χρέωση σε αυτή τη βαθμίδα;
Όπως κάθε βαθμίδα του GPUwerk: ανά λεπτό, από προπληρωμένο υπόλοιπο πίστωσης, σε USD, χωρίς τους ισχύοντες φόρους, χωρίς χρεώσεις εξερχόμενης κίνησης και χωρίς δέσμευση.
Χρειάζεστε χρόνο GPU σήμερα;
Ένα DGX Spark έχει 128 GB ενοποιημένης μνήμης και είναι διαθέσιμο για ενοικίαση τώρα, με 0,79 $/ώρα και χρέωση ανά λεπτό. Πρώτη ανανέωση υπολοίπου: πληρώνετε 20 $, παίρνετε 30 $ σε πίστωση. Δείτε πώς συγκρίνεται ένα Spark με μια ξεχωριστή κάρτα, ή μπείτε στη λίστα αναμονής για L40S.