GPU Cloud
L4, αποκλειστική.
Μία GPU NVIDIA L4, 24 GB GDDR6 στην αρχιτεκτονική Ada Lovelace, σε host x86. 0,49 $ την ώρα, με χρέωση ανά λεπτό, με τους ίδιους όρους που ισχύουν και για κάθε άλλη βαθμίδα του GPUwerk.
Νοικιάζεται με σειρά προτεραιότητας: αναπτύξτε μια L4 όταν υπάρχει ελεύθερη χωρητικότητα, ή μπείτε στη λίστα αναμονής της στην κονσόλα.
Προδιαγραφές
Ανά GPU. Η GPU και η μνήμη της είναι μόνο δικές σας για την ενοικίαση.
| GPU | L4, αρχιτεκτονική Ada Lovelace |
|---|---|
| Μνήμη | 24 GB GDDR6 |
| Εύρος ζώνης μνήμης | 300 GB/s |
| Πυρήνες CUDA | 7.424 |
| Μέγιστη ισχύς | Έως 72 W |
| Οικοδεσπότης | Host x86 |
| Χρήση | Η GPU είναι μόνο δική σας όσο τη νοικιάζετε, ποτέ κοινόχρηστη |
Στοιχεία GPU από το NVIDIA L4. Το GPUwerk δημοσιεύει tok/s και απόδοση εκπαίδευσης μόνο για εκτελέσεις στο δικό του υλικό. Δείτε τα benchmarks του στόλου DGX Spark για το πώς αναφέρονται.
Τι θα εκτελούσατε σε αυτό;
Μια κάρτα inference χαμηλής κατανάλωσης: 24 GB στα 72 W, για μοντέλα που χωράνε και κίνηση που δεν χρειάζεται H100.
Inference μικρών μοντέλων
Μοντέλα συνομιλίας ή completion έως περίπου 14B παραμέτρων σε FP8, και μοντέλα embedding ή reranking πίσω από ένα API, όπου τα 24 GB αρκούν.
Pipelines βίντεο και όρασης
Κωδικοποίηση και αποκωδικοποίηση βίντεο σε υλικό δίπλα στη GPU, για μετατροπή ή για μοντέλα όρασης που διαβάζουν καρέ βίντεο.
Ανάπτυξη χαμηλού κόστους
Δημιουργία και δοκιμή μιας στοίβας εξυπηρέτησης σε φθηνή GPU πριν μεταφερθεί σε μεγαλύτερη.
Δεν ταιριάζει: εκπαίδευση και μεγάλα fine-tunes
Τα 24 GB αφήνουν λίγο χώρο για gradients και κατάσταση optimizer, οπότε οτιδήποτε πέρα από ένα μικρό LoRA ανήκει σε H100 ή μεγαλύτερη.
Χρειάζεστε περισσότερη μνήμη; Δείτε την L40S (48 GB) ή την H100 (80 GB).
Τι χωρά στα 24 GB
Μόνο βάρη: μνήμη διαιρεμένη με byte ανά παράμετρο. Αφήστε περιθώριο για KV cache, activations και runtime, συχνά 10 έως 30% επιπλέον.
| Ακρίβεια | Ανά παράμετρο | Μεγαλύτερο μοντέλο, μόνο βάρη |
|---|---|---|
| FP16 / BF16 | 2 byte | περίπου 12B παράμετροι |
| FP8 | 1 byte | περίπου 24B παράμετροι |
| Quantized σε 4-bit | 0,5 byte | περίπου 48B παράμετροι (χωρίς εγγενές FP4 στην Ada· το runtime κάνει αποκβαντοποίηση) |
Χρέωση
| Τιμή | 0,49 $ την ώρα, με χρέωση ανά λεπτό |
|---|---|
| Χρέωση | Ανά λεπτό, από προπληρωμένο υπόλοιπο πίστωσης |
| Χρεώσεις | Χωρίς χρεώσεις εξερχόμενης κίνησης |
| Δέσμευση | Κανένα |
Οι τιμές είναι σε USD, χωρίς τους ισχύοντες φόρους. Όλος ο μηχανισμός χρέωσης, μαζί με το τι κάνει η διακοπή σε σχέση με τον τερματισμό, βρίσκεται στη σελίδα τιμών.
Συχνές ερωτήσεις
Μπορώ να νοικιάσω L4 τώρα;
Αναπτύξτε το από την κονσόλα όταν υπάρχει ελεύθερη χωρητικότητα· όσο δεν υπάρχει, η κονσόλα προσφέρει λίστα αναμονής και όσοι περιμένουν ειδοποιούνται με email ένας-ένας, με σειρά προτεραιότητας. Η χωρητικότητα δεν κρατιέται για κανέναν: όποιος κάνει πρώτος ανάπτυξη την παίρνει.
Πώς λειτουργεί η χρέωση σε αυτή τη βαθμίδα;
Όπως κάθε βαθμίδα του GPUwerk: ανά λεπτό, από προπληρωμένο υπόλοιπο πίστωσης, σε USD, χωρίς τους ισχύοντες φόρους, χωρίς χρεώσεις εξερχόμενης κίνησης και χωρίς δέσμευση.
Χρειάζεστε χρόνο GPU σήμερα;
Ένα DGX Spark έχει 128 GB ενοποιημένης μνήμης και είναι διαθέσιμο για ενοικίαση τώρα, με 0,79 $/ώρα και χρέωση ανά λεπτό. Πρώτη ανανέωση υπολοίπου: πληρώνετε 20 $, παίρνετε 30 $ σε πίστωση. Ή αναπτύξτε μια L4.