GPU Cloud

L4, αποκλειστική.

Μία GPU NVIDIA L4, 24 GB GDDR6 στην αρχιτεκτονική Ada Lovelace, σε host x86. 0,49 $ την ώρα, με χρέωση ανά λεπτό, με τους ίδιους όρους που ισχύουν και για κάθε άλλη βαθμίδα του GPUwerk.

Νοικιάζεται με σειρά προτεραιότητας: αναπτύξτε μια L4 όταν υπάρχει ελεύθερη χωρητικότητα, ή μπείτε στη λίστα αναμονής της στην κονσόλα.

Προδιαγραφές

Ανά GPU. Η GPU και η μνήμη της είναι μόνο δικές σας για την ενοικίαση.

NVIDIA L4
GPUL4, αρχιτεκτονική Ada Lovelace
Μνήμη24 GB GDDR6
Εύρος ζώνης μνήμης300 GB/s
Πυρήνες CUDA7.424
Μέγιστη ισχύςΈως 72 W
ΟικοδεσπότηςHost x86
ΧρήσηΗ GPU είναι μόνο δική σας όσο τη νοικιάζετε, ποτέ κοινόχρηστη

Στοιχεία GPU από το NVIDIA L4. Το GPUwerk δημοσιεύει tok/s και απόδοση εκπαίδευσης μόνο για εκτελέσεις στο δικό του υλικό. Δείτε τα benchmarks του στόλου DGX Spark για το πώς αναφέρονται.

Τι θα εκτελούσατε σε αυτό;

Μια κάρτα inference χαμηλής κατανάλωσης: 24 GB στα 72 W, για μοντέλα που χωράνε και κίνηση που δεν χρειάζεται H100.

Inference μικρών μοντέλων

Μοντέλα συνομιλίας ή completion έως περίπου 14B παραμέτρων σε FP8, και μοντέλα embedding ή reranking πίσω από ένα API, όπου τα 24 GB αρκούν.

Pipelines βίντεο και όρασης

Κωδικοποίηση και αποκωδικοποίηση βίντεο σε υλικό δίπλα στη GPU, για μετατροπή ή για μοντέλα όρασης που διαβάζουν καρέ βίντεο.

Ανάπτυξη χαμηλού κόστους

Δημιουργία και δοκιμή μιας στοίβας εξυπηρέτησης σε φθηνή GPU πριν μεταφερθεί σε μεγαλύτερη.

Δεν ταιριάζει: εκπαίδευση και μεγάλα fine-tunes

Τα 24 GB αφήνουν λίγο χώρο για gradients και κατάσταση optimizer, οπότε οτιδήποτε πέρα από ένα μικρό LoRA ανήκει σε H100 ή μεγαλύτερη.

Χρειάζεστε περισσότερη μνήμη; Δείτε την L40S (48 GB) ή την H100 (80 GB).

Τι χωρά στα 24 GB

Μόνο βάρη: μνήμη διαιρεμένη με byte ανά παράμετρο. Αφήστε περιθώριο για KV cache, activations και runtime, συχνά 10 έως 30% επιπλέον.

Μεγαλύτερο μοντέλο μόνο με βάση τα βάρη σε μία L4
ΑκρίβειαΑνά παράμετροΜεγαλύτερο μοντέλο, μόνο βάρη
FP16 / BF162 byteπερίπου 12B παράμετροι
FP81 byteπερίπου 24B παράμετροι
Quantized σε 4-bit0,5 byteπερίπου 48B παράμετροι (χωρίς εγγενές FP4 στην Ada· το runtime κάνει αποκβαντοποίηση)

Χρέωση

Τιμή0,49 $ την ώρα, με χρέωση ανά λεπτό
ΧρέωσηΑνά λεπτό, από προπληρωμένο υπόλοιπο πίστωσης
ΧρεώσειςΧωρίς χρεώσεις εξερχόμενης κίνησης
ΔέσμευσηΚανένα

Οι τιμές είναι σε USD, χωρίς τους ισχύοντες φόρους. Όλος ο μηχανισμός χρέωσης, μαζί με το τι κάνει η διακοπή σε σχέση με τον τερματισμό, βρίσκεται στη σελίδα τιμών.

Συχνές ερωτήσεις

Μπορώ να νοικιάσω L4 τώρα;

Αναπτύξτε το από την κονσόλα όταν υπάρχει ελεύθερη χωρητικότητα· όσο δεν υπάρχει, η κονσόλα προσφέρει λίστα αναμονής και όσοι περιμένουν ειδοποιούνται με email ένας-ένας, με σειρά προτεραιότητας. Η χωρητικότητα δεν κρατιέται για κανέναν: όποιος κάνει πρώτος ανάπτυξη την παίρνει.

Πώς λειτουργεί η χρέωση σε αυτή τη βαθμίδα;

Όπως κάθε βαθμίδα του GPUwerk: ανά λεπτό, από προπληρωμένο υπόλοιπο πίστωσης, σε USD, χωρίς τους ισχύοντες φόρους, χωρίς χρεώσεις εξερχόμενης κίνησης και χωρίς δέσμευση.

Χρειάζεστε χρόνο GPU σήμερα;

Ένα DGX Spark έχει 128 GB ενοποιημένης μνήμης και είναι διαθέσιμο για ενοικίαση τώρα, με 0,79 $/ώρα και χρέωση ανά λεπτό. Πρώτη ανανέωση υπολοίπου: πληρώνετε 20 $, παίρνετε 30 $ σε πίστωση. Ή αναπτύξτε μια L4.