GPU Cloud

L40S, αποκλειστική.

Ένα μηχάνημα με μία GPU L40S, 48 GB GDDR6 στην αρχιτεκτονική Ada Lovelace της NVIDIA, σε host x86. 0,99 $ την ώρα, με χρέωση ανά λεπτό, με τους ίδιους όρους που ισχύουν και για κάθε άλλη βαθμίδα του GPUwerk.

Νοικιάζεται με σειρά προτεραιότητας: αναπτύξτε μια L40S όταν υπάρχει ελεύθερη χωρητικότητα, ή μπείτε στη λίστα αναμονής της στην κονσόλα.

Προδιαγραφές

Ανά κόμβο. Κάθε instance του GPUwerk, σε οποιαδήποτε βαθμίδα, είναι ένα ολόκληρο μηχάνημα μόνο για εσάς.

NVIDIA L40S
GPUL40S, αρχιτεκτονική Ada Lovelace
Μνήμη48 GB GDDR6
ΟικοδεσπότηςHost x86
ΧρήσηΈνας πελάτης ανά μηχάνημα, ποτέ κοινόχρηστο

Το GPUwerk δημοσιεύει tok/s και απόδοση εκπαίδευσης μόνο για εκτελέσεις στο δικό του υλικό. Δείτε τα benchmarks του στόλου DGX Spark για το πώς αναφέρονται.

Τι θα εκτελούσατε σε αυτό;

Τα 48 GB τοποθετούν την L40S ανάμεσα στα 32 GB της 5090 και στα 128 GB ενός Spark, με μνήμη ECC κατηγορίας κέντρου δεδομένων.

Inference μοντέλων μεσαίου μεγέθους

Μοντέλα έως περίπου 40B παραμέτρων σε FP8, ή ένα μοντέλο κατηγορίας 30B με χώρο για την KV cache.

Μικτά γραφικά και AI

RT cores και media engine δίπλα σε tensor cores FP8, για pipelines που κάνουν rendering και inference σε μία κάρτα.

Fine-tuning με LoRA

Εκπαίδευση adapters σε μοντέλα κατηγορίας 7B έως 13B, που χωρά στα 48 GB με περιθώριο.

Δεν ταιριάζει: εκπαίδευση με πολλές GPU

Δεν έχει NVLink, οπότε μια εργασία που χρειάζεται πολλές GPU να ανταλλάσσουν δεδομένα γρήγορα ανήκει σε server 8 GPU.

Τι χωρά στα 48 GB

Μόνο βάρη: μνήμη διαιρεμένη με byte ανά παράμετρο. Αφήστε περιθώριο για KV cache, activations και runtime, συχνά 10 έως 30% επιπλέον.

Μεγαλύτερο μοντέλο μόνο με βάση τα βάρη σε μία L40S
ΑκρίβειαΑνά παράμετροΜεγαλύτερο μοντέλο, μόνο βάρη
FP16 / BF162 byteπερίπου 24B παράμετροι
FP81 byteπερίπου 48B παράμετροι
Quantized σε 4-bit0,5 byteπερίπου 96B παράμετροι (χωρίς εγγενές FP4 στην Ada· το runtime κάνει αποκβαντοποίηση)

Χρέωση

Τιμή0,99 $ την ώρα, με χρέωση ανά λεπτό
ΧρέωσηΑνά λεπτό, από προπληρωμένο υπόλοιπο πίστωσης
ΧρεώσειςΧωρίς χρεώσεις εξερχόμενης κίνησης
ΔέσμευσηΚανένα

Οι τιμές είναι σε USD, χωρίς τους ισχύοντες φόρους. Όλος ο μηχανισμός χρέωσης, μαζί με το τι κάνει η διακοπή σε σχέση με τον τερματισμό, βρίσκεται στη σελίδα τιμών.

Συχνές ερωτήσεις

Μπορώ να νοικιάσω L40S τώρα;

Αναπτύξτε το από την κονσόλα όταν υπάρχει ελεύθερη χωρητικότητα· όσο δεν υπάρχει, η κονσόλα προσφέρει λίστα αναμονής και όσοι περιμένουν ειδοποιούνται με email ένας-ένας, με σειρά προτεραιότητας. Η χωρητικότητα δεν κρατιέται για κανέναν: όποιος κάνει πρώτος ανάπτυξη την παίρνει.

Πώς λειτουργεί η χρέωση σε αυτή τη βαθμίδα;

Όπως κάθε βαθμίδα του GPUwerk: ανά λεπτό, από προπληρωμένο υπόλοιπο πίστωσης, σε USD, χωρίς τους ισχύοντες φόρους, χωρίς χρεώσεις εξερχόμενης κίνησης και χωρίς δέσμευση.

Χρειάζεστε χρόνο GPU σήμερα;

Ένα DGX Spark έχει 128 GB ενοποιημένης μνήμης και είναι διαθέσιμο για ενοικίαση τώρα, με 0,79 $/ώρα και χρέωση ανά λεπτό. Πρώτη ανανέωση υπολοίπου: πληρώνετε 20 $, παίρνετε 30 $ σε πίστωση. Δείτε πώς συγκρίνεται ένα Spark με μια ξεχωριστή κάρτα, ή μπείτε στη λίστα αναμονής για L40S.