Oblak GPU
L40S, namenski.
Naprava z enim GPU L40S, 48 GB GDDR6 na arhitekturi NVIDIA Ada Lovelace, na gostitelju x86. 0,99 USD na uro, obračun po minutah, pod enakimi pogoji kot vsi drugi razredi GPUwerka.
Oddaja se po vrstnem redu prijav: zaženite L40S, ko je zmogljivost prosta, ali se v konzoli uvrstite na njegov čakalni seznam.
Specifikacije
Na vozlišče. Vsaka instanca GPUwerk v katerem koli razredu je cela naprava samo za vas.
| GPU | L40S, arhitektura Ada Lovelace |
|---|---|
| Pomnilnik | 48 GB GDDR6 |
| Gostitelj | Gostitelj x86 |
| Najem | Ena stranka na napravo, nikoli deljeno |
GPUwerk objavlja podatke o tok/s in prepustnosti učenja le za zagone na lastni strojni opremi. Kako so poročani, glejte med meritvami flote DGX Spark.
Kaj bi na njem poganjali?
48 GB postavlja L40S med 32 GB kartice 5090 in 128 GB Sparka, s pomnilnikom ECC razreda podatkovnih centrov.
Sklepanje s srednje velikimi modeli
Modeli do približno 40B parametrov pri FP8 ali model razreda 30B s prostorom za predpomnilnik KV.
Mešanica grafike in AI
Jedra RT in medijski pogon ob tenzorskih jedrih FP8, za cevovode, ki na eni kartici upodabljajo in sklepajo.
Fino nastavljanje z LoRA
Učenje adapterjev na modelih razreda od 7B do 13B, ki z rezervo gredo v 48 GB.
Slabo ustreza: učenje na več GPU
Nima NVLink, zato opravilo, ki potrebuje več GPU-jev s hitro izmenjavo podatkov, sodi na strežnik z 8 GPU-ji.
Kaj gre v 48 GB
Samo uteži: pomnilnik, deljen z bajti na parameter. Pustite rezervo za predpomnilnik KV, aktivacije in izvajalno okolje, pogosto 10 do 30 % več.
| Natančnost | Na parameter | Največji model, samo uteži |
|---|---|---|
| FP16 / BF16 | 2 bajta | približno 24B parametrov |
| FP8 | 1 bajt | približno 48B parametrov |
| 4-bitno kvantiziran | 0,5 bajta | približno 96B parametrov (Ada nima izvorne podpore FP4; izvajalno okolje dekvantizira) |
Obračun
| Cena | 0,99 USD na uro, obračun po minutah |
|---|---|
| Obračun | Po minutah, iz predplačniškega dobroimetja |
| Provizije | Brez stroškov odhodnega prometa |
| Zaveza | Brez |
Cene so v USD, brez veljavnih davkov. Celoten način obračuna, vključno s tem, kaj naredi ustavitev v primerjavi z odstranitvijo, je na strani s cenami.
Pogosta vprašanja
Ali lahko L40S najamem že zdaj?
Zaženite jo iz konzole, ko je zmogljivost prosta; dokler je ni, konzola ponudi čakalni seznam in ljudje v vrsti prejmejo e-pošto drug za drugim, najstarejši najprej. Zmogljivost ni rezervirana za nikogar: dobi jo tisti, ki jo prvi zažene.
Kako poteka obračun pri tem razredu?
Enako kot pri vsakem razredu GPUwerka: po minutah, iz predplačniškega dobroimetja, v USD, brez morebitnega davka, brez stroškov odhodnega prometa in brez zaveze.
Potrebujete GPU že danes?
DGX Spark ima 128 GB enotnega pomnilnika in ga lahko najamete takoj, za 0,79 USD/uro z obračunom po minutah. Prvo polnjenje: plačajte 20 USD, dobite 30 USD dobroimetja. Oglejte si, kako se Spark primerja z diskretno kartico, ali se pridružite čakalnemu seznamu za L40S.