GPU-cloud
L4, dedikeret.
En enkelt NVIDIA L4-GPU, 24 GB GDDR6 på Ada Lovelace-arkitekturen, på en x86-host. 0 $,49 i timen, faktureret pr. minut, på samme vilkår som alle andre GPUwerk-niveauer.
Udlejes efter først-til-mølle: udrul en L4, når der er ledig kapacitet, eller skriv dig på ventelisten i konsollen.
Specifikationer
Pr. GPU. GPU'en og dens hukommelse er kun dine under lejen.
| GPU | L4, Ada Lovelace-arkitektur |
|---|---|
| Hukommelse | 24 GB GDDR6 |
| Hukommelsesbåndbredde | 300 GB/s |
| CUDA-kerner | 7.424 |
| Maks. effekt | Op til 72 W |
| Host | x86-vært |
| Lejemodel | GPU'en er kun din, mens du lejer den, aldrig delt |
GPU-tal fra NVIDIA L4. GPUwerk offentliggør kun tal for tok/s og træningsgennemløb fra kørsler på egen hardware. Se benchmarks for DGX Spark-flåden for, hvordan de rapporteres.
Hvad ville du køre på den?
Et inferenskort med lavt strømforbrug: 24 GB ved 72 W til modeller, der passer, og trafik, der ikke kræver en H100.
Inferens med små modeller
Chat- eller completion-modeller op til cirka 14B parametre ved FP8 og embedding- eller reranking-modeller bag en API, hvor 24 GB er nok.
Video- og visionspipelines
Hardwarebaseret videokodning og -afkodning ved siden af GPU'en, til transkodning eller til visionsmodeller, der læser videobilleder.
Billig udvikling
Opbygning og test af en serving-stack på en billig GPU, før den flyttes til en større.
Passer dårligt: træning og store finjusteringer
24 GB giver ikke meget plads til gradienter og optimizer-tilstand, så alt ud over en lille LoRA hører hjemme på en H100 eller større.
Brug for mere hukommelse? Se L40S (48 GB) eller H100 (80 GB).
Hvad passer i 24 GB
Kun vægte: hukommelse divideret med byte pr. parameter. Afsæt plads til KV-cachen, aktiveringer og runtime, ofte 10 til 30 % mere.
| Præcision | Pr. parameter | Største model, kun vægte |
|---|---|---|
| FP16 / BF16 | 2 byte | cirka 12B parametre |
| FP8 | 1 byte | cirka 24B parametre |
| 4-bit kvantiseret | 0,5 byte | cirka 48B parametre (ingen indbygget FP4 på Ada; runtime dekvantiserer) |
Fakturering
| Pris | 0 $,49 i timen, faktureret pr. minut |
|---|---|
| Fakturering | Pr. minut fra en forudbetalt kreditsaldo |
| Gebyrer | Ingen gebyrer for udgående trafik |
| Binding | Ingen |
Priserne er i USD, ekskl. gældende skat. Hele faktureringsmekanikken, inklusive hvad et stop og en afslutning gør, står på prissiden.
FAQ
Kan jeg leje en L4 nu?
Udrul den fra konsollen, når der er ledig kapacitet; når der ikke er, tilbyder konsollen en venteliste, og folk i køen får en e-mail én ad gangen, ældste først. Kapacitet holdes ikke til nogen: den, der udruller først, får den.
Hvordan fungerer faktureringen på dette niveau?
Det samme som alle GPUwerk-niveauer: pr. minut fra en forudbetalt kreditsaldo i USD, ekskl. gældende skat, uden gebyrer for udgående trafik og uden binding.
Brug for GPU-tid i dag?
En DGX Spark har 128 GB unified memory og kan lejes nu til 0 $,79/time, faktureret pr. minut. Første optankning: betal 20 $, få 30 $ i kredit. Eller udrul en L4.