GPU-sky
L4, dedikert.
Én NVIDIA L4-GPU, 24 GB GDDR6 på Ada Lovelace-arkitekturen, på en x86-vert. 0 $,49 per time, fakturert per minutt, på samme vilkår som alle andre GPUwerk-nivåer.
Leies ut etter førstemann til mølla: deploy en L4 når kapasiteten er ledig, eller sett deg på ventelisten i konsollen.
Spesifikasjoner
Per GPU. GPU-en og minnet er bare ditt så lenge leien varer.
| GPU | L4, Ada Lovelace-arkitektur |
|---|---|
| Minne | 24 GB GDDR6 |
| Minnebåndbredde | 300 GB/s |
| CUDA-kjerner | 7 424 |
| Maks effekt | Opptil 72 W |
| Vert | x86-vert |
| Leieforhold | GPU-en er bare din mens du leier den, aldri delt |
GPU-tall fra NVIDIA L4. GPUwerk publiserer tall for tok/s og treningsgjennomstrømning bare for kjøringer på egen maskinvare. Se benchmarker fra DGX Spark-flåten for hvordan de rapporteres.
Hva ville du kjørt på den?
Et strømgjerrig inferenskort: 24 GB på 72 W, for modeller som får plass og trafikk som ikke trenger en H100.
Inferens med små modeller
Chat- eller completion-modeller opptil omtrent 14B parametere i FP8, og embedding- eller rerankingmodeller bak et API, der 24 GB er nok.
Video- og bildepipelines
Maskinvarebasert videokoding og -dekoding ved siden av GPU-en, for transkoding eller for bildemodeller som leser videobilder.
Rimelig utvikling
Bygge og teste en inferensstack på en billig GPU før den flyttes til en større.
Passer dårlig: trening og store finjusteringer
24 GB gir lite plass til gradienter og optimeringstilstand, så alt utover en liten LoRA hører hjemme på en H100 eller større.
Hva som får plass i 24 GB
Bare vekter: minnet delt på byte per parameter. Sett av margin til KV-cachen, aktiveringer og kjøretidsmiljøet, ofte 10 til 30 % mer.
| Presisjon | Per parameter | Største modell, bare vekter |
|---|---|---|
| FP16 / BF16 | 2 byte | omtrent 12B parametere |
| FP8 | 1 byte | omtrent 24B parametere |
| 4-bits kvantisert | 0,5 byte | omtrent 48B parametere (ingen innebygd FP4 på Ada; kjøretidsmiljøet dekvantiserer) |
Fakturering
| Pris | 0 $,49 per time, fakturert per minutt |
|---|---|
| Fakturering | Per minutt, mot en forhåndsbetalt kredittsaldo |
| Gebyrer | Ingen gebyrer for utgående trafikk |
| Binding | Ingen |
Prisene er i USD, eksklusive gjeldende avgifter. Hele faktureringsmekanikken, inkludert hva stopp og avslutning gjør, står på prissiden.
Spørsmål og svar
Kan jeg leie en L4 nå?
Deploy den fra konsollen når kapasiteten er ledig; mens det ikke er noe ledig, tilbyr konsollen en venteliste, og de som står i kø, får e-post én om gangen, eldste først. Kapasitet holdes ikke av for noen: den som deployer først, får den.
Hvordan fungerer faktureringen på dette nivået?
Det samme som alle GPUwerk-nivåer: per minutt, mot en forhåndsbetalt kredittsaldo, i USD, eksklusive gjeldende avgifter, uten gebyrer for utgående trafikk og uten binding.
Trenger du GPU-tid i dag?
En DGX Spark har 128 GB enhetlig minne og kan leies nå, for 0 $,79/time fakturert per minutt. Første påfylling: betal 20 $, få 30 $ i kreditt. Eller deploy en L4.