GPU mākonis
RTX 6000 Ada, atsevišķs.
Vienas GPU NVIDIA RTX 6000 Ada Generation iekārta, 48 GB GDDR6 ar ECC un Ada Lovelace arhitektūru, x86 resursdatorā. 0,75 $ stundā, maksa par katru minūti, ar tādiem pašiem noteikumiem kā visiem citiem GPUwerk līmeņiem.
Tiek iznomāts rindas kārtībā: izvietojiet RTX 6000 Ada, kad ir brīva jauda, vai pievienojieties tā gaidīšanas sarakstam konsolē.
Specifikācijas
Uz mezglu. Katra GPUwerk instance jebkurā līmenī ir viena vesela iekārta tikai jums.
| GPU | RTX 6000 Ada Generation, Ada Lovelace arhitektūra |
|---|---|
| Atmiņa | 48 GB GDDR6 ar ECC |
| Atmiņas joslas platums | 960 GB/s |
| CUDA kodoli | 18 176 |
| Maks. jauda | 300 W |
| Mitināt | x86 resursdators |
| Nomas modelis | Viens klients vienā iekārtā, nekad netiek koplietota |
GPU skaitļi no NVIDIA RTX 6000 Ada. GPUwerk publicē tok/s un apmācības caurlaidspējas skaitļus tikai mērījumiem savā aparatūrā. Kā tie tiek ziņoti, skatiet DGX Spark flotes etalontestos.
Ko jūs tajā darbinātu?
48 GB ar ECC: tāda pati atmiņa kā L40S, darbstacijas klases kartē.
Vidēja izmēra modeļu inference
Modeļi līdz aptuveni 40B parametriem ar FP8 vai 30B klases modelis ar vietu KV kešatmiņai.
Renderēšana un grafika
RT kodoli un darbstacijas klases draiveris renderēšanai, simulācijai vai jauktiem grafikas un MI konveijeriem.
LoRA pielāgošana
Adapteru apmācība 7B līdz 13B klases modeļiem, kas ietilpst 48 GB ar rezervi.
Nav piemērots: apmācība ar vairākiem GPU
Tam nav NVLink, tāpēc uzdevums, kuram vajag vairākus GPU, kas ātri apmainās ar datiem, pieder 8 GPU serverim.
Kas ietilpst 48 GB
Tikai svari: atmiņa, dalīta ar baitiem uz parametru. Atstājiet rezervi KV kešatmiņai, aktivācijām un izpildvidei, bieži par 10 līdz 30% vairāk.
| Precizitāte | Uz parametru | Lielākais modelis, tikai svari |
|---|---|---|
| FP16 / BF16 | 2 baiti | aptuveni 24B parametri |
| FP8 | 1 baits | aptuveni 48B parametri |
| 4 bitu kvantēts | 0,5 baita | aptuveni 96B parametri (Ada nav vietējā FP4 atbalsta; izpildvide veic dekvantēšanu) |
Norēķini
| Likme | 0,75 $ stundā, maksa par katru minūti |
|---|---|
| Norēķini | Par katru minūti no priekšapmaksas kredīta atlikuma |
| Maksas | Bez maksas par izejošo datplūsmu |
| Saistības | Nav |
Cenas norādītas USD bez piemērojamiem nodokļiem. Pilns norēķinu mehānisms, ieskaitot to, ko dara apturēšana un ko izbeigšana, ir cenu lapā.
BUJ
Vai RTX 6000 Ada var nomāt jau tagad?
Izvietojiet to no konsoles, kad ir brīva jauda; kamēr tādas nav, konsole piedāvā gaidīšanas sarakstu, un rindā esošajiem tiek nosūtīts e-pasts pa vienam, sākot ar senākajiem. Jauda netiek nevienam turēta: to saņem tas, kurš izvieto pirmais.
Kā šajā līmenī darbojas norēķini?
Tāpat kā visos GPUwerk līmeņos: par katru minūti no priekšapmaksas kredīta atlikuma, USD, bez piemērojamiem nodokļiem, bez maksas par izejošo datplūsmu un bez saistībām.
Vajag GPU laiku šodien?
DGX Spark ir 128 GB vienotās atmiņas, un to var nomāt jau tagad par 0,79 $/stundā, maksa par katru minūti. Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā. Salīdziniet to ar L40S vai pievienojieties RTX 6000 Ada gaidīšanas sarakstam.