GPU mākonis
B200, tikai jums.
Viens NVIDIA B200 GPU, 180 GB HBM3e ar Blackwell arhitektūru, x86 resursdatorā. 5,49 $ stundā, maksa par katru minūti, ar tādiem pašiem noteikumiem kā visiem citiem GPUwerk līmeņiem.
Tiek iznomāts rindas kārtībā: izvietojiet B200, kad ir brīva jauda, vai pievienojieties tā gaidīšanas sarakstam konsolē.
Specifikācijas
Par GPU. Nomas laikā GPU un tā atmiņa pieder tikai jums.
| GPU | B200, Blackwell arhitektūra |
|---|---|
| Atmiņa | 180 GB HBM3e |
| Atmiņas joslas platums | 8 TB/s |
| Precizitāte | FP4 un FP8 ar otrās paaudzes Transformer Engine |
| Mitināt | x86 resursdators |
| Nomas modelis | Kamēr to nomājat, GPU pieder tikai jums, tas nekad netiek koplietots |
GPU skaitļi no NVIDIA DGX B200. GPUwerk publicē tok/s un apmācības caurlaidspējas skaitļus tikai mērījumiem savā aparatūrā. Kā tie tiek ziņoti, skatiet DGX Spark flotes etalontestos.
Ko jūs tajā darbinātu?
Blackwell ar 180 GB uz GPU un FP4 atbalstu: solis uz augšu no Hopper apmācībai un lielu modeļu inferencei.
FP4 un FP8 inference
Vietējais FP4 ietilpina modeli līdz aptuveni 360B parametriem, ņemot vērā tikai svarus; FP8 līdz aptuveni 180B.
Apmācība un pielāgošana
Izpildes, kurām vajag vairāk atmiņas un joslas platuma uz GPU, nekā piedāvā Hopper.
Viens GPU divu vietā
Modeļi, kas citādi būtu jāsadala starp diviem H100 vai H200.
Nav piemērots: mazi modeļi
Modelis, kas ietilpst 24 vai 48 GB, darbojas L4 vai L40S par daļu no stundas likmes.
Vajag visus astoņus viena servera GPU? Skatiet 8× B200 serveri.
Kas ietilpst 180 GB
Tikai svari: atmiņa, dalīta ar baitiem uz parametru. Atstājiet rezervi KV kešatmiņai, aktivācijām un izpildvidei, bieži par 10 līdz 30% vairāk.
| Precizitāte | Uz parametru | Lielākais modelis, tikai svari |
|---|---|---|
| FP16 / BF16 | 2 baiti | aptuveni 90B parametri |
| FP8 | 1 baits | aptuveni 180B parametri |
| FP4 (aparatūras atbalsts Blackwell) | 0,5 baita | aptuveni 360B parametri |
Norēķini
| Likme | 5,49 $ stundā, maksa par katru minūti |
|---|---|
| Norēķini | Par katru minūti no priekšapmaksas kredīta atlikuma |
| Maksas | Bez maksas par izejošo datplūsmu |
| Saistības | Nav |
Cenas norādītas USD bez piemērojamiem nodokļiem. Pilns norēķinu mehānisms, ieskaitot to, ko dara apturēšana un ko izbeigšana, ir cenu lapā.
BUJ
Vai B200 var nomāt jau tagad?
Izvietojiet to no konsoles, kad ir brīva jauda; kamēr tādas nav, konsole piedāvā gaidīšanas sarakstu, un rindā esošajiem tiek nosūtīts e-pasts pa vienam, sākot ar senākajiem. Jauda netiek nevienam turēta: to saņem tas, kurš izvieto pirmais.
Kā šajā līmenī darbojas norēķini?
Tāpat kā visos GPUwerk līmeņos: par katru minūti no priekšapmaksas kredīta atlikuma, USD, bez piemērojamiem nodokļiem, bez maksas par izejošo datplūsmu un bez saistībām.
Vajag GPU laiku šodien?
DGX Spark ir 128 GB vienotās atmiņas, un to var nomāt jau tagad par 0,79 $/stundā, maksa par katru minūti. Pirmā papildināšana: samaksājiet 20 $, saņemiet 30 $ kredītā. Vai izvietojiet B200.