Néal GPU
H100 SXM, tiomnaithe.
GPU aonair NVIDIA H100 SXM, 80 GB de HBM3 ag 3.35 TB/s ar ailtireacht Hopper, ar óstríomhaire x86. $2.69 san uair, billeáilte in aghaidh an nóiméid, na téarmaí céanna le gach sraith eile de chuid GPUwerk.
Ar cíos de réir ord teachta: imscar H100 nuair atá cumas saor, nó téigh ar a liosta feithimh sa chonsól.
Sonraíochtaí
In aghaidh an nóid. Is meaisín iomlán duit féin é gach ásc GPUwerk, ar aon sraith.
| GPU | H100 SXM5, ailtireacht Hopper |
|---|---|
| Cuimhne | 80 GB HBM3 |
| Bandaleithead cuimhne | 3.35 TB/s |
| Croíthe CUDA | 16,896 |
| Uaschumhacht | Suas le 700 W |
| MIG | Suas le 7 ásc de 10 GB |
| Óstach | Óstach x86 |
| Tionóntacht | Custaiméir amháin in aghaidh an mheaisín, gan roinnt riamh |
Figiúirí GPU ó NVIDIA H100 agus ó pháipéar bán ailtireachta an H100. Ní fhoilsíonn GPUwerk figiúirí tok/s ná tréchuir traenála ach do rití ar a chrua-earraí féin. Féach tagarmharcanna flít DGX Spark le haghaidh conas a thuairiscítear iad.
Cad a rithfeá air?
HBM3 ag 3.35 TB/s, do thréchur seachas do chumas.
Freastal ardtréchuir
Tátal i mbaisceanna do go leor úsáideoirí comhuaineacha, áit a shocraíonn bandaleithead HBM na tokens sa soicind.
Traenáil agus mínchoigeartú
Mínchoigeartuithe iomlána agus rití traenála ar shamhlacha a oireann i 80 GB, le FP8 ar an Transformer Engine.
Samhlacha suas go dtí thart ar 70B ag FP8
Oireann meáchain samhla 70B, cé gur beag cuimhne a fhágtar don taisce KV.
Drochoiriúint: FP4 dúchasach agus na samhlacha is mó
Níl FP4 ag Hopper, agus tá H200, GPU Blackwell nó roinnt GPUanna de dhíth ar shamhail atá níos mó ná thart ar 70B ag FP8.
Roinnt GPUanna nasctha le NVLink de dhíth ort? Féach an freastalaí 8× H100.
Cad a oireann i 80 GB
Meáchain amháin: an chuimhne roinnte ar na bearta in aghaidh an pharaiméadair. Fág spás don taisce KV, do na gníomhachtuithe agus don am rite, 10 go 30% níos mó go minic.
| Beachtas | In aghaidh an pharaiméadair | An tsamhail is mó, meáchain amháin |
|---|---|---|
| FP16 / BF16 | 2 bheart | timpeall 40B paraiméadar |
| FP8 | 1 bheart | timpeall 80B paraiméadar |
| Cainníochtaithe 4-ghiotán | 0.5 beart | timpeall 160B paraiméadar (gan FP4 dúchasach ar Hopper; díchainníochtaíonn an t-am rite) |
Billeáil
| Ráta | $2.69 san uair, billeáilte in aghaidh an nóiméid |
|---|---|
| Billeáil | In aghaidh an nóiméid, as iarmhéid creidmheasa réamhíoctha |
| Táillí | Gan táillí imsreafa |
| Tiomantas | Dada |
Tá na praghsanna in USD, gan cháin iomchuí. Tá meicnic iomlán na billeála, lena n-áirítear a ndéanann stad i gcomparáid le foirceannadh, ar an leathanach praghsála.
CCanna
An féidir liom H100 a fháil ar cíos anois?
Imscar ón gconsól é nuair atá cumas saor; fad nach bhfuil, cuireann an consól liosta feithimh ar fáil agus seoltar ríomhphost chuig daoine sa scuaine duine ar dhuine, an té is faide ar an liosta ar dtús. Ní choinnítear cumas d'aon duine: faigheann an chéad duine a imscarann é.
Conas a oibríonn an bhilleáil ar an tsraith seo?
Mar an gcéanna le gach sraith GPUwerk: in aghaidh an nóiméid, as iarmhéid creidmheasa réamhíoctha, in USD, gan cháin iomchuí, gan táillí imsreafa agus gan ghealltanas.
Am GPU de dhíth ort inniu?
Tá 128 GB de chuimhne aontaithe ag DGX Spark agus is féidir é a fháil ar cíos anois, ar $0.79/uair billeáilte in aghaidh an nóiméid. An chéad bhreisiú: íoc $20, faigh $30 de chreidmheas. Féach conas a chuirtear DGX Spark i gcomparáid, nó téigh ar liosta feithimh an H100.