GPU облак
H200, самостоятелен.
Един GPU NVIDIA H200, 141 GB HBM3e на архитектурата Hopper, на x86 хост. 3,49 $ на час, таксуване на минута, при същите условия като всяко друго ниво на GPUwerk.
Наема се по реда на заявките: стартирайте H200, когато има свободен капацитет, или се запишете в списъка му с чакащи в конзолата.
Спецификации
На GPU. GPU и неговата памет са само ваши за времето на наема.
| GPU | H200 SXM, архитектура Hopper |
|---|---|
| Памет | 141 GB HBM3e |
| Пропускателна способност на паметта | 4,8 TB/s |
| Макс. мощност | До 700 W |
| MIG | До 7 инстанции по 18 GB |
| Хост | x86 хост |
| Наемане | GPU е само ваш, докато го наемате, никога споделен |
Данните за GPU са от NVIDIA H200. GPUwerk публикува стойности за tok/s и производителност при обучение само за изпълнения на собствения си хардуер. Вижте бенчмарковете на парка от DGX Spark за това как се отчитат.
Какво бихте пуснали на него?
Изчислителната мощ на H100 с 76% повече памет: по-големи модели на един GPU и повече място за KV кеша.
Модели от класа 70B с дълъг контекст
Модел 70B при FP8 се побира, като остават около 70 GB за KV кеша, т.е. по-дълги промптове и повече едновременни заявки.
Модели до около 140B при FP8
Тегла, които изискват два H100, се побират на един H200.
Fine-tuning
Пълен fine-tuning и LoRA за модели, които не се побират в 80 GB.
Не е подходящ: нативен FP4
Hopper няма FP4; за 4-битов inference със скоростта на Blackwell наемете B200 или B300.
Трябват ви няколко GPU, свързани с NVLink? Вижте сървъра с 8× H200.
Какво се побира в 141 GB
Само тегла: паметта, разделена на байтовете на параметър. Оставете резерв за KV кеша, активациите и средата за изпълнение, често с 10 до 30% повече.
| Точност | На параметър | Най-голям модел, само тегла |
|---|---|---|
| FP16 / BF16 | 2 байта | около 70B параметъра |
| FP8 | 1 байт | около 141B параметъра |
| 4-битово квантизиран | 0,5 байта | около 282B параметъра (Hopper няма нативен FP4; runtime-ът деквантизира) |
Плащания
| Цена | 3,49 $ на час, таксуване на минута |
|---|---|
| Плащания | На минута, от предплатен кредитен баланс |
| Такси | Без такси за изходящ трафик |
| Обвързване | Няма |
Цените са в USD, без приложимите данъци. Пълната механика на таксуването, включително какво прави спирането спрямо прекратяването, е на страницата с цени.
ЧЗВ
Мога ли да наема H200 сега?
Стартирайте го от конзолата, когато има свободен капацитет; докато няма, конзолата предлага списък с чакащи и хората на опашката получават имейл един по един, като най-старите са първи. Капацитетът не се пази за никого: който стартира пръв, го получава.
Как работи таксуването при това ниво?
Същото като при всяко ниво на GPUwerk: на минута, от предплатен кредитен баланс, в USD, без приложимите данъци, без такси за изходящ трафик и без обвързване.
Трябва ви GPU време днес?
DGX Spark има 128 GB унифицирана памет и може да се наеме още сега за 0,79 $/час, таксуване на минута. Първо внасяне: платете 20 $, получете 30 $ кредит. Или стартирайте H200.