GPU облак

H200, самостоятелен.

Един GPU NVIDIA H200, 141 GB HBM3e на архитектурата Hopper, на x86 хост. 3,49 $ на час, таксуване на минута, при същите условия като всяко друго ниво на GPUwerk.

Наема се по реда на заявките: стартирайте H200, когато има свободен капацитет, или се запишете в списъка му с чакащи в конзолата.

Спецификации

На GPU. GPU и неговата памет са само ваши за времето на наема.

NVIDIA H200
GPUH200 SXM, архитектура Hopper
Памет141 GB HBM3e
Пропускателна способност на паметта4,8 TB/s
Макс. мощностДо 700 W
MIGДо 7 инстанции по 18 GB
Хостx86 хост
НаеманеGPU е само ваш, докато го наемате, никога споделен

Данните за GPU са от NVIDIA H200. GPUwerk публикува стойности за tok/s и производителност при обучение само за изпълнения на собствения си хардуер. Вижте бенчмарковете на парка от DGX Spark за това как се отчитат.

Какво бихте пуснали на него?

Изчислителната мощ на H100 с 76% повече памет: по-големи модели на един GPU и повече място за KV кеша.

Модели от класа 70B с дълъг контекст

Модел 70B при FP8 се побира, като остават около 70 GB за KV кеша, т.е. по-дълги промптове и повече едновременни заявки.

Модели до около 140B при FP8

Тегла, които изискват два H100, се побират на един H200.

Fine-tuning

Пълен fine-tuning и LoRA за модели, които не се побират в 80 GB.

Не е подходящ: нативен FP4

Hopper няма FP4; за 4-битов inference със скоростта на Blackwell наемете B200 или B300.

Трябват ви няколко GPU, свързани с NVLink? Вижте сървъра с 8× H200.

Какво се побира в 141 GB

Само тегла: паметта, разделена на байтовете на параметър. Оставете резерв за KV кеша, активациите и средата за изпълнение, често с 10 до 30% повече.

Най-големият модел само по тегла на един H200
ТочностНа параметърНай-голям модел, само тегла
FP16 / BF162 байтаоколо 70B параметъра
FP81 байтоколо 141B параметъра
4-битово квантизиран0,5 байтаоколо 282B параметъра (Hopper няма нативен FP4; runtime-ът деквантизира)

Плащания

Цена3,49 $ на час, таксуване на минута
ПлащанияНа минута, от предплатен кредитен баланс
ТаксиБез такси за изходящ трафик
ОбвързванеНяма

Цените са в USD, без приложимите данъци. Пълната механика на таксуването, включително какво прави спирането спрямо прекратяването, е на страницата с цени.

ЧЗВ

Мога ли да наема H200 сега?

Стартирайте го от конзолата, когато има свободен капацитет; докато няма, конзолата предлага списък с чакащи и хората на опашката получават имейл един по един, като най-старите са първи. Капацитетът не се пази за никого: който стартира пръв, го получава.

Как работи таксуването при това ниво?

Същото като при всяко ниво на GPUwerk: на минута, от предплатен кредитен баланс, в USD, без приложимите данъци, без такси за изходящ трафик и без обвързване.

Трябва ви GPU време днес?

DGX Spark има 128 GB унифицирана памет и може да се наеме още сега за 0,79 $/час, таксуване на минута. Първо внасяне: платете 20 $, получете 30 $ кредит. Или стартирайте H200.