GPU облак

H100 SXM, самостоятелен.

Един GPU NVIDIA H100 SXM, 80 GB HBM3 при 3,35 TB/s на архитектурата Hopper, на x86 хост. 2,69 $ на час, таксуване на минута, при същите условия като всяко друго ниво на GPUwerk.

Наема се по реда на заявките: стартирайте H100, когато има свободен капацитет, или се запишете в списъка му с чакащи в конзолата.

Спецификации

На възел. Всяка инстанция на GPUwerk, във всяко ниво, е една цяла машина само за вас.

NVIDIA H100 SXM
GPUH100 SXM5, архитектура Hopper
Памет80 GB HBM3
Пропускателна способност на паметта3,35 TB/s
CUDA ядра16 896
Макс. мощностДо 700 W
MIGДо 7 инстанции по 10 GB
Хостx86 хост
НаеманеЕдин клиент на машина, никога споделена

Данните за GPU са от NVIDIA H100 и техническия документ за архитектурата на H100. GPUwerk публикува стойности за tok/s и производителност при обучение само за изпълнения на собствения си хардуер. Вижте бенчмарковете на парка от DGX Spark за това как се отчитат.

Какво бихте пуснали на него?

HBM3 при 3,35 TB/s, за производителност, а не за капацитет.

Обслужване с висока производителност

Пакетен inference за много едновременни потребители, където пропускателната способност на HBM определя токените в секунда.

Обучение и fine-tuning

Пълен fine-tuning и обучения на модели, които се побират в 80 GB, с FP8 на Transformer Engine.

Модели до около 70B при FP8

Теглата на модел 70B се побират, но остава малко памет за KV кеша.

Не е подходящ: нативен FP4 и най-големите модели

Hopper няма FP4, а модел, по-голям от около 70B при FP8, изисква H200, Blackwell GPU или няколко GPU.

Трябват ви няколко GPU, свързани с NVLink? Вижте сървъра с 8× H100.

Какво се побира в 80 GB

Само тегла: паметта, разделена на байтовете на параметър. Оставете резерв за KV кеша, активациите и средата за изпълнение, често с 10 до 30% повече.

Най-големият модел само по тегла на един H100
ТочностНа параметърНай-голям модел, само тегла
FP16 / BF162 байтаоколо 40B параметъра
FP81 байтоколо 80B параметъра
4-битово квантизиран0,5 байтаоколо 160B параметъра (Hopper няма нативен FP4; runtime-ът деквантизира)

Плащания

Цена2,69 $ на час, таксуване на минута
ПлащанияНа минута, от предплатен кредитен баланс
ТаксиБез такси за изходящ трафик
ОбвързванеНяма

Цените са в USD, без приложимите данъци. Пълната механика на таксуването, включително какво прави спирането спрямо прекратяването, е на страницата с цени.

ЧЗВ

Мога ли да наема H100 сега?

Стартирайте го от конзолата, когато има свободен капацитет; докато няма, конзолата предлага списък с чакащи и хората на опашката получават имейл един по един, като най-старите са първи. Капацитетът не се пази за никого: който стартира пръв, го получава.

Как работи таксуването при това ниво?

Същото като при всяко ниво на GPUwerk: на минута, от предплатен кредитен баланс, в USD, без приложимите данъци, без такси за изходящ трафик и без обвързване.

Трябва ви GPU време днес?

DGX Spark има 128 GB унифицирана памет и може да се наеме още сега за 0,79 $/час, таксуване на минута. Първо внасяне: платете 20 $, получете 30 $ кредит. Вижте как се сравнява DGX Spark или се запишете в списъка с чакащи за H100.