GPU облак
H100 SXM, самостоятелен.
Един GPU NVIDIA H100 SXM, 80 GB HBM3 при 3,35 TB/s на архитектурата Hopper, на x86 хост. 2,69 $ на час, таксуване на минута, при същите условия като всяко друго ниво на GPUwerk.
Наема се по реда на заявките: стартирайте H100, когато има свободен капацитет, или се запишете в списъка му с чакащи в конзолата.
Спецификации
На възел. Всяка инстанция на GPUwerk, във всяко ниво, е една цяла машина само за вас.
| GPU | H100 SXM5, архитектура Hopper |
|---|---|
| Памет | 80 GB HBM3 |
| Пропускателна способност на паметта | 3,35 TB/s |
| CUDA ядра | 16 896 |
| Макс. мощност | До 700 W |
| MIG | До 7 инстанции по 10 GB |
| Хост | x86 хост |
| Наемане | Един клиент на машина, никога споделена |
Данните за GPU са от NVIDIA H100 и техническия документ за архитектурата на H100. GPUwerk публикува стойности за tok/s и производителност при обучение само за изпълнения на собствения си хардуер. Вижте бенчмарковете на парка от DGX Spark за това как се отчитат.
Какво бихте пуснали на него?
HBM3 при 3,35 TB/s, за производителност, а не за капацитет.
Обслужване с висока производителност
Пакетен inference за много едновременни потребители, където пропускателната способност на HBM определя токените в секунда.
Обучение и fine-tuning
Пълен fine-tuning и обучения на модели, които се побират в 80 GB, с FP8 на Transformer Engine.
Модели до около 70B при FP8
Теглата на модел 70B се побират, но остава малко памет за KV кеша.
Не е подходящ: нативен FP4 и най-големите модели
Hopper няма FP4, а модел, по-голям от около 70B при FP8, изисква H200, Blackwell GPU или няколко GPU.
Трябват ви няколко GPU, свързани с NVLink? Вижте сървъра с 8× H100.
Какво се побира в 80 GB
Само тегла: паметта, разделена на байтовете на параметър. Оставете резерв за KV кеша, активациите и средата за изпълнение, често с 10 до 30% повече.
| Точност | На параметър | Най-голям модел, само тегла |
|---|---|---|
| FP16 / BF16 | 2 байта | около 40B параметъра |
| FP8 | 1 байт | около 80B параметъра |
| 4-битово квантизиран | 0,5 байта | около 160B параметъра (Hopper няма нативен FP4; runtime-ът деквантизира) |
Плащания
| Цена | 2,69 $ на час, таксуване на минута |
|---|---|
| Плащания | На минута, от предплатен кредитен баланс |
| Такси | Без такси за изходящ трафик |
| Обвързване | Няма |
Цените са в USD, без приложимите данъци. Пълната механика на таксуването, включително какво прави спирането спрямо прекратяването, е на страницата с цени.
ЧЗВ
Мога ли да наема H100 сега?
Стартирайте го от конзолата, когато има свободен капацитет; докато няма, конзолата предлага списък с чакащи и хората на опашката получават имейл един по един, като най-старите са първи. Капацитетът не се пази за никого: който стартира пръв, го получава.
Как работи таксуването при това ниво?
Същото като при всяко ниво на GPUwerk: на минута, от предплатен кредитен баланс, в USD, без приложимите данъци, без такси за изходящ трафик и без обвързване.
Трябва ви GPU време днес?
DGX Spark има 128 GB унифицирана памет и може да се наеме още сега за 0,79 $/час, таксуване на минута. Първо внасяне: платете 20 $, получете 30 $ кредит. Вижте как се сравнява DGX Spark или се запишете в списъка с чакащи за H100.