Частен хостинг на LLM в EU-Central
Вашите модели. Вашите данни. Един клиент: вие.
Частен хостинг на LLM върху цели машини само за вас в EU-Central. Данните ви се обработват в ЕС, никога не се използват за обучение и никой друг клиент не достига до вашия GPU.
0,79 $/час, таксуване на минута · платете 20 $, получете 30 $ кредит при първото внасяне
Накратко.
Един клиент на машина
Цяла машина само за вас, предоставена на вас. Без споделени GPU.
Подизпълнители за натоварванията
В собствените нива на GPUwerk. Списъкът с подизпълнители е кратък: за натоварванията на инстанции там няма такива; партньорското ниво работи на партньорски хост.
Споразумение за обработване на данни по GDPR
Публикуван на /legal/dpa, безплатно.
Трите страха
Трите страха, с отговори.
Всяка компания, с която говоря, идва със същите три притеснения. Ето как точно се решава всяко от тях.
„Данните ни напускат ЕС“
Не. Хардуерът физически е в EU-Central и се управлява от PRINT IT! SE, Societas Europaea, регистрирано в Прага. Няма американска компания майка и в собствените нива на GPUwerk няма американски регион зад тази машина. Малкото услуги, които GPUwerk използва около нея, като транзакционни имейли, са посочени с доставчиците и държавите си в списъка с подизпълнители. Местоположението на данните не е отметка в панел с настройки, а мястото, където машината е закрепена в сървърния шкаф.
„Доставчикът обучава модели с данните ни“
GPUwerk управлява инфраструктура, а не модели: промптовете и документите ви се обработват на вашата самостоятелна машина, от софтуер, който сте инсталирали, достъпен само чрез вашите SSH ключове и терминала в браузъра на конзолата ви. Както при всяка хоствана услуга, GPUwerk запазва администраторски достъп до инфраструктурата на машината, но като политика, заложена в споразумението за обработване на данни на GPUwerk, GPUwerk няма достъп до съдържанието на работното ви пространство, освен по ваше искане за поддръжка или когато го изисква законово задължение, така че няма върху какво да се обучава — и това е записано в договора. Единственото обучение, което се случва, е вашето, върху вашите собствени данни.
„Служителите поставят тайни в ChatGPT“
Блокирането го прехвърля на личните телефони. Решението е одобрена алтернатива, която е също толкова удобна: асистент от класа на ChatGPT на ваша собствена инстанция, същият чат интерфейс, същият API, а всеки промпт остава на самостоятелна машина, предоставена само на вас. Вижте настройката за частен ChatGPT →
За вашия DPO
Написано, за да го препрати вашият DPO.
Картината на съответствието в една таблица, на ясен език, без маркетинг.
| Въпрос | Отговор |
|---|---|
| Къде физически се обработват данните? | EU-Central, на машина само за един клиент, предоставена на вас |
| Кой е операторът? | PRINT IT! SE, Societas Europaea, регистрирано в Прага, Чехия (ЕИК 069 60 090). Без компания майка извън ЕС. |
| Кой има достъп до съдържанието на инстанцията? | Чрез самата инстанция — само притежателите на вашите SSH ключове и вие чрез терминала в браузъра в конзолата на GPUwerk; входът с парола е изключен в целия парк. GPUwerk запазва администраторски достъп до инфраструктурата на машината, както при всяка хоствана услуга, и съгласно DPA не го използва върху съдържанието ви, освен по ваше искане за поддръжка или когато го изисква законово задължение. HTTPS endpoint-ът на образ с модел е достъпен за всеки, който има URL адреса, докато не поставите пред него прокси с удостоверяване като LiteLLM. |
| Чете ли GPUwerk промптовете или данните на модела? | Не. GPUwerk хоства хардуера и управлява таксуването и, съгласно DPA, няма достъп до съдържанието на натоварването и не го чете, копира, индексира или анализира |
| Използват ли се клиентски данни за обучение? | Не, по договор, а тъй като GPUwerk няма достъп до съдържанието ви, няма върху какво да се обучава |
| Подизпълнители за натоварванията? | Няма в собствените нива на GPUwerk (партньорското ниво работи на партньорски хост) |
| DPA (чл. 28 от GDPR)? | Публикуван на /legal/dpa, безплатно |
| Данни при прекратяване? | Контейнерът и томът на работното пространство се изтриват от възела, а възелът се почиства, преди да бъде предложен на някой друг. Изтриване във файловата система, а не криптографско изтриване. |
Архитектура
Архитектурата е аргументът.
Малко стрелки, всяка документирана: толкова по-кратък преглед от DPO.
your office / VPN your apps
│ │
│ SSH (keys only, │ HTTPS model endpoint
│ dedicated IP) │ (add an auth proxy)
▼ ▼
┌────────────────────────────────────────────┐
│ your dedicated DGX Spark · EU-Central │
│ model · vector store · chat UI · API │
│ 128 GB unified memory · 1 TB NVMe │
└────────────────────────────────────────────┘
two arrows, both listed in the DPA.
Сравнявате това с API с плащане на токен? Прочетете частен хостинг на LLM срещу OpenAI API или частен хостинг на LLM срещу Azure AI Foundry за местоположението на данните, кой може да вижда промптовете ви и измерената производителност.
Регулирана дейност
Здравеопазване, право, финанси и публичен сектор.
Екипите в тези области задават същите три въпроса: къде е машината, кой друг може да я достигне и какво пише в договора. Отговорите са едни и същи за всеки сектор. Машината е в EU-Central и е предоставена на един клиент. GPUwerk запазва стандартен администраторски достъп, за да я експлоатира, а DPA по член 28 и списъкът с подизпълнители описват какво обхваща той.
Машината само за вас сама по себе си не прави дадено натоварване съответстващо на изискванията. Медицинските досиета, поверителните дела, платежните данни и данните на граждани имат свои правила и вашето длъжностно лице по защита на данните или юрист решава дали тази конфигурация им отговаря. GDPR и Актът на ЕС за изкуствения интелект при хардуер само за вас изброява доказателствата, които GPUwerk може да предостави.
Ръководства
Сравнения на доставчици.
Сравненията с цени, проверени спрямо собствената страница на всеки доставчик. Индексът на сравненията изброява всеки друг доставчик.
Как се сравнява
Самостоятелен Spark в ЕС срещу API с плащане на токен, с които купувачите го сравняват. Местоположение на данните, кой може да вижда промптовете ви и къде печели всеки вариант.Разгледайте 11 ръководства
- Частен хостинг на LLM срещу OpenAI API за компании от ЕСМестоположение на данните, кой може да вижда промптовете ви, измерени tok/s и къде печели всеки вариант.8 мин. четене
- Частен хостинг на LLM срещу Azure AI Foundry за компании от ЕСКаталог с модели, местоположение на данните, модел на ценообразуване и къде печели всеки вариант.8 мин. четене
- Частен хостинг на LLM срещу Anthropic API за компании от ЕСМестоположение на данните, кой може да вижда промптовете ви, измерени tok/s и къде печели всеки вариант.8 мин. четене
- Частен хостинг на LLM срещу RunPodRunPod е GPU пазар с много хостове и типове GPU. Сравнението е по това кой реално управлява машината, а не само по наемането.8 мин. четене
- Частен хостинг на LLM срещу GroqLPU хардуерът на Groq е наистина бърз, по-бърз от inference на повечето GPU. Самостоятелният DGX Spark се състезава по друга ос: хардуер само за един клиент и контрол над данните, а не сурова скорост.8 мин. четене
- Частен хостинг на LLM срещу Together AITogether AI изпълнява широк каталог от отворени модели на споделена инфраструктура с много клиенти (multi-tenant). Самостоятелният DGX Spark е една машина, която изпълнява модела ви, с ключовете ви.8 мин. четене
- Частен хостинг на LLM срещу Lambda Labs за компании от ЕСНай-близкото по форма сравнение с GPUwerk, с разлика главно в региона и хардуера. Къде печели всеки вариант.8 мин. четене
- Частен хостинг на LLM срещу Scaleway за компании от ЕСДве опции, базирани в ЕС, едната тясна и с фиксирана цена, другата широк облак с общо предназначение. Къде печели всеки вариант.8 мин. четене
- Частен хостинг на LLM срещу GPU сървърите на Hetzner за компании от ЕСИзгоден хардуер само за вас от известен германски хостинг доставчик в сравнение с машина с унифицирана памет, създадена за inference. Къде печели всеки вариант.8 мин. четене
- Частен хостинг на LLM срещу CoreWeave за компании от ЕССамостоятелен DGX Spark в ЕС за 0,79 $/час срещу корпоративния GPU облак на CoreWeave: мащаб на клъстерите, минимални договори, местоположение на данните и къде всеки реално пасва.8 мин. четене
- Частен хостинг на LLM срещу Vast.ai за компании от ЕССамостоятелен DGX Spark в ЕС за 0,79 $/час срещу peer-to-peer GPU пазара на Vast.ai: кой реално притежава машината, местоположение на данните, надеждност и къде печели всеки вариант.8 мин. четене
- Частен AI срещу ChatGPT EnterpriseКъде свършват договорните контроли на ChatGPT Enterprise и започва местоположението на данните на самостоятелна машина.7 мин. четене
- DGX Spark срещу облачни GPU инстанцииСобствен Spark, изцяло за вас срещу наемане на GPU часове на токен или на час, сравнени по цена и контрол.7 мин. четене
- Самостоятелно хостване срещу управлявани LLM платформиКакво поемате, когато изпълнявате модела сами, и какво управляваната платформа все пак оставя във вашите ръце.7 мин. четене
ЧЗВ за съответствие.
Съответства ли на GDPR?
GPUwerk предоставя доказателствата, които са ви нужни: хардуер и операции в EU-Central, споразумение за обработване на данни по член 28, без подизпълнители за натоварванията в собствените нива на GPUwerk и машини само за един клиент, до чието съдържание GPUwerk няма достъп и което не чете, копира, индексира или анализира. Администраторски достъп до инфраструктурата на машината съществува, както при всяка хоствана услуга, и съгласно DPA той не се използва върху съдържанието ви, освен по ваше искане за поддръжка или когато го изисква законово задължение. Вие оставате администратор на данните, така че вие сте този, който трябва да докаже съответствието на самата обработка.
Подписвате ли DPA?
Да, стандартно DPA по член 28 от GDPR е публикувано на /legal/dpa безплатно. Списъкът с подизпълнители на GPUwerk за натоварванията е кратък: в собствените нива на GPUwerk няма такива; партньорското ниво работи на партньорски хост.
Може ли нашият DPO да одитира конфигурацията?
Да. GPUwerk предоставя документация за физическото местоположение, контрола на достъпа и процедурите за изтриване и отговаря директно на въпросници от DPO. Изпратете въпросите на вашия DPO.
Какво става с данните ни, когато прекратим?
Прекратяването изтрива контейнера ви и неговия том /workspace от възела. Преди този възел да бъде предложен на друг клиент, той се почиства: всеки контейнер и том на клиент се премахва, а възелът не минава проверката за готовност и не се предоставя, докато е останал някой от тях. Това е изтриване на ниво файлова система. GPUwerk не използва самокриптиращи се дискове или пълно криптиране на диска на възлите, затова не твърди, че прави криптографско изтриване. GPUwerk не пази копие на работното ви пространство никъде другаде: нито резервно копие, нито копие за възстановяване. Ако диск се повреди, работното пространство на него се губи, затова пазете собствено копие. Ако кредитът ви стигне нула или достигнете месечния си бюджет, инстанцията се спира и машината ѝ се освобождава. Работното пространство остава на тази машина до 48 часа. Внесете средства или увеличете бюджета и я стартирайте отново в този срок и тя продължава оттам, докъдето е стигнала, освен ако някой друг не е наел машината, което го изтрива по-рано. След 48 часа то се изтрива окончателно. Имейлите за нисък баланс ви предупреждават преди това; автоматичното внасяне го прави по-малко вероятно, но плащане може да не мине.
Покрива ли това и Акта на ЕС за изкуствения интелект, не само GDPR?
Хардуерът само за вас не променя рисковата ви категория по Акта на ЕС за изкуствения интелект или статута ви на доставчик/внедрител — те зависят от това какво прави системата ви, а не от това къде работи. Това, което ви дава, е ясен отговор кой има достъп до данните ви, докато моделът работи, което е полезно доказателство за задълженията на внедрителя, с които всъщност се сблъскват повечето компании със собствен хостинг. Вижте GDPR и Актът на ЕС за изкуствения интелект при хардуер само за вас за цялостната картина на една страница.
Отвъд инфраструктурата
Практически пакет за внедряване.
Ако ви трябва повече от инфраструктура, мога да добавя ангажимент с определен обхват и ясни резултати за въвеждане на екипа и интеграция.
Заявка за проект
Определете границите на случая на употреба, целите за латентност и кой одобрява пускането в реална експлоатация.
Обучение на екипа
Практически сесии за качеството на промптовете, модели за управление и често срещани операции.
Пътна карта за интеграция
Планирайте внедряването на API, включително какво трябва да правят инструментите ви, когато инстанцията е спряна или заета.
Вдъхнете живот на вашия AI проект.
Стартирайте Spark и го тествайте сами или попитайте човека, който отговаря за сървърните шкафове. Първо внасяне: платете 20 $, получете 30 $ кредит.