Частен хостинг на LLM в EU-Central

Вашите модели. Вашите данни. Един клиент: вие.

Частен хостинг на LLM върху цели машини само за вас в EU-Central. Данните ви се обработват в ЕС, никога не се използват за обучение и никой друг клиент не достига до вашия GPU.

0,79 $/час, таксуване на минута · платете 20 $, получете 30 $ кредит при първото внасяне

Накратко.

1клиент

Един клиент на машина

Цяла машина само за вас, предоставена на вас. Без споделени GPU.

0

Подизпълнители за натоварванията

В собствените нива на GPUwerk. Списъкът с подизпълнители е кратък: за натоварванията на инстанции там няма такива; партньорското ниво работи на партньорски хост.

Чл.28

Споразумение за обработване на данни по GDPR

Публикуван на /legal/dpa, безплатно.

Трите страха

Трите страха, с отговори.

Всяка компания, с която говоря, идва със същите три притеснения. Ето как точно се решава всяко от тях.

„Данните ни напускат ЕС“

Не. Хардуерът физически е в EU-Central и се управлява от PRINT IT! SE, Societas Europaea, регистрирано в Прага. Няма американска компания майка и в собствените нива на GPUwerk няма американски регион зад тази машина. Малкото услуги, които GPUwerk използва около нея, като транзакционни имейли, са посочени с доставчиците и държавите си в списъка с подизпълнители. Местоположението на данните не е отметка в панел с настройки, а мястото, където машината е закрепена в сървърния шкаф.

„Доставчикът обучава модели с данните ни“

GPUwerk управлява инфраструктура, а не модели: промптовете и документите ви се обработват на вашата самостоятелна машина, от софтуер, който сте инсталирали, достъпен само чрез вашите SSH ключове и терминала в браузъра на конзолата ви. Както при всяка хоствана услуга, GPUwerk запазва администраторски достъп до инфраструктурата на машината, но като политика, заложена в споразумението за обработване на данни на GPUwerk, GPUwerk няма достъп до съдържанието на работното ви пространство, освен по ваше искане за поддръжка или когато го изисква законово задължение, така че няма върху какво да се обучава — и това е записано в договора. Единственото обучение, което се случва, е вашето, върху вашите собствени данни.

„Служителите поставят тайни в ChatGPT“

Блокирането го прехвърля на личните телефони. Решението е одобрена алтернатива, която е също толкова удобна: асистент от класа на ChatGPT на ваша собствена инстанция, същият чат интерфейс, същият API, а всеки промпт остава на самостоятелна машина, предоставена само на вас. Вижте настройката за частен ChatGPT →

За вашия DPO

Написано, за да го препрати вашият DPO.

Картината на съответствието в една таблица, на ясен език, без маркетинг.

ВъпросОтговор
Къде физически се обработват данните?EU-Central, на машина само за един клиент, предоставена на вас
Кой е операторът?PRINT IT! SE, Societas Europaea, регистрирано в Прага, Чехия (ЕИК 069 60 090). Без компания майка извън ЕС.
Кой има достъп до съдържанието на инстанцията?Чрез самата инстанция — само притежателите на вашите SSH ключове и вие чрез терминала в браузъра в конзолата на GPUwerk; входът с парола е изключен в целия парк. GPUwerk запазва администраторски достъп до инфраструктурата на машината, както при всяка хоствана услуга, и съгласно DPA не го използва върху съдържанието ви, освен по ваше искане за поддръжка или когато го изисква законово задължение. HTTPS endpoint-ът на образ с модел е достъпен за всеки, който има URL адреса, докато не поставите пред него прокси с удостоверяване като LiteLLM.
Чете ли GPUwerk промптовете или данните на модела?Не. GPUwerk хоства хардуера и управлява таксуването и, съгласно DPA, няма достъп до съдържанието на натоварването и не го чете, копира, индексира или анализира
Използват ли се клиентски данни за обучение?Не, по договор, а тъй като GPUwerk няма достъп до съдържанието ви, няма върху какво да се обучава
Подизпълнители за натоварванията?Няма в собствените нива на GPUwerk (партньорското ниво работи на партньорски хост)
DPA (чл. 28 от GDPR)?Публикуван на /legal/dpa, безплатно
Данни при прекратяване?Контейнерът и томът на работното пространство се изтриват от възела, а възелът се почиства, преди да бъде предложен на някой друг. Изтриване във файловата система, а не криптографско изтриване.

Архитектура

Архитектурата е аргументът.

Малко стрелки, всяка документирана: толкова по-кратък преглед от DPO.

your office / VPN            your apps
      │                          │
      │  SSH (keys only,         │  HTTPS model endpoint
      │  dedicated IP)           │  (add an auth proxy)
      ▼                          ▼
┌────────────────────────────────────────────┐
│  your dedicated DGX Spark · EU-Central     │
│  model · vector store · chat UI · API      │
│  128 GB unified memory · 1 TB NVMe         │
└────────────────────────────────────────────┘

      two arrows, both listed in the DPA.

Сравнявате това с API с плащане на токен? Прочетете частен хостинг на LLM срещу OpenAI API или частен хостинг на LLM срещу Azure AI Foundry за местоположението на данните, кой може да вижда промптовете ви и измерената производителност.

Регулирана дейност

Здравеопазване, право, финанси и публичен сектор.

Екипите в тези области задават същите три въпроса: къде е машината, кой друг може да я достигне и какво пише в договора. Отговорите са едни и същи за всеки сектор. Машината е в EU-Central и е предоставена на един клиент. GPUwerk запазва стандартен администраторски достъп, за да я експлоатира, а DPA по член 28 и списъкът с подизпълнители описват какво обхваща той.

Машината само за вас сама по себе си не прави дадено натоварване съответстващо на изискванията. Медицинските досиета, поверителните дела, платежните данни и данните на граждани имат свои правила и вашето длъжностно лице по защита на данните или юрист решава дали тази конфигурация им отговаря. GDPR и Актът на ЕС за изкуствения интелект при хардуер само за вас изброява доказателствата, които GPUwerk може да предостави.

Ръководства

Сравнения на доставчици.

Сравненията с цени, проверени спрямо собствената страница на всеки доставчик. Индексът на сравненията изброява всеки друг доставчик.

Как се сравнява

Самостоятелен Spark в ЕС срещу API с плащане на токен, с които купувачите го сравняват. Местоположение на данните, кой може да вижда промптовете ви и къде печели всеки вариант.Разгледайте 11 ръководства

ЧЗВ за съответствие.

Съответства ли на GDPR?

GPUwerk предоставя доказателствата, които са ви нужни: хардуер и операции в EU-Central, споразумение за обработване на данни по член 28, без подизпълнители за натоварванията в собствените нива на GPUwerk и машини само за един клиент, до чието съдържание GPUwerk няма достъп и което не чете, копира, индексира или анализира. Администраторски достъп до инфраструктурата на машината съществува, както при всяка хоствана услуга, и съгласно DPA той не се използва върху съдържанието ви, освен по ваше искане за поддръжка или когато го изисква законово задължение. Вие оставате администратор на данните, така че вие сте този, който трябва да докаже съответствието на самата обработка.

Подписвате ли DPA?

Да, стандартно DPA по член 28 от GDPR е публикувано на /legal/dpa безплатно. Списъкът с подизпълнители на GPUwerk за натоварванията е кратък: в собствените нива на GPUwerk няма такива; партньорското ниво работи на партньорски хост.

Може ли нашият DPO да одитира конфигурацията?

Да. GPUwerk предоставя документация за физическото местоположение, контрола на достъпа и процедурите за изтриване и отговаря директно на въпросници от DPO. Изпратете въпросите на вашия DPO.

Какво става с данните ни, когато прекратим?

Прекратяването изтрива контейнера ви и неговия том /workspace от възела. Преди този възел да бъде предложен на друг клиент, той се почиства: всеки контейнер и том на клиент се премахва, а възелът не минава проверката за готовност и не се предоставя, докато е останал някой от тях. Това е изтриване на ниво файлова система. GPUwerk не използва самокриптиращи се дискове или пълно криптиране на диска на възлите, затова не твърди, че прави криптографско изтриване. GPUwerk не пази копие на работното ви пространство никъде другаде: нито резервно копие, нито копие за възстановяване. Ако диск се повреди, работното пространство на него се губи, затова пазете собствено копие. Ако кредитът ви стигне нула или достигнете месечния си бюджет, инстанцията се спира и машината ѝ се освобождава. Работното пространство остава на тази машина до 48 часа. Внесете средства или увеличете бюджета и я стартирайте отново в този срок и тя продължава оттам, докъдето е стигнала, освен ако някой друг не е наел машината, което го изтрива по-рано. След 48 часа то се изтрива окончателно. Имейлите за нисък баланс ви предупреждават преди това; автоматичното внасяне го прави по-малко вероятно, но плащане може да не мине.

Покрива ли това и Акта на ЕС за изкуствения интелект, не само GDPR?

Хардуерът само за вас не променя рисковата ви категория по Акта на ЕС за изкуствения интелект или статута ви на доставчик/внедрител — те зависят от това какво прави системата ви, а не от това къде работи. Това, което ви дава, е ясен отговор кой има достъп до данните ви, докато моделът работи, което е полезно доказателство за задълженията на внедрителя, с които всъщност се сблъскват повечето компании със собствен хостинг. Вижте GDPR и Актът на ЕС за изкуствения интелект при хардуер само за вас за цялостната картина на една страница.

Отвъд инфраструктурата

Практически пакет за внедряване.

Ако ви трябва повече от инфраструктура, мога да добавя ангажимент с определен обхват и ясни резултати за въвеждане на екипа и интеграция.

  1. Заявка за проект

    Определете границите на случая на употреба, целите за латентност и кой одобрява пускането в реална експлоатация.

  2. Обучение на екипа

    Практически сесии за качеството на промптовете, модели за управление и често срещани операции.

  3. Пътна карта за интеграция

    Планирайте внедряването на API, включително какво трябва да правят инструментите ви, когато инстанцията е спряна или заета.

Вижте как работи ангажиментът

Вдъхнете живот на вашия AI проект.

Стартирайте Spark и го тествайте сами или попитайте човека, който отговаря за сървърните шкафове. Първо внасяне: платете 20 $, получете 30 $ кредит.