Soukromý hosting LLM v EU-Central
Vaše modely. Vaše data. Jeden nájemce: vy.
Soukromý hosting LLM na celých dedikovaných strojích v EU-Central. Vaše data se zpracovávají v EU, nikdy se nepoužívají k trénování a k vaší GPU se nikdy nedostane žádný jiný zákazník.
0,79 $/hod, účtováno po minutách · zaplaťte 20 $, získejte 30 $ kreditu při prvním dobití
Přehled.
Jeden nájemce na stroj
Celý dedikovaný stroj přidělený vám. Žádné sdílené GPU.
Dílčí zpracovatelé pro úlohy
Na vlastních úrovních GPUwerk. Seznam dílčích zpracovatelů je krátký: pro úlohy instancí tam žádní nejsou; úroveň Partner běží u partnerského provozovatele.
Smlouva o zpracování osobních údajů podle GDPR
Zveřejněno na /legal/dpa, zdarma.
Tři obavy
Odpovědi na tři obavy.
Každá firma, se kterou mluvím, přichází se stejnými třemi obavami. Tady je přesně, jak se řeší každá z nich.
„Naše data opouštějí EU“
Nemá. Hardware je fyzicky v EU-Central a provozuje ho PRINT IT! SE, evropská společnost (Societas Europaea) se sídlem v Praze. Neexistuje žádná americká mateřská firma a na vlastních úrovních GPUwerk ani žádný americký region za tímto strojem. Těch několik služeb, které GPUwerk kolem něj používá, například transakční e-maily, je uvedeno s poskytovateli a zeměmi v seznamu dílčích zpracovatelů. Umístění dat není zaškrtávací políčko v nastavení, je to místo, kde je stroj přišroubovaný do racku.
„Poskytovatel trénuje na našich datech“
GPUwerk provozuje infrastrukturu, ne modely: vaše prompty a dokumenty se zpracovávají na vašem dedikovaném stroji softwarem, který jste nainstalovali, dostupném jen přes vaše SSH klíče a terminál v prohlížeči ve vaší konzoli. Jako u každé hostované služby si GPUwerk ponechává přístup správce infrastruktury k fyzickému stroji, ale podle zásad stanovených ve smlouvě o zpracování osobních údajů GPUwerk k obsahu vašeho pracovního prostoru nepřistupuje, s výjimkou vaší žádosti o podporu nebo zákonné povinnosti, takže není na čem trénovat. Tak či tak je to ve smlouvě. Jediné trénování, které probíhá, je to vaše, na vašich vlastních datech.
„Zaměstnanci vkládají tajné informace do ChatGPT“
Blokování to přesune do osobních telefonů. Řešením je schválená alternativa, která je stejně pohodlná: asistent třídy ChatGPT na vaší vlastní instanci, stejné chatovací rozhraní, stejné API, a každý prompt zůstává na dedikovaném stroji přiděleném jen vám. Viz nastavení soukromého ChatGPT →
Pro vašeho pověřence
Napsáno tak, aby to váš pověřenec mohl rovnou přeposlat.
Celkový obraz compliance v jedné tabulce, srozumitelně, bez marketingu.
| Otázka | Odpověď |
|---|---|
| Kde se data fyzicky zpracovávají? | EU-Central, na dedikovaném stroji pro jednoho nájemce přiděleném vám |
| Kdo je provozovatel? | PRINT IT! SE, evropská společnost (Societas Europaea) se sídlem v Praze, Česká republika (IČO 069 60 090). Žádná mateřská společnost mimo EU. |
| Kdo má přístup k obsahu instance? | Přes samotnou instanci jen držitelé vašich SSH klíčů a vy přes terminál v prohlížeči ve vaší konzoli GPUwerk; přihlášení heslem je v celé flotile vypnuté. GPUwerk si ponechává přístup správce infrastruktury k fyzickému stroji jako u každé hostované služby a podle DPA ho na váš obsah nepoužívá, s výjimkou vaší žádosti o podporu nebo zákonné povinnosti. HTTPS endpoint image s modelem je dostupný každému, kdo zná URL, dokud před něj nepostavíte ověřovací proxy, například LiteLLM. |
| Čte GPUwerk prompty nebo data modelu? | Ne. GPUwerk hostuje hardware a provozuje účtování a podle DPA k obsahu úloh nepřistupuje, nečte ho, nekopíruje, neindexuje ani neanalyzuje |
| Používají se nějaká zákaznická data k trénování? | Ne, smluvně, a protože GPUwerk k vašemu obsahu nepřistupuje, není na čem trénovat |
| Dílčí zpracovatelé pro úlohy? | Žádní na vlastních úrovních GPUwerk (úroveň Partner běží u partnerského provozovatele) |
| DPA (čl. 28 GDPR)? | Zveřejněno na /legal/dpa, zdarma |
| Data po ukončení? | Kontejner a svazek pracovního prostoru se z uzlu smažou, uzel se sanitizuje, než je nabídnut komukoli dalšímu. Smazání na úrovni souborového systému, ne kryptografické vymazání. |
Architektura
Argumentem je architektura.
Málo šipek, každá zdokumentovaná: tím kratší posouzení pověřencem.
your office / VPN your apps
│ │
│ SSH (keys only, │ HTTPS model endpoint
│ dedicated IP) │ (add an auth proxy)
▼ ▼
┌────────────────────────────────────────────┐
│ your dedicated DGX Spark · EU-Central │
│ model · vector store · chat UI · API │
│ 128 GB unified memory · 1 TB NVMe │
└────────────────────────────────────────────┘
two arrows, both listed in the DPA.
Zvažujete místo toho API s platbou za tokeny? Přečtěte si soukromý hosting LLM vs OpenAI API nebo soukromý hosting LLM vs Azure AI Foundry, kde najdete umístění dat, kdo vidí vaše prompty a naměřenou propustnost.
Regulovaná práce
Zdravotnictví, právo, finance a veřejný sektor.
Týmy v těchto oborech se ptají na stejné tři věci: kde stroj je, kdo další k němu má přístup a co říká smlouva. Odpovědi jsou pro všechna odvětví stejné. Stroj je v EU-Central a je přidělen jednomu zákazníkovi. GPUwerk si k jeho provozu ponechává standardní přístup správce a DPA podle článku 28 a seznam dílčích zpracovatelů popisují, co to zahrnuje.
Dedikovaný stroj sám o sobě nezajistí, že je úloha v souladu s předpisy. Záznamy pacientů, důvěrné spisy, platební údaje i údaje o občanech mají vlastní pravidla a o tom, zda je toto nastavení splňuje, rozhoduje váš pověřenec pro ochranu osobních údajů nebo právník. GDPR a EU AI Act na dedikovaném hardwaru uvádí podklady, které vám GPUwerk může předat.
Návody
Srovnání poskytovatelů.
Srovnání s cenami ověřenými podle vlastní stránky každého poskytovatele. Přehled srovnání uvádí všechny ostatní poskytovatele.
Jak si stojí ve srovnání
Dedikovaný Spark v EU ve srovnání s API s platbou za tokeny, se kterými ho zákazníci porovnávají. Umístění dat, kdo vidí vaše prompty a v čem vyniká který z nich.Procházet 11 návodů
- Soukromý hosting LLM vs OpenAI API pro firmy v EUUmístění dat, kdo vidí vaše prompty, naměřené tok/s a v čem vyniká který z nich.8 min čtení
- Soukromý hosting LLM vs Azure AI Foundry pro firmy v EUKatalog modelů, umístění dat, cenový model a v čem vyniká který z nich.8 min čtení
- Soukromý hosting LLM vs Anthropic API pro firmy v EUUmístění dat, kdo vidí vaše prompty, naměřené tok/s a v čem vyniká který z nich.8 min čtení
- Soukromý hosting LLM vs RunPodRunPod je GPU tržiště napříč mnoha provozovateli a typy GPU. Srovnání se týká toho, kdo stroj skutečně provozuje, nejen pronájmu.8 min čtení
- Soukromý hosting LLM vs GroqHardware LPU od Groqu je opravdu rychlý, rychlejší než většina inference na GPU. Dedikovaný DGX Spark soutěží v jiné disciplíně: hardware pro jednoho nájemce a kontrola nad daty, ne hrubá rychlost.8 min čtení
- Soukromý hosting LLM vs Together AITogether AI provozuje široký katalog otevřených modelů na sdílené infrastruktuře pro více zákazníků. Dedikovaný DGX Spark je jeden stroj, na kterém běží váš model, pod vašimi klíči.8 min čtení
- Soukromý hosting LLM vs Lambda Labs pro firmy v EUSvou povahou nejbližší srovnání s GPUwerkem, lišící se hlavně regionem a hardwarem. V čem vyniká který z nich.8 min čtení
- Soukromý hosting LLM vs Scaleway pro firmy v EUDvě možnosti z EU, jedna úzce zaměřená s pevnou cenou, druhá široký cloud pro obecné použití. V čem vyniká který z nich.8 min čtení
- Soukromý hosting LLM vs GPU servery Hetzner pro firmy v EUCenově výhodný dedikovaný hardware od známého německého poskytovatele ve srovnání se strojem se sjednocenou pamětí postaveným pro inferenci. V čem vyniká který z nich.8 min čtení
- Soukromý hosting LLM vs CoreWeave pro firmy v EUDedikovaný DGX Spark v EU za 0,79 $/hod vs podnikový GPU cloud CoreWeave: měřítko clusterů, minimální smluvní závazky, umístění dat a kam se co skutečně hodí.8 min čtení
- Soukromý hosting LLM vs Vast.ai pro firmy v EUDedikovaný DGX Spark v EU za 0,79 $/hod vs peer-to-peer GPU tržiště Vast.ai: kdo stroj skutečně vlastní, umístění dat, spolehlivost a v čem vyniká který z nich.8 min čtení
- Soukromá AI vs ChatGPT EnterpriseKde končí smluvní kontroly ChatGPT Enterprise a začíná umístění dat na dedikovaném stroji.7 min čtení
- DGX Spark vs cloudové GPU instanceVlastní dedikovaný Spark proti pronájmu GPU hodin po tokenech nebo po hodinách, srovnáno podle nákladů a kontroly.7 min čtení
- Self-hosted vs spravované platformy LLMCo na sebe berete, když model provozujete sami, a co vám i spravovaná platforma stále nechává v rukou.7 min čtení
Časté otázky ke compliance.
Splňuje to GDPR?
GPUwerk poskytuje podklady, které potřebujete: hardware a provoz v EU-Central, smlouvu o zpracování osobních údajů podle článku 28, žádné dílčí zpracovatele úloh na vlastních úrovních GPUwerk a dedikované stroje pro jednoho nájemce, k jejichž obsahu GPUwerk nepřistupuje, nečte ho, nekopíruje, neindexuje ani neanalyzuje. Přístup správce infrastruktury k fyzickému stroji existuje jako u každé hostované služby a podle DPA se na váš obsah nepoužívá, s výjimkou vaší žádosti o podporu nebo zákonné povinnosti. Správcem zůstáváte vy, takže soulad samotného zpracování deklarujete vy.
Podepisujete DPA?
Ano, standardní DPA podle článku 28 GDPR je bezplatně zveřejněna na /legal/dpa. Seznam dílčích zpracovatelů GPUwerk pro úlohy je krátký: na vlastních úrovních GPUwerk žádní nejsou; úroveň Partner běží u partnerského provozovatele.
Může náš pověřenec (DPO) nastavení auditovat?
Ano. GPUwerk poskytuje dokumentaci fyzického umístění, řízení přístupu a postupů mazání a přímo odpovídá na dotazníky pověřenců. Pošlete otázky svého pověřence.
Co se stane s našimi daty, když instanci ukončíme?
Ukončení smaže z uzlu váš kontejner a jeho svazek /workspace. Než je tento uzel nabídnut jinému zákazníkovi, sanitizuje se: odstraní se všechny kontejnery a svazky nájemců a dokud nějaké zůstávají, uzel neprojde kontrolou připravenosti a není přidělen. Jde o smazání na úrovni souborového systému. GPUwerk na uzlech nepoužívá samošifrovací disky ani šifrování celého disku, takže netvrdí kryptografické vymazání. GPUwerk nikde jinde neuchovává kopii vašeho pracovního prostoru: žádnou zálohu ani kopii pro obnovu. Pokud disk selže, pracovní prostor na něm je ztracen, takže si veďte vlastní kopii. Pokud váš kredit klesne na nulu nebo dosáhnete měsíčního rozpočtu, instance se zastaví a její stroj se uvolní. Pracovní prostor na tom stroji zůstane až 48 hodin. Pokud během této doby dobijete nebo zvýšíte rozpočet a instanci znovu spustíte, naváže tam, kde skončila, pokud si stroj mezitím nepronajme někdo jiný, čímž se smaže dříve. Po 48 hodinách se smaže natrvalo. E-maily o nízkém zůstatku vás předem varují; automatické dobíjení to činí méně pravděpodobným, ale platba může selhat.
Pokrývá to i EU AI Act, nejen GDPR?
Dedikovaný hardware nemění vaši rizikovou kategorii podle EU AI Act ani vaše postavení poskytovatele či zavádějícího subjektu, ty závisí na tom, co váš systém dělá, ne kde běží. Dává vám ale jasnou odpověď na to, kdo má přístup k vašim datům, zatímco model běží, což je užitečný podklad pro povinnosti zavádějícího subjektu, kterým většina firem provozujících vlastní modely skutečně čelí. Celkový obraz na jedné stránce najdete v článku GDPR a EU AI Act na dedikovaném hardwaru.
Víc než infrastruktura
Praktický balíček zavedení.
Pokud potřebujete víc než infrastrukturu, mohu přidat vymezenou spolupráci s jasnými výstupy pro zaškolení týmu a integraci.
Úvodní informace o projektu
Vymezte hranice případu použití, cíle latence a kdo schvaluje produkční nasazení.
Školení týmu
Praktická setkání o kvalitě promptů, vzorech řízení a běžném provozu.
Plán integrace
Naplánujte zavedení API, včetně toho, co mají vaše nástroje dělat, když je instance zastavená nebo obsazená.
Uveďte svůj AI projekt do života.
Nasaďte Spark a otestujte ho sami, nebo se zeptejte člověka, který racky provozuje. První dobití: zaplaťte 20 $, získejte 30 $ kreditu.