Súkromný hosting LLM v EU-Central

Vaše modely. Vaše dáta. Jeden nájomca: vy.

Súkromný hosting LLM na celých vyhradených strojoch v EU-Central. Vaše dáta sa spracúvajú v EÚ, nikdy sa nepoužívajú na trénovanie a k vašej GPU sa nikdy nedostane iný zákazník.

0,79 $/hod., účtované po minútach · zaplaťte 20 $, dostanete 30 $ kreditu pri prvom dobití

V skratke.

1nájomca

Jeden nájomca na stroj

Celý vyhradený stroj pridelený vám. Žiadne zdieľané GPU.

0

Subdodávatelia spracúvania pre pracovné záťaže

Na vlastných úrovniach GPUwerk. Zoznam subdodávateľov spracúvania je krátky: pre pracovné záťaže inštancií tam nie sú žiadni; úroveň Partner beží u partnerského hostiteľa.

Čl.28

Zmluva o spracúvaní osobných údajov podľa GDPR

Zverejnené na /legal/dpa, bezplatne.

Tri obavy

Tri obavy a odpovede na ne.

Každá firma, s ktorou hovorím, prichádza s rovnakými tromi obavami. Tu je presne, ako riešime každú z nich.

„Naše dáta opúšťajú EÚ“

Nemení. Hardvér je fyzicky v EU-Central a prevádzkuje ho PRINT IT! SE, európska spoločnosť (Societas Europaea) so sídlom v Prahe. Za týmto strojom nie je žiadna americká materská firma a na vlastných úrovniach GPUwerk ani americký región. Niekoľko služieb, ktoré GPUwerk okolo neho používa, napríklad transakčné e-maily, je uvedených s poskytovateľmi a krajinami v zozname subdodávateľov spracúvania. Umiestnenie dát nie je zaškrtávacie políčko v nastaveniach, je to miesto, kde je stroj priskrutkovaný v racku.

„Poskytovateľ trénuje na našich dátach“

GPUwerk prevádzkuje infraštruktúru, nie modely: vaše prompty a dokumenty sa spracúvajú na vašom vyhradenom stroji softvérom, ktorý ste nainštalovali vy, dostupným len cez vaše SSH kľúče a terminál v prehliadači vo vašej konzole. Ako pri každej hostovanej službe si GPUwerk ponecháva administrátorský prístup k infraštruktúre podkladového stroja, no podľa zásad uvedených v zmluve GPUwerk o spracúvaní osobných údajov GPUwerk k obsahu vášho pracovného priestoru nepristupuje, okrem prípadu vašej žiadosti o podporu alebo ak to vyžaduje zákonná povinnosť, takže nie je na čom trénovať. Tak či tak je to v zmluve. Jediné trénovanie, ktoré prebieha, je to vaše, na vašich vlastných dátach.

„Zamestnanci vkladajú tajomstvá do ChatGPT“

Blokovanie to presunie na súkromné telefóny. Riešením je schválená alternatíva, ktorá je rovnako pohodlná: asistent triedy ChatGPT na vašej vlastnej inštancii, rovnaké chatové rozhranie, rovnaké API, každý prompt zostáva na vyhradenom stroji pridelenom len vám. Pozrite si nastavenie súkromného ChatGPT →

Pre vašu zodpovednú osobu (DPO)

Napísané tak, aby to vaša zodpovedná osoba mohla posunúť ďalej.

Súlad s predpismi v jednej tabuľke, zrozumiteľne, bez marketingu.

OtázkaOdpoveď
Kde sa dáta fyzicky spracúvajú?EU-Central, na vyhradenom stroji s jedným nájomcom, pridelenom vám
Kto je prevádzkovateľ?PRINT IT! SE, európska spoločnosť (Societas Europaea) so sídlom v Prahe, Česká republika (IČO 069 60 090). Žiadna materská spoločnosť mimo EÚ.
Kto má prístup k obsahu inštancie?Cez samotnú inštanciu len držitelia vašich SSH kľúčov a vy cez terminál v prehliadači vo vašej konzole GPUwerk; prihlásenie heslom je vypnuté v celej flotile. GPUwerk si ponecháva administrátorský prístup k infraštruktúre podkladového stroja, ako pri každej hostovanej službe, a podľa DPA ho na váš obsah nepoužíva, okrem prípadu vašej žiadosti o podporu alebo ak to vyžaduje zákonná povinnosť. HTTPS endpoint obrazu s modelom je dostupný každému, kto má URL, kým pred neho nedáte autentifikačné proxy, napríklad LiteLLM.
Číta GPUwerk prompty alebo dáta modelu?Nie. GPUwerk hostuje hardvér a prevádzkuje fakturáciu a podľa DPA k obsahu pracovných záťaží nepristupuje, nečíta ho, nekopíruje, neindexuje ani neanalyzuje
Používajú sa nejaké zákaznícke dáta na trénovanie?Nie, zmluvne, a keďže GPUwerk k vášmu obsahu nepristupuje, nie je na čom trénovať
Subdodávatelia spracúvania pre pracovné záťaže?Na vlastných úrovniach GPUwerk žiadni (úroveň Partner beží u partnerského hostiteľa)
DPA (čl. 28 GDPR)?Zverejnené na /legal/dpa, bezplatne
Dáta pri ukončení?Kontajner a zväzok pracovného priestoru sa z uzla vymažú a uzol sa vyčistí skôr, než sa ponúkne komukoľvek inému. Vymazanie na úrovni súborového systému, nie kryptografické vymazanie.

Architektúra

Argumentom je architektúra.

Málo šípok, každá zdokumentovaná: tým kratšia kontrola zo strany DPO.

your office / VPN            your apps
      │                          │
      │  SSH (keys only,         │  HTTPS model endpoint
      │  dedicated IP)           │  (add an auth proxy)
      ▼                          ▼
┌────────────────────────────────────────────┐
│  your dedicated DGX Spark · EU-Central     │
│  model · vector store · chat UI · API      │
│  128 GB unified memory · 1 TB NVMe         │
└────────────────────────────────────────────┘

      two arrows, both listed in the DPA.

Porovnávate to radšej s API účtovaným po tokenoch? Prečítajte si súkromný hosting LLM vs OpenAI API alebo súkromný hosting LLM vs Azure AI Foundry o umiestnení dát, o tom, kto vidí vaše prompty, a o nameranej priepustnosti.

Regulovaná práca

Zdravotníctvo, právo, financie a verejný sektor.

Tímy v týchto oblastiach kladú rovnaké tri otázky: kde je stroj, kto ďalší sa k nemu dostane a čo hovorí zmluva. Odpovede sú rovnaké pre každé odvetvie. Stroj je v EU-Central a pridelený jednému zákazníkovi. GPUwerk si ponecháva štandardný administrátorský prístup na jeho prevádzku a DPA podľa článku 28 a zoznam subdodávateľov spracúvania uvádzajú, čo to zahŕňa.

Vyhradený stroj sám osebe neurobí pracovnú záťaž súladnou s predpismi. Zdravotné záznamy pacientov, dôverné spisy, platobné údaje aj údaje o občanoch majú vlastné pravidlá a o tom, či toto nastavenie spĺňa ich požiadavky, rozhoduje vaša zodpovedná osoba (DPO) alebo právny zástupca. Stránka GDPR a AI Act EÚ na vyhradenom hardvéri uvádza dôkazy, ktoré vám GPUwerk môže poskytnúť.

Návody

Porovnania poskytovateľov.

Porovnania s cenami overenými na vlastnej stránke každého poskytovateľa. Index porovnaní uvádza všetkých ostatných poskytovateľov.

Ako si stojí v porovnaní

Vyhradený Spark v EÚ v porovnaní s API účtovanými po tokenoch, s ktorými ho kupujúci porovnávajú. Umiestnenie dát, kto vidí vaše prompty a kde ktorá možnosť vyhráva.Prezrieť 11 návodov

Časté otázky o súlade s predpismi.

Je to v súlade s GDPR?

GPUwerk poskytuje dôkazy, ktoré potrebujete: hardvér a prevádzka v EU-Central, zmluva o spracúvaní podľa článku 28, žiadni subdodávatelia spracúvania pre pracovné záťaže na vlastných úrovniach GPUwerk a vyhradené stroje s jedným nájomcom, k obsahu ktorých GPUwerk nepristupuje, nečíta ho, nekopíruje, neindexuje ani neanalyzuje. Administrátorský prístup k infraštruktúre podkladového stroja existuje, ako pri každej hostovanej službe, a podľa DPA sa na váš obsah nepoužíva, okrem prípadu vašej žiadosti o podporu alebo ak to vyžaduje zákonná povinnosť. Prevádzkovateľom zostávate vy, takže súlad samotného spracúvania deklarujete vy.

Podpisujete DPA?

Áno, štandardná DPA podľa článku 28 GDPR je bezplatne zverejnená na /legal/dpa. Zoznam subdodávateľov spracúvania GPUwerk pre pracovné záťaže je krátky: na vlastných úrovniach GPUwerk nie sú žiadni; úroveň Partner beží u partnerského hostiteľa.

Môže naša zodpovedná osoba (DPO) nastavenie auditovať?

Áno. GPUwerk poskytuje dokumentáciu fyzického umiestnenia, riadenia prístupu a postupov vymazania a priamo odpovedá na dotazníky zodpovedných osôb. Pošlite otázky vašej zodpovednej osoby.

Čo sa stane s našimi dátami, keď ukončíme?

Ukončenie vymaže z uzla váš kontajner a jeho zväzok /workspace. Predtým, než sa tento uzol ponúkne inému zákazníkovi, sa vyčistí: odstráni sa každý kontajner a zväzok nájomcu a kým nejaký z nich zostáva, uzol neprejde kontrolou pripravenosti a nepridelí sa. Ide o vymazanie na úrovni súborového systému. GPUwerk na uzloch nepoužíva samošifrovacie disky ani šifrovanie celého disku, preto netvrdí, že ide o kryptografické vymazanie. GPUwerk nikde inde neuchováva kópiu vášho pracovného priestoru: žiadna záloha ani kópia na obnovu. Ak disk zlyhá, pracovný priestor na ňom sa stratí, preto si uchovávajte vlastnú kópiu. Ak váš kredit klesne na nulu alebo dosiahnete mesačný rozpočet, inštancia sa zastaví a jej stroj sa uvoľní. Pracovný priestor zostane na tomto stroji až 48 hodín. Ak v tomto čase dobijete kredit alebo zvýšite rozpočet a znova ju spustíte, pokračuje tam, kde skončila, pokiaľ si stroj medzitým neprenajal niekto iný, čo ho vymaže skôr. Po 48 hodinách sa natrvalo vymaže. E-maily o nízkom zostatku vás upozornia skôr, než sa to stane; automatické dobíjanie to robí menej pravdepodobným, platba však môže zlyhať.

Pokrýva to aj AI Act EÚ, nielen GDPR?

Vyhradený hardvér nemení vašu rizikovú kategóriu podľa AI Act EÚ ani postavenie poskytovateľa/nasadzujúceho subjektu; tie závisia od toho, čo váš systém robí, nie od toho, kde beží. Dáva vám však jasnú odpoveď na to, kto má k vašim dátam prístup, kým model beží, čo je užitočný dôkaz pre povinnosti na strane nasadzujúceho subjektu, ktorým väčšina firiem s vlastným hostingom v skutočnosti čelí. Celkový obraz na jednej stránke nájdete v článku GDPR a AI Act EÚ na vyhradenom hardvéri.

Nad rámec infraštruktúry

Praktický balík na zavedenie.

Ak potrebujete viac ako infraštruktúru, môžem pridať spoluprácu s jasne vymedzeným rozsahom a výstupmi pre zaškolenie tímu a integráciu.

  1. Úvodný dotazník k projektu

    Definujte hranice použitia, ciele latencie a kto schvaľuje produkčné nasadenie.

  2. Školenie tímu

    Praktické stretnutia o kvalite promptov, vzoroch riadenia a bežnej prevádzke.

  3. Plán integrácie

    Naplánujte zavedenie API vrátane toho, čo majú vaše nástroje robiť, keď je inštancia zastavená alebo zaneprázdnená.

Ako funguje spolupráca

Uveďte svoj AI projekt do života.

Nasaďte Spark a otestujte ho sami, alebo sa opýtajte človeka, ktorý prevádzkuje racky. Prvé dobitie: zaplatíte 20 $, dostanete 30 $ kreditu.