Privát LLM-üzemeltetés az EU-Central régióban
Az Ön modelljei. Az Ön adatai. Egy bérlő: Ön.
Privát LLM-üzemeltetés teljes dedikált gépeken az EU-Central régióban. Az adatait az EU-ban dolgozzuk fel, soha nem használjuk tanításra, és más ügyfél soha nem nyúl a GPU-jához.
0,79 USD/óra, percalapú számlázással · az első feltöltésnél fizessen 20 USD-t, kapjon 30 USD kreditet
Áttekintés.
Gépenként egy bérlő
Egy teljes dedikált gép, Önhöz rendelve. Nincsenek megosztott GPU-k.
Munkaterhelés-alfeldolgozók
A GPUwerk saját csomagjain. Az alfeldolgozói lista rövid: ott a példányok munkaterheléseihez nincs alfeldolgozó; a Partner csomag egy partnerhoszton fut.
GDPR adatfeldolgozási megállapodás
Közzétéve: /legal/dpa, díjmentesen.
A három félelem
A három félelem, megválaszolva.
Minden cég, amellyel beszélek, ugyanazzal a három aggállyal érkezik. Íme, pontosan hogyan kezelem mindegyiket.
„Az adataink elhagyják az EU-t”
Nem. A hardver fizikailag az EU-Central régióban van, és a PRINT IT! SE, egy prágai bejegyzésű európai részvénytársaság (Societas Europaea) üzemelteti. Nincs amerikai anyavállalat, és a GPUwerk saját csomagjainál nincs amerikai régió a gép mögött. Azt a néhány szolgáltatást, amelyet a GPUwerk körülötte használ, például a tranzakciós e-mailt, szolgáltatóikkal és országaikkal együtt az alfeldolgozói lista tartalmazza. Az adatok helye nem egy jelölőnégyzet a beállításokban, hanem az, ahol a gépet a rackbe csavarozzák.
„A szolgáltató az adatainkon tanít”
A GPUwerk infrastruktúrát üzemeltet, nem modelleket: a promptjait és dokumentumait a dedikált gépén, az Ön által telepített szoftver dolgozza fel, és csak az SSH-kulcsain és a konzol böngészős terminálján keresztül érhető el. Mint bármely üzemeltetett szolgáltatásnál, a GPUwerk megtartja az infrastruktúra-adminisztrátori hozzáférést a mögöttes géphez, de a GPUwerk adatfeldolgozási megállapodásában rögzített szabályként a GPUwerk nem fér hozzá a munkaterülete tartalmához, kivéve az Ön támogatási kérésére vagy ha jogi kötelezettség előírja, így nincs min tanítani. Ez mindenképp benne van a szerződésben. Az egyetlen tanítás, ami történik, az Öné, a saját adatain.
„A munkatársak titkokat illesztenek be a ChatGPT-be”
A tiltás a privát telefonokra tolja át. A megoldás egy jóváhagyott alternatíva, amely ugyanolyan kényelmes: egy ChatGPT-szintű asszisztens a saját példányán, ugyanazzal a csevegőfelülettel, ugyanazzal az API-val, és minden prompt egy kizárólag Önhöz rendelt dedikált gépen marad. Nézze meg a privát ChatGPT-beállítást →
Az adatvédelmi tisztviselőnek
Úgy megírva, hogy az adatvédelmi tisztviselője továbbíthassa.
A megfelelőségi kép egy táblázatban, közérthetően, marketing nélkül.
| Kérdés | Válasz |
|---|---|
| Hol dolgozzák fel fizikailag az adatokat? | EU-Central, egy Önhöz rendelt dedikált, egybérlős gépen |
| Ki az üzemeltető? | PRINT IT! SE, a Cseh Köztársaságban, Prágában bejegyzett európai részvénytársaság (Societas Europaea) (cégazonosító: 069 60 090). Nincs EU-n kívüli anyavállalat. |
| Ki férhet hozzá a példány tartalmához? | Magán a példányon keresztül csak az SSH-kulcsai birtokosai, valamint Ön a GPUwerk-konzol böngészős terminálján keresztül; a jelszavas bejelentkezés az egész flottán ki van kapcsolva. A GPUwerk megtartja az infrastruktúra-adminisztrátori hozzáférést a mögöttes géphez, mint bármely üzemeltetett szolgáltatásnál, és a DPA szerint nem használja az Ön tartalmán, kivéve az Ön támogatási kérésére vagy ha jogi kötelezettség előírja. Egy modell-lemezkép HTTPS-végpontját bárki elérheti, akinek megvan az URL-je, amíg elé nem tesz egy hitelesítő proxyt, például a LiteLLM-et. |
| Olvassa a GPUwerk a promptokat vagy a modelladatokat? | Nem. A GPUwerk üzemelteti a hardvert és intézi a számlázást, és a DPA szerint nem fér hozzá a munkaterhelés tartalmához, nem olvassa, nem másolja, nem indexeli és nem elemzi |
| Használnak bármilyen ügyféladatot tanításra? | Nem, szerződés szerint, és mivel a GPUwerk nem fér hozzá a tartalmához, nincs min tanítani |
| Munkaterhelés-alfeldolgozók? | A GPUwerk saját csomagjain nincs (a Partner csomag egy partnerhoszton fut) |
| DPA (GDPR 28. cikk)? | Közzétéve: /legal/dpa, díjmentesen |
| Mi lesz az adatokkal megszüntetéskor? | A konténer és a munkaterület-kötet törlődik a csomópontról, a csomópontot pedig megtisztítjuk, mielőtt bárki másnak felajánljuk. Fájlrendszer-szintű törlés, nem kriptográfiai törlés. |
Architektúra
Az architektúra az érv.
Kevés nyíl, mindegyik dokumentálva: annál rövidebb a DPO általi ellenőrzés.
your office / VPN your apps
│ │
│ SSH (keys only, │ HTTPS model endpoint
│ dedicated IP) │ (add an auth proxy)
▼ ▼
┌────────────────────────────────────────────┐
│ your dedicated DGX Spark · EU-Central │
│ model · vector store · chat UI · API │
│ 128 GB unified memory · 1 TB NVMe │
└────────────────────────────────────────────┘
two arrows, both listed in the DPA.
Inkább egy tokenalapú API-val veti össze? Olvassa el a privát LLM-üzemeltetés vs. az OpenAI API vagy a privát LLM-üzemeltetés vs. Azure AI Foundry összehasonlítást az adatok helyéről, arról, ki láthatja a promptjait, és a mért átviteli sebességről.
Szabályozott munka
Egészségügy, jog, pénzügy és közszféra.
Ezeken a területeken a csapatok ugyanazt a három kérdést teszik fel: hol van a gép, ki más érheti el, és mit mond a szerződés. A válaszok minden ágazatban ugyanazok. A gép az EU-Central régióban van, és egyetlen ügyfélhez van rendelve. A GPUwerk az üzemeltetéshez szokásos adminisztrátori hozzáférést tart meg, és a 28. cikk szerinti DPA és az alfeldolgozói lista rögzíti, mire terjed ki ez.
Egy dedikált gép önmagában nem teszi megfelelővé a munkaterhelést. A betegadatokra, ügyvédi titoktartás alá eső iratokra, fizetési adatokra és állampolgári adatokra külön szabályok vonatkoznak, és az adatvédelmi tisztviselője vagy jogi tanácsadója dönti el, hogy ez a beállítás megfelel-e nekik. A GDPR és az EU AI Act dedikált hardveren oldal felsorolja, milyen bizonyítékokat tud a GPUwerk átadni.
Útmutatók
Szolgáltatói összehasonlítások.
Az összehasonlítások, az árakat az egyes szolgáltatók saját oldalával összevetve. Az összehasonlítások jegyzéke minden más szolgáltatót felsorol.
Összehasonlítás
Dedikált uniós Spark azokkal a tokenalapú API-kkal összevetve, amelyekkel a vásárlók összehasonlítják. Adatok helye, ki láthatja a promptjait, és melyik hol nyer.11 útmutató böngészése
- Privát LLM-üzemeltetés vs. az OpenAI API uniós cégeknekAdatok helye, ki láthatja a promptjait, mért tok/s, és melyik hol nyer.8 perces olvasmány
- Privát LLM-üzemeltetés vs. Azure AI Foundry uniós cégeknekModellkatalógus, adatok helye, árazási modell, és melyik hol nyer.8 perces olvasmány
- Privát LLM-üzemeltetés vs. az Anthropic API uniós cégeknekAdatok helye, ki láthatja a promptjait, mért tok/s, és melyik hol nyer.8 perces olvasmány
- Privát LLM-üzemeltetés vs. RunPodA RunPod sok hoszton és GPU-típuson átívelő GPU-piactér. Az összehasonlítás arról szól, ki üzemelteti valójában a gépet, nem csak a bérlés módjáról.8 perces olvasmány
- Privát LLM-üzemeltetés vs. GroqA Groq LPU-hardvere valóban gyors, gyorsabb a legtöbb GPU-s inferenciánál. Egy dedikált DGX Spark más tengelyen versenyez: egybérlős hardver és adatkontroll, nem nyers sebesség.8 perces olvasmány
- Privát LLM-üzemeltetés vs. Together AIA Together AI nyílt modellek széles katalógusát futtatja megosztott, több bérlős infrastruktúrán. Egy dedikált DGX Spark egyetlen gép, amely az Ön modelljét futtatja, az Ön kulcsaival.8 perces olvasmány
- Privát LLM-üzemeltetés vs. Lambda Labs uniós cégeknekA GPUwerkhez formájában legközelebb álló összehasonlítás, főként régióban és hardverben eltérve. Melyik hol nyer.8 perces olvasmány
- Privát LLM-üzemeltetés vs. Scaleway uniós cégeknekKét uniós lehetőség, egy szűk és fix árú, egy széles általános célú felhő. Melyik hol nyer.8 perces olvasmány
- Privát LLM-üzemeltetés vs. Hetzner GPU-szerverek uniós cégeknekKedvező árú dedikált hardver egy jól ismert német üzemeltetőtől, összevetve egy inferenciára épített, egységes memóriájú géppel. Melyik hol nyer.8 perces olvasmány
- Privát LLM-üzemeltetés vs. CoreWeave uniós cégeknekEgy dedikált uniós DGX Spark 0,79 USD/óráért vs. a CoreWeave vállalati GPU-felhője: klaszterméret, szerződéses minimumok, adatok helye, és hogy melyik mire való valójában.8 perces olvasmány
- Privát LLM-üzemeltetés vs. Vast.ai uniós cégeknekEgy dedikált uniós DGX Spark 0,79 USD/óráért vs. a Vast.ai peer-to-peer GPU-piactere: kié valójában a gép, adatok helye, megbízhatóság, és melyik hol nyer.8 perces olvasmány
- Privát AI vs. ChatGPT EnterpriseAhol a ChatGPT Enterprise szerződéses kontrolljai véget érnek, és egy dedikált gép adattárolása kezdődik.7 perces olvasmány
- DGX Spark vs. felhőalapú GPU-példányokEgy dedikált Spark birtoklása a tokenenként vagy óránként bérelt GPU-időhöz képest, költség és kontroll szempontjából összehasonlítva.7 perces olvasmány
- Saját üzemeltetésű vs. menedzselt LLM-platformokMit vállal, ha saját maga futtatja a modellt, és mit hagy még mindig az Ön kezében egy menedzselt platform.7 perces olvasmány
Megfelelőségi GYIK.
Megfelel a GDPR-nak?
A GPUwerk megadja a szükséges bizonyítékokat: hardver és üzemeltetés az EU-Central régióban, 28. cikk szerinti adatfeldolgozási megállapodás, a GPUwerk saját csomagjain nincs munkaterhelés-alfeldolgozó, és dedikált egybérlős gépek, amelyek tartalmához a GPUwerk nem fér hozzá, nem olvassa, nem másolja, nem indexeli és nem elemzi. Infrastruktúra-adminisztrátori hozzáférés a mögöttes géphez létezik, mint bármely üzemeltetett szolgáltatásnál, és a DPA szerint ezt nem használjuk az Ön tartalmán, kivéve az Ön támogatási kérésére vagy ha jogi kötelezettség előírja. Ön marad az adatkezelő, így magának az adatkezelésnek a megfelelőségét Önnek kell igazolnia.
Aláírnak DPA-t?
Igen, egy szabványos, a GDPR 28. cikke szerinti DPA díjmentesen közzé van téve a /legal/dpa címen. A GPUwerk munkaterhelésekre vonatkozó alfeldolgozói listája rövid: a GPUwerk saját csomagjain nincs ilyen; a Partner csomag egy partnerhoszton fut.
Auditálhatja az adatvédelmi tisztviselőnk (DPO) a beállítást?
Igen. A GPUwerk dokumentációt biztosít a fizikai helyszínről, a hozzáférés-kezelésről és a törlési eljárásokról, és közvetlenül válaszol az adatvédelmi tisztviselők kérdőíveire. Küldje el az adatvédelmi tisztviselője kérdéseit.
Mi történik az adatainkkal megszüntetéskor?
A megszüntetés törli a konténerét és a /workspace kötetét a csomópontról. Mielőtt azt a csomópontot másik ügyfélnek felajánlanánk, megtisztítjuk: minden bérlői konténert és kötetet eltávolítunk, és amíg bármelyik megmarad, a csomópont nem megy át a készenléti ellenőrzésen, és nem kerül kiosztásra. Ez fájlrendszer-szintű törlés. A GPUwerk a csomópontokon nem használ önrejtjelező meghajtókat vagy teljes lemeztitkosítást, ezért nem állít kriptográfiai törlést. A GPUwerk sehol máshol nem tart másolatot a munkaterületéről: nincs biztonsági mentés és nincs helyreállítási másolat. Ha egy meghajtó meghibásodik, a rajta lévő munkaterület elvész, ezért tartson saját másolatot. Ha a kreditje nullára csökken, vagy eléri a havi költségkeretét, a példány leáll, és a gépe felszabadul. A munkaterület legfeljebb 48 óráig azon a gépen marad. Ha ezalatt feltölti az egyenlegét vagy megemeli a keretet, és újra elindítja, ott folytatódik, ahol abbamaradt, hacsak valaki más ki nem bérelte a gépet, ami korábban törli. 48 óra után véglegesen törlődik. Az alacsony egyenlegre figyelmeztető e-mailek ez előtt szólnak; az automatikus feltöltés csökkenti a valószínűségét, de egy fizetés meghiúsulhat.
Ez az EU AI Actre is kiterjed, nem csak a GDPR-ra?
A dedikált hardver nem változtat az EU AI Act szerinti kockázati besorolásán vagy a szolgáltatói/alkalmazói státuszán, ezek attól függnek, mit csinál a rendszere, nem attól, hol fut. Amit viszont ad, az egy világos válasz arra, hogy ki férhet hozzá az adataihoz a modell futása közben, ami hasznos bizonyíték az alkalmazói oldali kötelezettségekhez, amelyekkel a legtöbb saját üzemeltetésű cég ténylegesen szembesül. A teljes képért egy oldalon lásd: GDPR és EU AI Act dedikált hardveren.
Az infrastruktúrán túl
Gyakorlati bevezetési csomag.
Ha az infrastruktúránál többre van szüksége, kiegészíthetem egy körülhatárolt megbízással, egyértelmű eredménytermékekkel a csapat betanításához és az integrációhoz.
Projektfelmérés
Határozza meg a felhasználási eset határait, a késleltetési célokat, és hogy ki felel az éles bevezetés jóváhagyásáért.
Csapatképzés
Gyakorlati alkalmak a promptminőségről, irányítási mintákról és gyakori üzemeltetési feladatokról.
Integrációs ütemterv
Tervezze meg az API bevezetését, beleértve azt is, mit tegyenek az eszközei, ha a példány le van állítva vagy foglalt.
Keltse életre AI-projektjét.
Indítson egy Sparkot, és tesztelje saját maga, vagy kérdezze azt, aki a rackeket üzemelteti. Első feltöltés: fizessen 20 USD-t, kapjon 30 USD kreditet.