Privát LLM-üzemeltetés az EU-Central régióban

Az Ön modelljei. Az Ön adatai. Egy bérlő: Ön.

Privát LLM-üzemeltetés teljes dedikált gépeken az EU-Central régióban. Az adatait az EU-ban dolgozzuk fel, soha nem használjuk tanításra, és más ügyfél soha nem nyúl a GPU-jához.

0,79 USD/óra, percalapú számlázással · az első feltöltésnél fizessen 20 USD-t, kapjon 30 USD kreditet

Áttekintés.

1bérlő

Gépenként egy bérlő

Egy teljes dedikált gép, Önhöz rendelve. Nincsenek megosztott GPU-k.

0

Munkaterhelés-alfeldolgozók

A GPUwerk saját csomagjain. Az alfeldolgozói lista rövid: ott a példányok munkaterheléseihez nincs alfeldolgozó; a Partner csomag egy partnerhoszton fut.

28.cikk

GDPR adatfeldolgozási megállapodás

Közzétéve: /legal/dpa, díjmentesen.

A három félelem

A három félelem, megválaszolva.

Minden cég, amellyel beszélek, ugyanazzal a három aggállyal érkezik. Íme, pontosan hogyan kezelem mindegyiket.

„Az adataink elhagyják az EU-t”

Nem. A hardver fizikailag az EU-Central régióban van, és a PRINT IT! SE, egy prágai bejegyzésű európai részvénytársaság (Societas Europaea) üzemelteti. Nincs amerikai anyavállalat, és a GPUwerk saját csomagjainál nincs amerikai régió a gép mögött. Azt a néhány szolgáltatást, amelyet a GPUwerk körülötte használ, például a tranzakciós e-mailt, szolgáltatóikkal és országaikkal együtt az alfeldolgozói lista tartalmazza. Az adatok helye nem egy jelölőnégyzet a beállításokban, hanem az, ahol a gépet a rackbe csavarozzák.

„A szolgáltató az adatainkon tanít”

A GPUwerk infrastruktúrát üzemeltet, nem modelleket: a promptjait és dokumentumait a dedikált gépén, az Ön által telepített szoftver dolgozza fel, és csak az SSH-kulcsain és a konzol böngészős terminálján keresztül érhető el. Mint bármely üzemeltetett szolgáltatásnál, a GPUwerk megtartja az infrastruktúra-adminisztrátori hozzáférést a mögöttes géphez, de a GPUwerk adatfeldolgozási megállapodásában rögzített szabályként a GPUwerk nem fér hozzá a munkaterülete tartalmához, kivéve az Ön támogatási kérésére vagy ha jogi kötelezettség előírja, így nincs min tanítani. Ez mindenképp benne van a szerződésben. Az egyetlen tanítás, ami történik, az Öné, a saját adatain.

„A munkatársak titkokat illesztenek be a ChatGPT-be”

A tiltás a privát telefonokra tolja át. A megoldás egy jóváhagyott alternatíva, amely ugyanolyan kényelmes: egy ChatGPT-szintű asszisztens a saját példányán, ugyanazzal a csevegőfelülettel, ugyanazzal az API-val, és minden prompt egy kizárólag Önhöz rendelt dedikált gépen marad. Nézze meg a privát ChatGPT-beállítást →

Az adatvédelmi tisztviselőnek

Úgy megírva, hogy az adatvédelmi tisztviselője továbbíthassa.

A megfelelőségi kép egy táblázatban, közérthetően, marketing nélkül.

KérdésVálasz
Hol dolgozzák fel fizikailag az adatokat?EU-Central, egy Önhöz rendelt dedikált, egybérlős gépen
Ki az üzemeltető?PRINT IT! SE, a Cseh Köztársaságban, Prágában bejegyzett európai részvénytársaság (Societas Europaea) (cégazonosító: 069 60 090). Nincs EU-n kívüli anyavállalat.
Ki férhet hozzá a példány tartalmához?Magán a példányon keresztül csak az SSH-kulcsai birtokosai, valamint Ön a GPUwerk-konzol böngészős terminálján keresztül; a jelszavas bejelentkezés az egész flottán ki van kapcsolva. A GPUwerk megtartja az infrastruktúra-adminisztrátori hozzáférést a mögöttes géphez, mint bármely üzemeltetett szolgáltatásnál, és a DPA szerint nem használja az Ön tartalmán, kivéve az Ön támogatási kérésére vagy ha jogi kötelezettség előírja. Egy modell-lemezkép HTTPS-végpontját bárki elérheti, akinek megvan az URL-je, amíg elé nem tesz egy hitelesítő proxyt, például a LiteLLM-et.
Olvassa a GPUwerk a promptokat vagy a modelladatokat?Nem. A GPUwerk üzemelteti a hardvert és intézi a számlázást, és a DPA szerint nem fér hozzá a munkaterhelés tartalmához, nem olvassa, nem másolja, nem indexeli és nem elemzi
Használnak bármilyen ügyféladatot tanításra?Nem, szerződés szerint, és mivel a GPUwerk nem fér hozzá a tartalmához, nincs min tanítani
Munkaterhelés-alfeldolgozók?A GPUwerk saját csomagjain nincs (a Partner csomag egy partnerhoszton fut)
DPA (GDPR 28. cikk)?Közzétéve: /legal/dpa, díjmentesen
Mi lesz az adatokkal megszüntetéskor?A konténer és a munkaterület-kötet törlődik a csomópontról, a csomópontot pedig megtisztítjuk, mielőtt bárki másnak felajánljuk. Fájlrendszer-szintű törlés, nem kriptográfiai törlés.

Architektúra

Az architektúra az érv.

Kevés nyíl, mindegyik dokumentálva: annál rövidebb a DPO általi ellenőrzés.

your office / VPN            your apps
      │                          │
      │  SSH (keys only,         │  HTTPS model endpoint
      │  dedicated IP)           │  (add an auth proxy)
      ▼                          ▼
┌────────────────────────────────────────────┐
│  your dedicated DGX Spark · EU-Central     │
│  model · vector store · chat UI · API      │
│  128 GB unified memory · 1 TB NVMe         │
└────────────────────────────────────────────┘

      two arrows, both listed in the DPA.

Inkább egy tokenalapú API-val veti össze? Olvassa el a privát LLM-üzemeltetés vs. az OpenAI API vagy a privát LLM-üzemeltetés vs. Azure AI Foundry összehasonlítást az adatok helyéről, arról, ki láthatja a promptjait, és a mért átviteli sebességről.

Szabályozott munka

Egészségügy, jog, pénzügy és közszféra.

Ezeken a területeken a csapatok ugyanazt a három kérdést teszik fel: hol van a gép, ki más érheti el, és mit mond a szerződés. A válaszok minden ágazatban ugyanazok. A gép az EU-Central régióban van, és egyetlen ügyfélhez van rendelve. A GPUwerk az üzemeltetéshez szokásos adminisztrátori hozzáférést tart meg, és a 28. cikk szerinti DPA és az alfeldolgozói lista rögzíti, mire terjed ki ez.

Egy dedikált gép önmagában nem teszi megfelelővé a munkaterhelést. A betegadatokra, ügyvédi titoktartás alá eső iratokra, fizetési adatokra és állampolgári adatokra külön szabályok vonatkoznak, és az adatvédelmi tisztviselője vagy jogi tanácsadója dönti el, hogy ez a beállítás megfelel-e nekik. A GDPR és az EU AI Act dedikált hardveren oldal felsorolja, milyen bizonyítékokat tud a GPUwerk átadni.

Útmutatók

Szolgáltatói összehasonlítások.

Az összehasonlítások, az árakat az egyes szolgáltatók saját oldalával összevetve. Az összehasonlítások jegyzéke minden más szolgáltatót felsorol.

Összehasonlítás

Dedikált uniós Spark azokkal a tokenalapú API-kkal összevetve, amelyekkel a vásárlók összehasonlítják. Adatok helye, ki láthatja a promptjait, és melyik hol nyer.11 útmutató böngészése

Megfelelőségi GYIK.

Megfelel a GDPR-nak?

A GPUwerk megadja a szükséges bizonyítékokat: hardver és üzemeltetés az EU-Central régióban, 28. cikk szerinti adatfeldolgozási megállapodás, a GPUwerk saját csomagjain nincs munkaterhelés-alfeldolgozó, és dedikált egybérlős gépek, amelyek tartalmához a GPUwerk nem fér hozzá, nem olvassa, nem másolja, nem indexeli és nem elemzi. Infrastruktúra-adminisztrátori hozzáférés a mögöttes géphez létezik, mint bármely üzemeltetett szolgáltatásnál, és a DPA szerint ezt nem használjuk az Ön tartalmán, kivéve az Ön támogatási kérésére vagy ha jogi kötelezettség előírja. Ön marad az adatkezelő, így magának az adatkezelésnek a megfelelőségét Önnek kell igazolnia.

Aláírnak DPA-t?

Igen, egy szabványos, a GDPR 28. cikke szerinti DPA díjmentesen közzé van téve a /legal/dpa címen. A GPUwerk munkaterhelésekre vonatkozó alfeldolgozói listája rövid: a GPUwerk saját csomagjain nincs ilyen; a Partner csomag egy partnerhoszton fut.

Auditálhatja az adatvédelmi tisztviselőnk (DPO) a beállítást?

Igen. A GPUwerk dokumentációt biztosít a fizikai helyszínről, a hozzáférés-kezelésről és a törlési eljárásokról, és közvetlenül válaszol az adatvédelmi tisztviselők kérdőíveire. Küldje el az adatvédelmi tisztviselője kérdéseit.

Mi történik az adatainkkal megszüntetéskor?

A megszüntetés törli a konténerét és a /workspace kötetét a csomópontról. Mielőtt azt a csomópontot másik ügyfélnek felajánlanánk, megtisztítjuk: minden bérlői konténert és kötetet eltávolítunk, és amíg bármelyik megmarad, a csomópont nem megy át a készenléti ellenőrzésen, és nem kerül kiosztásra. Ez fájlrendszer-szintű törlés. A GPUwerk a csomópontokon nem használ önrejtjelező meghajtókat vagy teljes lemeztitkosítást, ezért nem állít kriptográfiai törlést. A GPUwerk sehol máshol nem tart másolatot a munkaterületéről: nincs biztonsági mentés és nincs helyreállítási másolat. Ha egy meghajtó meghibásodik, a rajta lévő munkaterület elvész, ezért tartson saját másolatot. Ha a kreditje nullára csökken, vagy eléri a havi költségkeretét, a példány leáll, és a gépe felszabadul. A munkaterület legfeljebb 48 óráig azon a gépen marad. Ha ezalatt feltölti az egyenlegét vagy megemeli a keretet, és újra elindítja, ott folytatódik, ahol abbamaradt, hacsak valaki más ki nem bérelte a gépet, ami korábban törli. 48 óra után véglegesen törlődik. Az alacsony egyenlegre figyelmeztető e-mailek ez előtt szólnak; az automatikus feltöltés csökkenti a valószínűségét, de egy fizetés meghiúsulhat.

Ez az EU AI Actre is kiterjed, nem csak a GDPR-ra?

A dedikált hardver nem változtat az EU AI Act szerinti kockázati besorolásán vagy a szolgáltatói/alkalmazói státuszán, ezek attól függnek, mit csinál a rendszere, nem attól, hol fut. Amit viszont ad, az egy világos válasz arra, hogy ki férhet hozzá az adataihoz a modell futása közben, ami hasznos bizonyíték az alkalmazói oldali kötelezettségekhez, amelyekkel a legtöbb saját üzemeltetésű cég ténylegesen szembesül. A teljes képért egy oldalon lásd: GDPR és EU AI Act dedikált hardveren.

Az infrastruktúrán túl

Gyakorlati bevezetési csomag.

Ha az infrastruktúránál többre van szüksége, kiegészíthetem egy körülhatárolt megbízással, egyértelmű eredménytermékekkel a csapat betanításához és az integrációhoz.

  1. Projektfelmérés

    Határozza meg a felhasználási eset határait, a késleltetési célokat, és hogy ki felel az éles bevezetés jóváhagyásáért.

  2. Csapatképzés

    Gyakorlati alkalmak a promptminőségről, irányítási mintákról és gyakori üzemeltetési feladatokról.

  3. Integrációs ütemterv

    Tervezze meg az API bevezetését, beleértve azt is, mit tegyenek az eszközei, ha a példány le van állítva vagy foglalt.

Hogyan működik a megbízás

Keltse életre AI-projektjét.

Indítson egy Sparkot, és tesztelje saját maga, vagy kérdezze azt, aki a rackeket üzemelteti. Első feltöltés: fizessen 20 USD-t, kapjon 30 USD kreditet.