Zasebno gostovanje LLM v EU-Central
Vaši modeli. Vaši podatki. En najemnik: vi.
Zasebno gostovanje LLM na celih namenskih napravah v EU-Central. Vaši podatki se obdelujejo v EU, nikoli se ne uporabljajo za učenje in nobena druga stranka se nikoli ne dotakne vašega GPU.
0,79 USD/uro, obračun po minutah · ob prvem polnjenju plačajte 20 USD, dobite 30 USD dobroimetja
Na prvi pogled.
En najemnik na napravo
Cela namenska naprava, dodeljena vam. Brez deljenih GPU-jev.
Podobdelovalci za opravila
v GPUwerkovih lastnih razredih. Seznam podobdelovalcev je kratek: za opravila instanc tam nobenega; razred Partner teče pri partnerskem gostitelju.
Pogodba o obdelavi podatkov po GDPR
Objavljeno na /legal/dpa, brezplačno.
Trije strahovi
Trije strahovi, z odgovori.
Vsako podjetje, s katerim se pogovarjam, pride z istimi tremi skrbmi. Tukaj je natančno, kako je poskrbljeno za vsako.
"Naši podatki zapustijo EU"
Ne vpliva. Strojna oprema je fizično v EU-Central, upravlja pa jo PRINT IT! SE, evropska delniška družba s sedežem v Pragi. Ameriške matične družbe ni, v GPUwerkovih lastnih razredih pa za to napravo ni nobene ameriške regije. Peščica storitev, ki jih GPUwerk uporablja okoli nje, na primer transakcijska e-pošta, je s svojimi ponudniki in državami navedena na seznamu podobdelovalcev. Lokacija podatkov ni potrditveno polje v nastavitvah, ampak kraj, kjer je naprava privita v omaro.
"Ponudnik se uči na naših podatkih"
GPUwerk upravlja infrastrukturo, ne modelov: vaši pozivi in dokumenti se obdelujejo na vaši namenski napravi, s programsko opremo, ki ste jo namestili sami, dosegljivi pa so le prek vaših ključev SSH in terminala v brskalniku v vaši konzoli. Kot pri vsaki gostovani storitvi GPUwerk ohranja infrastrukturni skrbniški dostop do naprave, a po politiki, zapisani v pogodbi o obdelavi podatkov GPUwerk, do vsebine vašega delovnega prostora ne dostopa, razen na vašo prošnjo za podporo ali kadar to zahteva pravna obveznost, zato ni ničesar, na čemer bi se učilo. Tako ali tako je to v pogodbi. Edino učenje, ki se zgodi, je vaše, na vaših lastnih podatkih.
"Zaposleni lepijo skrivnosti v ChatGPT"
Blokiranje uporabo potisne na osebne telefone. Rešitev je odobrena alternativa, ki je enako priročna: asistent razreda ChatGPT na vaši lastni instanci, z enakim klepetalnim vmesnikom in enakim API-jem, pri čemer vsak poziv ostane na namenski napravi, dodeljeni samo vam. Oglejte si nastavitev zasebnega ChatGPT →
Za vašega DPO
Napisano tako, da to posredujete svojemu pooblaščencu za varstvo podatkov.
Slika skladnosti v eni tabeli, v preprostem jeziku, brez trženja.
| Vprašanje | Odgovor |
|---|---|
| Kje se podatki fizično obdelujejo? | EU-Central, na namenski napravi z enim samim najemnikom, dodeljeni vam |
| Kdo je upravljavec? | PRINT IT! SE, evropska delniška družba (Societas Europaea), registrirana v Pragi na Češkem (matična številka 069 60 090). Brez matične družbe zunaj EU. |
| Kdo lahko dostopa do vsebine instance? | Prek same instance le imetniki vaših ključev SSH in vi prek terminala v brskalniku v svoji konzoli GPUwerka; prijava z geslom je izklopljena na celotni floti. GPUwerk ohranja infrastrukturni skrbniški dostop do naprave, kot pri vsaki gostovani storitvi, in ga po pogodbi o obdelavi podatkov na vaši vsebini ne uporablja, razen na vašo prošnjo za podporo ali kadar to zahteva pravna obveznost. Končna točka HTTPS pri odtisu z modelom je dosegljiva vsakomur, ki ima naslov URL, dokler prednjo ne postavite posredniškega strežnika s preverjanjem pristnosti, na primer LiteLLM. |
| Ali GPUwerk bere podatke pozivov ali modelov? | Ne. GPUwerk gosti strojno opremo in vodi obračun ter v skladu s pogodbo o obdelavi podatkov (DPA) ne dostopa do vsebine opravil, je ne bere, kopira, indeksira ali analizira |
| Ali se kakršni koli podatki strank uporabljajo za učenje? | Ne, pogodbeno, in ker GPUwerk ne dostopa do vaše vsebine, ni ničesar, na čemer bi se učil |
| Podobdelovalci za opravila? | Nobenega v GPUwerkovih lastnih razredih (razred Partner teče pri partnerskem gostitelju) |
| Pogodba o obdelavi podatkov (člen 28 GDPR)? | Objavljeno na /legal/dpa, brezplačno |
| Kaj s podatki ob odstranitvi? | Vsebnik in nosilec delovnega prostora sta izbrisana z vozlišča, vozlišče pa je očiščeno, preden je ponujeno komu drugemu. Gre za brisanje v datotečnem sistemu, ne za kriptografski izbris. |
Arhitektura
Argument je arhitektura.
Malo puščic, vsaka dokumentirana: krajši je pregled pri DPO.
your office / VPN your apps
│ │
│ SSH (keys only, │ HTTPS model endpoint
│ dedicated IP) │ (add an auth proxy)
▼ ▼
┌────────────────────────────────────────────┐
│ your dedicated DGX Spark · EU-Central │
│ model · vector store · chat UI · API │
│ 128 GB unified memory · 1 TB NVMe │
└────────────────────────────────────────────┘
two arrows, both listed in the DPA.
To tehtate vs. API z obračunom po tokenih? Preberite zasebno gostovanje LLM vs. API OpenAI ali zasebno gostovanje LLM vs. Azure AI Foundry za lokacijo podatkov, to, kdo lahko vidi vaše pozive, in izmerjeno prepustnost.
Regulirano delo
Zdravstvo, pravo, finance in javni sektor.
Ekipe na teh področjih postavljajo ista tri vprašanja: kje je naprava, kdo drug lahko pride do nje in kaj piše v pogodbi. Odgovori so za vsako panogo enaki. Naprava je v EU-Central in dodeljena eni stranki. GPUwerk ohranja običajen skrbniški dostop za njeno upravljanje, pogodba o obdelavi podatkov po členu 28 in seznam podobdelovalcev pa določata, kaj to zajema.
Namenska naprava sama po sebi ne naredi obdelave skladne s predpisi. Zdravstvene kartoteke, zaupni spisi, plačilni podatki in podatki o državljanih imajo vsak svoja pravila, ali ta postavitev ustreza njim, pa odloči vaša pooblaščena oseba za varstvo podatkov ali pravni svetovalec. GDPR in Akt EU o umetni inteligenci na namenski strojni opremi navaja dokazila, ki jih GPUwerk lahko preda.
Vodniki
Primerjave ponudnikov.
Primerjave s cenami, preverjenimi na lastnih straneh posameznih ponudnikov. Kazalo primerjav navaja vse druge ponudnike.
Kako se primerja
Namenski Spark v EU v primerjavi z API-ji z obračunom po tokenih, s katerimi ga kupci primerjajo. Lokacija podatkov, kdo lahko vidi vaše pozive in kje je katera možnost boljša.Prebrskajte 11 vodnikov
- Zasebno gostovanje LLM vs. API OpenAI za podjetja v EULokacija podatkov, kdo lahko vidi vaše pozive, izmerjeni tok/s in kje je katera možnost boljša.8 min branja
- Zasebno gostovanje LLM vs. Azure AI Foundry za podjetja v EUKatalog modelov, lokacija podatkov, cenovni model in kje je katera možnost boljša.8 min branja
- Zasebno gostovanje LLM vs. API Anthropic za podjetja v EULokacija podatkov, kdo lahko vidi vaše pozive, izmerjeni tok/s in kje je katera možnost boljša.8 min branja
- Zasebno gostovanje LLM vs. RunPodRunPod je tržnica GPU prek številnih gostiteljev in vrst GPU. Primerjava se osredotoča na to, kdo dejansko upravlja napravo, ne le na najemništvo.8 min branja
- Zasebno gostovanje LLM vs. GroqStrojna oprema LPU podjetja Groq je resnično hitra, hitrejša od večine sklepanja na GPU. Namenski DGX Spark tekmuje na drugi osi: strojna oprema za enega najemnika in nadzor nad podatki, ne surova hitrost.8 min branja
- Zasebno gostovanje LLM vs. Together AITogether AI poganja širok katalog odprtih modelov na deljeni infrastrukturi z več najemniki. Namenski DGX Spark je ena naprava, ki poganja vaš model pod vašimi ključi.8 min branja
- Zasebno gostovanje LLM vs. Lambda Labs za podjetja v EUPo obliki najbližja primerjava z GPUwerkom, ki se razlikuje predvsem po regiji in strojni opremi. Kje je katera boljša.8 min branja
- Zasebno gostovanje LLM vs. Scaleway za podjetja v EUDve možnosti s sedežem v EU, ena ozka s fiksno ceno, druga širok splošni oblak. Kje je katera boljša.8 min branja
- Zasebno gostovanje LLM vs. strežniki GPU Hetzner za podjetja v EUCenovno ugodna namenska strojna oprema znanega nemškega ponudnika gostovanja v primerjavi z napravo z enotnim pomnilnikom, zgrajeno za sklepanje. Kje je katera boljša.8 min branja
- Zasebno gostovanje LLM vs. CoreWeave za podjetja v EUNamenski DGX Spark v EU za 0,79 USD/uro proti podjetniškemu oblaku GPU CoreWeave: obseg gruč, pogodbeni minimumi, lokacija podatkov in kam katera možnost dejansko sodi.8 min branja
- Zasebno gostovanje LLM vs. Vast.ai za podjetja v EUNamenski DGX Spark v EU za 0,79 USD/uro proti tržnici GPU med uporabniki Vast.ai: kdo je dejansko lastnik naprave, lokacija podatkov, zanesljivost in kje je katera možnost boljša.8 min branja
- Zasebni AI vs. ChatGPT EnterpriseKje se končajo pogodbeni nadzori ChatGPT Enterprise in kje se začne lokacija podatkov na namenski napravi.7 min branja
- DGX Spark vs. instance GPU v oblakuLastništvo namenskega Sparka proti najemu ur GPU po tokenu ali po uri, primerjano po stroških in nadzoru.7 min branja
- Lastna režija vs. upravljane platforme za LLMKaj prevzamete, ko model poganjate sami, in kaj vam upravljana platforma kljub temu pusti v rokah.7 min branja
Pogosta vprašanja o skladnosti.
Ali je skladno z GDPR?
GPUwerk priskrbi dokazila, ki jih potrebujete: strojna oprema in obratovanje v EU-Central, pogodba o obdelavi podatkov po členu 28, brez podobdelovalcev opravil v GPUwerkovih lastnih razredih ter namenske naprave z enim samim najemnikom, do vsebine katerih GPUwerk ne dostopa, je ne bere, kopira, indeksira ali analizira. Infrastrukturni skrbniški dostop do naprave obstaja, kot pri vsaki gostovani storitvi, in se po pogodbi o obdelavi podatkov ne uporablja na vaši vsebini, razen na vašo prošnjo za podporo ali kadar to zahteva pravna obveznost. Vi ostajate upravljavec, zato skladnost same obdelave zatrjujete sami.
Ali podpišete pogodbo o obdelavi podatkov?
Da, standardna pogodba o obdelavi podatkov po členu 28 GDPR je brezplačno objavljena na /legal/dpa. Seznam podobdelovalcev GPUwerk za opravila je kratek: v GPUwerkovih lastnih razredih jih ni; partnerski razred teče na partnerskem gostitelju.
Ali lahko naš DPO preveri nastavitev?
Da. GPUwerk zagotovi dokumentacijo o fizični lokaciji, nadzoru dostopa in postopkih brisanja ter neposredno odgovarja na vprašalnike pooblaščencev za varstvo podatkov. Pošljite vprašanja svojega DPO.
Kaj se zgodi z našimi podatki, ko odstranimo instanco?
Odstranitev z vozlišča izbriše vaš vsebnik in njegov nosilec /workspace. Preden je to vozlišče ponujeno drugi stranki, je očiščeno: odstranjeni so vsi vsebniki in nosilci najemnikov, dokler kateri od njih ostaja, pa vozlišče ne prestane preverjanja pripravljenosti in ni dodeljeno. To je brisanje na ravni datotečnega sistema. GPUwerk na vozliščih ne uporablja samošifrirnih diskov ali šifriranja celotnega diska, zato ne trdi, da gre za kriptografski izbris. GPUwerk nikjer drugje ne hrani kopije vašega delovnega prostora: ne varnostne kopije in ne obnovitvene kopije. Če disk odpove, je delovni prostor na njem izgubljen, zato hranite lastno kopijo. Če vaše dobroimetje doseže nič ali dosežete mesečni proračun, se instanca ustavi in njena naprava sprosti. Delovni prostor ostane na tej napravi do 48 ur. Če v tem času napolnite dobroimetje ali zvišate proračun in jo znova zaženete, nadaljuje, kjer je ostala, razen če je napravo najel kdo drug, kar ga izbriše prej. Po 48 urah je izbrisan dokončno. Pred tem vas opozorijo sporočila o nizkem stanju; samodejno polnjenje to zmanjša, a plačilo lahko spodleti.
Ali to zajema tudi akt EU o umetni inteligenci, ne le GDPR?
Namenska strojna oprema ne spremeni vašega razreda tveganja po aktu EU o umetni inteligenci niti vašega statusa ponudnika ali uvajalca: ta sta odvisna od tega, kaj vaš sistem počne, ne od tega, kje teče. Daje pa vam jasen odgovor na vprašanje, kdo lahko dostopa do vaših podatkov, medtem ko model teče, kar je uporaben dokaz za obveznosti na strani uvajalca, s katerimi se večina podjetij z lastnim gostovanjem dejansko sooča. Celovito sliko na eni strani si oglejte v GDPR in akt EU o umetni inteligenci na namenski strojni opremi.
Več kot infrastruktura
Praktičen paket za uvedbo.
Če potrebujete več kot infrastrukturo, lahko dodam opredeljeno sodelovanje z jasnimi rezultati za uvajanje ekipe in integracijo.
Sprejem projekta
Opredelite meje primera uporabe, cilje glede odzivnosti in to, kdo odloča o odobritvi za produkcijo.
Usposabljanje ekipe
Praktične seje o kakovosti pozivov, vzorcih upravljanja in pogostih operacijah.
Časovnica integracije
Načrtujte uvedbo API, vključno s tem, kaj naj vaša orodja storijo, ko je instanca ustavljena ali zasedena.
Oživite svoj projekt AI.
Zaženite Spark in ga sami preizkusite ali vprašajte človeka, ki skrbi za omare. Prvo polnjenje: plačajte 20 USD, dobite 30 USD dobroimetja.