Zasebno gostovanje LLM v EU-Central

Vaši modeli. Vaši podatki. En najemnik: vi.

Zasebno gostovanje LLM na celih namenskih napravah v EU-Central. Vaši podatki se obdelujejo v EU, nikoli se ne uporabljajo za učenje in nobena druga stranka se nikoli ne dotakne vašega GPU.

0,79 USD/uro, obračun po minutah · ob prvem polnjenju plačajte 20 USD, dobite 30 USD dobroimetja

Na prvi pogled.

1najemnik

En najemnik na napravo

Cela namenska naprava, dodeljena vam. Brez deljenih GPU-jev.

0

Podobdelovalci za opravila

v GPUwerkovih lastnih razredih. Seznam podobdelovalcev je kratek: za opravila instanc tam nobenega; razred Partner teče pri partnerskem gostitelju.

Čl.28

Pogodba o obdelavi podatkov po GDPR

Objavljeno na /legal/dpa, brezplačno.

Trije strahovi

Trije strahovi, z odgovori.

Vsako podjetje, s katerim se pogovarjam, pride z istimi tremi skrbmi. Tukaj je natančno, kako je poskrbljeno za vsako.

"Naši podatki zapustijo EU"

Ne vpliva. Strojna oprema je fizično v EU-Central, upravlja pa jo PRINT IT! SE, evropska delniška družba s sedežem v Pragi. Ameriške matične družbe ni, v GPUwerkovih lastnih razredih pa za to napravo ni nobene ameriške regije. Peščica storitev, ki jih GPUwerk uporablja okoli nje, na primer transakcijska e-pošta, je s svojimi ponudniki in državami navedena na seznamu podobdelovalcev. Lokacija podatkov ni potrditveno polje v nastavitvah, ampak kraj, kjer je naprava privita v omaro.

"Ponudnik se uči na naših podatkih"

GPUwerk upravlja infrastrukturo, ne modelov: vaši pozivi in dokumenti se obdelujejo na vaši namenski napravi, s programsko opremo, ki ste jo namestili sami, dosegljivi pa so le prek vaših ključev SSH in terminala v brskalniku v vaši konzoli. Kot pri vsaki gostovani storitvi GPUwerk ohranja infrastrukturni skrbniški dostop do naprave, a po politiki, zapisani v pogodbi o obdelavi podatkov GPUwerk, do vsebine vašega delovnega prostora ne dostopa, razen na vašo prošnjo za podporo ali kadar to zahteva pravna obveznost, zato ni ničesar, na čemer bi se učilo. Tako ali tako je to v pogodbi. Edino učenje, ki se zgodi, je vaše, na vaših lastnih podatkih.

"Zaposleni lepijo skrivnosti v ChatGPT"

Blokiranje uporabo potisne na osebne telefone. Rešitev je odobrena alternativa, ki je enako priročna: asistent razreda ChatGPT na vaši lastni instanci, z enakim klepetalnim vmesnikom in enakim API-jem, pri čemer vsak poziv ostane na namenski napravi, dodeljeni samo vam. Oglejte si nastavitev zasebnega ChatGPT →

Za vašega DPO

Napisano tako, da to posredujete svojemu pooblaščencu za varstvo podatkov.

Slika skladnosti v eni tabeli, v preprostem jeziku, brez trženja.

VprašanjeOdgovor
Kje se podatki fizično obdelujejo?EU-Central, na namenski napravi z enim samim najemnikom, dodeljeni vam
Kdo je upravljavec?PRINT IT! SE, evropska delniška družba (Societas Europaea), registrirana v Pragi na Češkem (matična številka 069 60 090). Brez matične družbe zunaj EU.
Kdo lahko dostopa do vsebine instance?Prek same instance le imetniki vaših ključev SSH in vi prek terminala v brskalniku v svoji konzoli GPUwerka; prijava z geslom je izklopljena na celotni floti. GPUwerk ohranja infrastrukturni skrbniški dostop do naprave, kot pri vsaki gostovani storitvi, in ga po pogodbi o obdelavi podatkov na vaši vsebini ne uporablja, razen na vašo prošnjo za podporo ali kadar to zahteva pravna obveznost. Končna točka HTTPS pri odtisu z modelom je dosegljiva vsakomur, ki ima naslov URL, dokler prednjo ne postavite posredniškega strežnika s preverjanjem pristnosti, na primer LiteLLM.
Ali GPUwerk bere podatke pozivov ali modelov?Ne. GPUwerk gosti strojno opremo in vodi obračun ter v skladu s pogodbo o obdelavi podatkov (DPA) ne dostopa do vsebine opravil, je ne bere, kopira, indeksira ali analizira
Ali se kakršni koli podatki strank uporabljajo za učenje?Ne, pogodbeno, in ker GPUwerk ne dostopa do vaše vsebine, ni ničesar, na čemer bi se učil
Podobdelovalci za opravila?Nobenega v GPUwerkovih lastnih razredih (razred Partner teče pri partnerskem gostitelju)
Pogodba o obdelavi podatkov (člen 28 GDPR)?Objavljeno na /legal/dpa, brezplačno
Kaj s podatki ob odstranitvi?Vsebnik in nosilec delovnega prostora sta izbrisana z vozlišča, vozlišče pa je očiščeno, preden je ponujeno komu drugemu. Gre za brisanje v datotečnem sistemu, ne za kriptografski izbris.

Arhitektura

Argument je arhitektura.

Malo puščic, vsaka dokumentirana: krajši je pregled pri DPO.

your office / VPN            your apps
      │                          │
      │  SSH (keys only,         │  HTTPS model endpoint
      │  dedicated IP)           │  (add an auth proxy)
      ▼                          ▼
┌────────────────────────────────────────────┐
│  your dedicated DGX Spark · EU-Central     │
│  model · vector store · chat UI · API      │
│  128 GB unified memory · 1 TB NVMe         │
└────────────────────────────────────────────┘

      two arrows, both listed in the DPA.

To tehtate vs. API z obračunom po tokenih? Preberite zasebno gostovanje LLM vs. API OpenAI ali zasebno gostovanje LLM vs. Azure AI Foundry za lokacijo podatkov, to, kdo lahko vidi vaše pozive, in izmerjeno prepustnost.

Regulirano delo

Zdravstvo, pravo, finance in javni sektor.

Ekipe na teh področjih postavljajo ista tri vprašanja: kje je naprava, kdo drug lahko pride do nje in kaj piše v pogodbi. Odgovori so za vsako panogo enaki. Naprava je v EU-Central in dodeljena eni stranki. GPUwerk ohranja običajen skrbniški dostop za njeno upravljanje, pogodba o obdelavi podatkov po členu 28 in seznam podobdelovalcev pa določata, kaj to zajema.

Namenska naprava sama po sebi ne naredi obdelave skladne s predpisi. Zdravstvene kartoteke, zaupni spisi, plačilni podatki in podatki o državljanih imajo vsak svoja pravila, ali ta postavitev ustreza njim, pa odloči vaša pooblaščena oseba za varstvo podatkov ali pravni svetovalec. GDPR in Akt EU o umetni inteligenci na namenski strojni opremi navaja dokazila, ki jih GPUwerk lahko preda.

Vodniki

Primerjave ponudnikov.

Primerjave s cenami, preverjenimi na lastnih straneh posameznih ponudnikov. Kazalo primerjav navaja vse druge ponudnike.

Kako se primerja

Namenski Spark v EU v primerjavi z API-ji z obračunom po tokenih, s katerimi ga kupci primerjajo. Lokacija podatkov, kdo lahko vidi vaše pozive in kje je katera možnost boljša.Prebrskajte 11 vodnikov

Pogosta vprašanja o skladnosti.

Ali je skladno z GDPR?

GPUwerk priskrbi dokazila, ki jih potrebujete: strojna oprema in obratovanje v EU-Central, pogodba o obdelavi podatkov po členu 28, brez podobdelovalcev opravil v GPUwerkovih lastnih razredih ter namenske naprave z enim samim najemnikom, do vsebine katerih GPUwerk ne dostopa, je ne bere, kopira, indeksira ali analizira. Infrastrukturni skrbniški dostop do naprave obstaja, kot pri vsaki gostovani storitvi, in se po pogodbi o obdelavi podatkov ne uporablja na vaši vsebini, razen na vašo prošnjo za podporo ali kadar to zahteva pravna obveznost. Vi ostajate upravljavec, zato skladnost same obdelave zatrjujete sami.

Ali podpišete pogodbo o obdelavi podatkov?

Da, standardna pogodba o obdelavi podatkov po členu 28 GDPR je brezplačno objavljena na /legal/dpa. Seznam podobdelovalcev GPUwerk za opravila je kratek: v GPUwerkovih lastnih razredih jih ni; partnerski razred teče na partnerskem gostitelju.

Ali lahko naš DPO preveri nastavitev?

Da. GPUwerk zagotovi dokumentacijo o fizični lokaciji, nadzoru dostopa in postopkih brisanja ter neposredno odgovarja na vprašalnike pooblaščencev za varstvo podatkov. Pošljite vprašanja svojega DPO.

Kaj se zgodi z našimi podatki, ko odstranimo instanco?

Odstranitev z vozlišča izbriše vaš vsebnik in njegov nosilec /workspace. Preden je to vozlišče ponujeno drugi stranki, je očiščeno: odstranjeni so vsi vsebniki in nosilci najemnikov, dokler kateri od njih ostaja, pa vozlišče ne prestane preverjanja pripravljenosti in ni dodeljeno. To je brisanje na ravni datotečnega sistema. GPUwerk na vozliščih ne uporablja samošifrirnih diskov ali šifriranja celotnega diska, zato ne trdi, da gre za kriptografski izbris. GPUwerk nikjer drugje ne hrani kopije vašega delovnega prostora: ne varnostne kopije in ne obnovitvene kopije. Če disk odpove, je delovni prostor na njem izgubljen, zato hranite lastno kopijo. Če vaše dobroimetje doseže nič ali dosežete mesečni proračun, se instanca ustavi in njena naprava sprosti. Delovni prostor ostane na tej napravi do 48 ur. Če v tem času napolnite dobroimetje ali zvišate proračun in jo znova zaženete, nadaljuje, kjer je ostala, razen če je napravo najel kdo drug, kar ga izbriše prej. Po 48 urah je izbrisan dokončno. Pred tem vas opozorijo sporočila o nizkem stanju; samodejno polnjenje to zmanjša, a plačilo lahko spodleti.

Ali to zajema tudi akt EU o umetni inteligenci, ne le GDPR?

Namenska strojna oprema ne spremeni vašega razreda tveganja po aktu EU o umetni inteligenci niti vašega statusa ponudnika ali uvajalca: ta sta odvisna od tega, kaj vaš sistem počne, ne od tega, kje teče. Daje pa vam jasen odgovor na vprašanje, kdo lahko dostopa do vaših podatkov, medtem ko model teče, kar je uporaben dokaz za obveznosti na strani uvajalca, s katerimi se večina podjetij z lastnim gostovanjem dejansko sooča. Celovito sliko na eni strani si oglejte v GDPR in akt EU o umetni inteligenci na namenski strojni opremi.

Več kot infrastruktura

Praktičen paket za uvedbo.

Če potrebujete več kot infrastrukturo, lahko dodam opredeljeno sodelovanje z jasnimi rezultati za uvajanje ekipe in integracijo.

  1. Sprejem projekta

    Opredelite meje primera uporabe, cilje glede odzivnosti in to, kdo odloča o odobritvi za produkcijo.

  2. Usposabljanje ekipe

    Praktične seje o kakovosti pozivov, vzorcih upravljanja in pogostih operacijah.

  3. Časovnica integracije

    Načrtujte uvedbo API, vključno s tem, kaj naj vaša orodja storijo, ko je instanca ustavljena ali zasedena.

Oglejte si, kako sodelovanje poteka

Oživite svoj projekt AI.

Zaženite Spark in ga sami preizkusite ali vprašajte človeka, ki skrbi za omare. Prvo polnjenje: plačajte 20 USD, dobite 30 USD dobroimetja.