Privaatne LLM-i majutus EU-Centralis

Sinu mudelid. Sinu andmed. Üks rentija: sinu.

Privaatne LLM-i majutus tervetel dedikeeritud masinatel EU-Centralis. Sinu andmeid töödeldakse EL-is, neid ei kasutata kunagi treenimiseks ja ükski teine klient ei puuduta kunagi sinu GPU-d.

0,79 $/tund, arveldatakse minutipõhiselt · maksa 20 $, saad 30 $ krediiti esimesel krediidi lisamisel

Lühidalt.

1rentija

Üks rentija masina kohta

Terve dedikeeritud masin, mis on määratud sulle. Jagatud GPU-sid pole.

0

Töökoormuste alamtöötlejad

GPUwerki enda tasemetel. Alamtöötlejate nimekiri on lühike: seal eksemplaride töökoormuste jaoks neid pole; partneri tase töötab partnerhostil.

Art.28

GDPR-i andmetöötlusleping

Avaldatud aadressil /legal/dpa, tasuta.

Kolm hirmu

Kolm hirmu, vastatud.

Iga ettevõte, kellega räägin, tuleb samade kolme murega. Siin on täpselt, kuidas igaühega tegeletakse.

„Meie andmed lahkuvad EL-ist“

Ei muuda. Riistvara asub füüsiliselt EU-Centralis ja seda käitab PRINT IT! SE, Prahas registreeritud Euroopa äriühing (Societas Europaea). USA emaettevõtet pole ja GPUwerki enda tasemetel pole selle masina taga ka USA piirkonda. Mõned teenused, mida GPUwerk selle ümber kasutab, näiteks tehingupõhine e-post, on alamtöötlejate nimekirjas koos pakkujate ja riikidega loetletud. Andmete asukoht ei ole märkeruut seadete paneelil, see on koht, kus masin räkki kinnitatakse.

„Pakkuja treenib meie andmetel“

GPUwerk käitab infrastruktuuri, mitte mudeleid: sinu päringuid ja dokumente töödeldakse sinu dedikeeritud masinas sinu paigaldatud tarkvaraga, millele pääseb ligi ainult sinu SSH-võtmete ja konsooli brauseriterminali kaudu. Nagu igal majutatud teenusel, säilib GPUwerkil infrastruktuuri administraatori juurdepääs aluseks olevale masinale, kuid GPUwerki andmetöötluslepingus sätestatud põhimõtte kohaselt ei pääse GPUwerk sinu tööruumi sisule ligi, välja arvatud sinu taotlusel toe saamiseks või kui seda nõuab seadusest tulenev kohustus, seega pole millelgi treenida. See on igal juhul lepingus kirjas. Ainus treenimine, mis toimub, on sinu oma, sinu enda andmetel.

„Töötajad kleebivad saladusi ChatGPT-sse“

Blokeerimine lükkab selle isiklikesse telefonidesse. Lahendus on lubatud alternatiiv, mis on sama mugav: ChatGPT-klassi assistent sinu enda eksemplaril, sama vestlusliides, sama API, iga päring jääb dedikeeritud masinasse, mis on määratud ainult sulle. Vaata privaatse ChatGPT seadistust →

Sinu andmekaitseametnikule

Kirjutatud nii, et sinu andmekaitseametnik saaks selle edasi saata.

Nõuetele vastavuse pilt ühes tabelis, lihtsas keeles, ilma turunduseta.

KüsimusVastus
Kus andmeid füüsiliselt töödeldakse?EU-Central, dedikeeritud ühe rentijaga masinal, mis on määratud sulle
Kes on operaator?PRINT IT! SE, Prahas Tšehhi Vabariigis registreeritud Euroopa äriühing (Societas Europaea) (registrikood 069 60 090). Väljaspool EL-i asuvat emaettevõtet pole.
Kes pääseb eksemplari sisule ligi?Eksemplari enda kaudu ainult sinu SSH-võtmete omanikud ja sina ise GPUwerki konsooli brauseriterminali kaudu; paroolipõhine sisselogimine on kogu pargis keelatud. GPUwerk säilitab infrastruktuuri administraatori juurdepääsu aluseks olevale masinale, nagu igal majutatud teenusel, ja andmetöötluslepingu kohaselt ei kasuta seda sinu sisu puhul, välja arvatud sinu taotlusel toe saamiseks või kui seda nõuab seadusest tulenev kohustus. Mudelitõmmise HTTPS-lõpp-punktile pääseb ligi igaüks, kellel on URL, kuni paigutad selle ette autentiva proksi, näiteks LiteLLM-i.
Kas GPUwerk loeb päringuid või mudeli andmeid?Ei. GPUwerk majutab riistvara ja haldab arveldust ning andmetöötluslepingu kohaselt ei pääse töökoormuse sisule ligi, ei loe, kopeeri, indekseeri ega analüüsi seda
Kas kliendiandmeid kasutatakse treenimiseks?Ei, lepingu järgi, ja kuna GPUwerk sinu sisule ligi ei pääse, pole millelgi treenida
Töökoormuste alamtöötlejad?GPUwerki enda tasemetel puuduvad (partneri tase töötab partnerhostil)
Andmetöötlusleping (GDPR art 28)?Avaldatud aadressil /legal/dpa, tasuta
Andmed lõpetamisel?Konteiner ja tööruumi köide kustutatakse sõlmest, sõlm puhastatakse enne kellelegi teisele pakkumist. Failisüsteemi tasemel kustutamine, mitte krüptograafiline kustutamine.

Arhitektuur

Arhitektuur on argument.

Vähe nooli, igaüks dokumenteeritud: seda lühem on andmekaitseametniku ülevaatus.

your office / VPN            your apps
      │                          │
      │  SSH (keys only,         │  HTTPS model endpoint
      │  dedicated IP)           │  (add an auth proxy)
      ▼                          ▼
┌────────────────────────────────────────────┐
│  your dedicated DGX Spark · EU-Central     │
│  model · vector store · chat UI · API      │
│  128 GB unified memory · 1 TB NVMe         │
└────────────────────────────────────────────┘

      two arrows, both listed in the DPA.

Kaalud seda hoopis tokenipõhise API-ga? Loe privaatne LLM-i majutus vs OpenAI API või privaatne LLM-i majutus vs Azure AI Foundry andmete asukoha, päringute nähtavuse ja mõõdetud läbilaskevõime kohta.

Reguleeritud töö

Tervishoid, õigus, rahandus ja avalik sektor.

Nende valdkondade meeskonnad esitavad samu kolme küsimust: kus masin asub, kes veel sellele ligi pääseb ja mida leping ütleb. Vastused on igas sektoris samad. Masin asub EU-Centralis ja on määratud ühele kliendile. GPUwerk säilitab selle käitamiseks tavapärase administraatori juurdepääsu ning artikli 28 kohane andmetöötlusleping ja alamtöötlejate nimekiri sätestavad, mida see hõlmab.

Dedikeeritud masin üksi ei muuda töökoormust nõuetele vastavaks. Patsiendiandmetel, konfidentsiaalsetel kohtuasjadel, makseandmetel ja kodanike andmetel on igaühel oma reeglid ning sinu andmekaitseametnik või jurist otsustab, kas see seadistus neile vastab. GDPR ja EL-i tehisintellekti määrus dedikeeritud riistvaral loetleb tõendid, mida GPUwerk saab üle anda.

Juhendid

Pakkujate võrdlused.

Võrdlused, mille hinnad on kontrollitud iga pakkuja enda lehe järgi. Võrdluste registris on kõik teised pakkujad.

Võrdlus teistega

Dedikeeritud EL-i Spark võrdluses tokenipõhiste API-dega, mida ostjad sellega kõrvuti kaaluvad. Andmete asukoht, kes näeb sinu päringuid ja kus kumbki võidab.Sirvi 11 juhendit

Nõuetele vastavuse KKK.

Kas see vastab GDPR-ile?

GPUwerk annab vajalikud tõendid: riistvara ja käitus EU-Centralis, artikli 28 kohane andmetöötlusleping, GPUwerki enda tasemetel ei ole töökoormuse alamtöötlejaid ning dedikeeritud ühe rentijaga masinad, mille sisule GPUwerk ei pääse ligi ega loe, kopeeri, indekseeri ega analüüsi seda. Infrastruktuuri administraatori juurdepääs aluseks olevale masinale on olemas, nagu igal majutatud teenusel, ja andmetöötluslepingu kohaselt ei kasutata seda sinu sisu puhul, välja arvatud sinu taotlusel toe saamiseks või kui seda nõuab seadusest tulenev kohustus. Sina jääd vastutavaks töötlejaks, seega on töötlemise enda nõuetele vastavuse kinnitamine sinu ülesanne.

Kas GPUwerk sõlmib andmetöötluslepingu?

Jah, standardne GDPR-i artikli 28 kohane andmetöötlusleping on tasuta avaldatud aadressil /legal/dpa. GPUwerki töökoormuste alamtöötlejate nimekiri on lühike: GPUwerki enda tasemetel neid pole; partneri tase töötab partnerhostil.

Kas meie andmekaitseametnik saab seadistust auditeerida?

Jah. GPUwerk annab dokumentatsiooni füüsilise asukoha, juurdepääsukontrollide ja kustutusprotseduuride kohta ning vastab andmekaitseametniku küsimustikele otse. Saada oma andmekaitseametniku küsimused.

Mis juhtub meie andmetega lõpetamisel?

Lõpetamine kustutab sinu konteineri ja selle /workspace köite sõlmest. Enne selle sõlme pakkumist teisele kliendile see puhastatakse: iga rentija konteiner ja köide eemaldatakse ning sõlm ei läbi valmisolekukontrolli ega eraldata, kuni mõni neist on alles. See on kustutamine failisüsteemi tasemel. GPUwerk ei kasuta sõlmedes isekrüpteeruvaid kettaid ega täisketta krüpteerimist, seega ei väida see krüptograafilist kustutamist. GPUwerk ei hoia sinu tööruumist koopiat kusagil mujal: varukoopiat ega taastekoopiat pole. Kui ketas rikki läheb, kaob sellel olev tööruum, seega hoia oma koopiat. Kui sinu krediit jõuab nulli või kuueelarve täitub, eksemplar peatatakse ja selle masin vabastatakse. Tööruum jääb sellesse masinasse kuni 48 tunniks. Lisa krediiti või tõsta eelarvet ja käivita see selle aja jooksul uuesti ning see jätkab sealt, kus pooleli jäi, välja arvatud juhul, kui keegi teine on masina rentinud, mis kustutab selle varem. 48 tunni pärast kustutatakse see lõplikult. Madala saldo e-kirjad hoiatavad sind enne seda; automaatne krediidi lisamine muudab selle vähem tõenäoliseks, kuid makse võib ebaõnnestuda.

Kas see hõlmab ka EL-i AI-määrust, mitte ainult GDPR-i?

Dedikeeritud riistvara ei muuda sinu EL-i AI-määruse riskitaset ega pakkuja/juurutaja staatust, need sõltuvad sellest, mida sinu süsteem teeb, mitte sellest, kus see töötab. See annab sulle selge vastuse küsimusele, kellel on mudeli töötamise ajal sinu andmetele juurdepääs, mis on kasulik tõend juurutaja kohustuste jaoks, millega enamik ise majutavaid ettevõtteid tegelikult kokku puutub. Ühel lehel koondatud ülevaate saamiseks vaata GDPR ja EL-i AI-määrus dedikeeritud riistvaral.

Infrastruktuurist kaugemale

Praktiline kasutuselevõtu pakett.

Kui vajad rohkem kui infrastruktuuri, saan lisada piiritletud ulatusega koostöö selgete tulemustega meeskonna sisseelamiseks ja integratsiooniks.

  1. Projekti taotlus

    Määratle kasutusjuhtumi piirid, latentsuse eesmärgid ja kes vastutab tootmise heakskiitmise eest.

  2. Meeskonna koolitus

    Praktilised sessioonid päringute kvaliteedi, juhtimismustrite ja tavaliste toimingute kohta.

  3. Integratsiooni teekaart

    Kavanda API kasutuselevõtt, sealhulgas see, mida sinu tööriistad peaksid tegema, kui eksemplar on peatatud või hõivatud.

Vaata, kuidas koostöö toimib

Vii oma AI-projekt ellu.

Juuruta Spark ja testi seda ise või küsi inimeselt, kes räkke haldab. Esimene krediidi lisamine: maksa 20 $, saad 30 $ krediiti.