Privatus LLM talpinimas EU-Central regione

Jūsų modeliai. Jūsų duomenys. Vienas nuomininkas: jūs.

Privatus LLM talpinimas visuose dedikuotuose įrenginiuose EU-Central regione. Jūsų duomenys tvarkomi ES, niekada nenaudojami mokymui, o jūsų GPU niekada nepaliečia joks kitas klientas.

0,79 USD/val., apmokestinama už minutę · sumokėkite 20 USD, gaukite 30 USD kredito pirmą kartą papildę

Trumpai.

1nuomininkas

Vienam įrenginiui – vienas nuomininkas

Visas dedikuotas įrenginys, priskirta jums. Jokių bendrai naudojamų GPU.

0

Darbo krūvių subtvarkytojai

GPUwerk nuosavuose lygiuose. Subtvarkytojų sąrašas trumpas: egzempliorių darbo krūviams ten jų nėra; Partner lygis veikia partnerio talpintojo įrenginyje.

28str.

BDAR duomenų tvarkymo sutartis

Paskelbta /legal/dpa, nemokamai.

Trys baimės

Trys baimės ir atsakymai.

Kiekviena įmonė, su kuria kalbuosi, ateina su tais pačiais trimis rūpesčiais. Štai kaip tiksliai sprendžiamas kiekvienas iš jų.

„Mūsų duomenys palieka ES“

Nekeičia. Įranga fiziškai yra EU-Central regione ir ją valdo PRINT IT! SE – Prahoje registruota Europos bendrovė (Societas Europaea). Nėra JAV patronuojančiosios įmonės, o GPUwerk nuosavuose lygiuose už to įrenginio nėra JAV regiono. Kelios aplinkinės paslaugos, kurias naudoja GPUwerk, pavyzdžiui, transakciniai el. laiškai, su tiekėjais ir šalimis išvardytos subtvarkytojų sąraše. Duomenų buvimo vieta – ne varnelė nustatymų skydelyje, o vieta, kur įrenginys prisuktas prie serverių stovo.

„Tiekėjas moko modelius su mūsų duomenimis“

GPUwerk valdo infrastruktūrą, ne modelius: jūsų užklausos ir dokumentai apdorojami jūsų dedikuotame įrenginyje, jūsų įdiegta programine įranga, pasiekiama tik per jūsų SSH raktus ir konsolės naršyklės terminalą. Kaip ir bet kurioje talpinamoje paslaugoje, GPUwerk išlaiko infrastruktūros administratoriaus prieigą prie paties įrenginio, tačiau pagal GPUwerk duomenų tvarkymo sutartyje nustatytą politiką GPUwerk jūsų darbo srities turinio nepasiekia, išskyrus jūsų prašymu dėl pagalbos arba kai to reikalauja teisinė prievolė, todėl nėra kuo mokyti. Bet kuriuo atveju tai įrašyta sutartyje. Vienintelis vykstantis mokymas – jūsų, su jūsų pačių duomenimis.

„Darbuotojai įklijuoja paslaptis į ChatGPT“

Blokavimas nustumia tai į asmeninius telefonus. Sprendimas – patvirtinta, tokia pat patogi alternatyva: ChatGPT klasės asistentas jūsų pačių egzemplioriuje, ta pati pokalbių sąsaja, ta pati API, o kiekviena užklausa lieka dedikuotame įrenginyje, priskirtame tik jums. Žr. privataus ChatGPT sąranką →

Jūsų DAP

Parašyta, kad jūsų DAP galėtų persiųsti.

Atitikties vaizdas vienoje lentelėje, paprasta kalba, be rinkodaros.

KlausimasAtsakymas
Kur duomenys fiziškai tvarkomi?EU-Central, dedikuotoje vieno nuomininko įrenginyje, priskirtoje jums
Kas yra operatorius?PRINT IT! SE – Europos bendrovė (Societas Europaea), registruota Prahoje, Čekijoje (įmonės kodas 069 60 090). Nėra ne ES patronuojančiosios įmonės.
Kas gali pasiekti egzemplioriaus turinį?Per patį egzempliorių – tik jūsų SSH raktų turėtojai, o jūs – per naršyklės terminalą savo GPUwerk konsolėje; prisijungimas slaptažodžiu išjungtas visame parke. GPUwerk išlaiko infrastruktūros administratoriaus prieigą prie paties įrenginio, kaip ir bet kurioje talpinamoje paslaugoje, ir pagal DPA nenaudoja jos jūsų turiniui, išskyrus jūsų prašymu dėl pagalbos arba kai to reikalauja teisinė prievolė. Modelio atvaizdo HTTPS galinį tašką gali pasiekti bet kas, turintis URL, kol priešais jį neįrengiate autentifikuojančio tarpinio serverio, pavyzdžiui, LiteLLM.
Ar GPUwerk skaito užklausas ar modelio duomenis?Ne. GPUwerk talpina įrangą ir tvarko atsiskaitymą, o pagal DPA nepasiekia, neskaito, nekopijuoja, neindeksuoja ir neanalizuoja darbo krūvio turinio
Ar kokie nors klientų duomenys naudojami mokymui?Ne, pagal sutartį, o kadangi GPUwerk nepasiekia jūsų turinio, nėra kuo mokyti
Darbo krūvių subtvarkytojai?GPUwerk nuosavuose lygiuose – nėra (Partner lygis veikia partnerio talpintojo įrenginyje)
DPA (BDAR 28 str.)?Paskelbta /legal/dpa, nemokamai
Duomenys nutraukus?Konteineris ir darbo srities tomas ištrinami iš mazgo, mazgas išvalomas prieš pasiūlant jį kam nors kitam. Failų sistemos ištrynimas, ne kriptografinis ištrynimas.

Architektūra

Architektūra ir yra argumentas.

Mažai rodyklių, kiekviena dokumentuota: kuo trumpesnė DAP peržiūra.

your office / VPN            your apps
      │                          │
      │  SSH (keys only,         │  HTTPS model endpoint
      │  dedicated IP)           │  (add an auth proxy)
      ▼                          ▼
┌────────────────────────────────────────────┐
│  your dedicated DGX Spark · EU-Central     │
│  model · vector store · chat UI · API      │
│  128 GB unified memory · 1 TB NVMe         │
└────────────────────────────────────────────┘

      two arrows, both listed in the DPA.

Svarstote tai palyginti su mokama už tokeną API? Skaitykite privatus LLM talpinimas vs. OpenAI API arba privatus LLM talpinimas vs. Azure AI Foundry apie duomenų vietą, kas gali matyti jūsų užklausas, ir išmatuotą pralaidumą.

Reguliuojamas darbas

Sveikata, teisė, finansai ir viešasis sektorius.

Šių sričių komandos užduoda tuos pačius tris klausimus: kur yra įrenginys, kas dar gali jį pasiekti ir kas parašyta sutartyje. Atsakymai visiems sektoriams vienodi. Įrenginys yra EU-Central regione ir priskirta vienam klientui. GPUwerk išlaiko įprastą administratoriaus prieigą, kad galėtų ją eksploatuoti, o 28 straipsnio DPA ir subtvarkytojų sąraše nustatyta, ką tai apima.

Dedikuotas įrenginys savaime nepadaro darbo krūvio atitinkančio reikalavimus. Pacientų įrašams, privilegijuotoms bylų medžiagoms, mokėjimų duomenims ir piliečių duomenims taikomos atskiros taisyklės, o ar ši sąranka jas atitinka, sprendžia jūsų DAP arba teisininkas. Puslapyje BDAR ir ES DI aktas dedikuotoje įrangoje išvardyti įrodymai, kuriuos GPUwerk gali pateikti.

Vadovai

Tiekėjų palyginimai.

Palyginimai su kainomis, patikrintomis pagal kiekvieno tiekėjo puslapį. Palyginimų rodyklėje išvardyti visi kiti tiekėjai.

Kaip atrodo palyginus

Dedikuotas Spark ES, palyginti su mokamomis už tokeną API, kurias pirkėjai lygina kartu. Duomenų vieta, kas gali matyti jūsų užklausas ir kur kiekvienas variantas laimi.Naršyti 11 vadovų

Atitikties DUK.

Ar tai atitinka BDAR?

GPUwerk pateikia jums reikalingus įrodymus: įranga ir eksploatacija EU-Central regione, 28 straipsnio duomenų tvarkymo sutartis, jokių darbo krūvio subtvarkytojų GPUwerk nuosavuose lygiuose ir dedikuoto vieno nuomininko įrenginio, kurio turinio GPUwerk nepasiekia, neskaito, nekopijuoja, neindeksuoja ir neanalizuoja. Infrastruktūros administratoriaus prieiga prie paties įrenginio egzistuoja, kaip ir bet kurioje talpinamoje paslaugoje, ir pagal DPA ji nenaudojama jūsų turiniui, išskyrus jūsų prašymu dėl pagalbos arba kai to reikalauja teisinė prievolė. Jūs išliekate duomenų valdytoju, todėl paties tvarkymo atitiktį patvirtinate patys.

Ar pasirašote DPA?

Taip, standartinė BDAR 28 straipsnio DPA nemokamai paskelbta /legal/dpa. GPUwerk darbo krūvių subtvarkytojų sąrašas trumpas: GPUwerk nuosavuose lygiuose jų nėra; Partner lygis veikia partnerio talpintojo įrenginyje.

Ar mūsų DAP gali audituoti sąranką?

Taip. GPUwerk pateikia fizinės vietos, prieigos kontrolės ir išvalymo procedūrų dokumentaciją ir tiesiogiai atsako į DAP klausimynus. Atsiųskite savo DAP klausimus.

Kas nutinka mūsų duomenims nutraukus?

Nutraukimas ištrina jūsų konteinerį ir jo /workspace tomą iš mazgo. Prieš pasiūlant tą mazgą kitam klientui, jis išvalomas: pašalinami visi nuomininkų konteineriai ir tomai, o kol bent vienas jų lieka, mazgas neišlaiko parengties patikros ir nėra skiriamas. Tai ištrynimas failų sistemos lygiu. GPUwerk mazguose nenaudoja savaime šifruojančių diskų ar viso disko šifravimo, todėl neteigia atliekanti kriptografinį ištrynimą. GPUwerk niekur kitur nelaiko jūsų darbo srities kopijos: nei atsarginės, nei atkūrimo kopijos. Jei diskas sugenda, jame esanti darbo sritis prarandama, todėl pasilikite savo kopiją. Jei jūsų kreditas pasiekia nulį arba pasiekiate mėnesio biudžetą, egzempliorius sustabdomas ir jo įrenginys atlaisvinamas. Darbo sritis tame įrenginyje lieka iki 48 valandų. Per tą laiką papildykite arba padidinkite biudžetą ir vėl paleiskite, ir ji tęs nuo ten, kur baigė, nebent įrenginį išsinuomojo kas nors kitas – tada ji ištrinama anksčiau. Po 48 valandų ji ištrinama visam laikui. Laiškai apie mažą likutį jus įspėja iš anksto; automatinis papildymas tai daro mažiau tikėtina, bet mokėjimas gali nepavykti.

Ar tai apima ir ES DI aktą, ne tik BDAR?

Dedikuota įranga nepakeičia jūsų ES DI akto rizikos lygio ar tiekėjo/diegėjo statuso – jie priklauso nuo to, ką daro jūsų sistema, o ne nuo to, kur ji veikia. Tačiau ji suteikia aiškų atsakymą, kas gali pasiekti jūsų duomenis, kol veikia modelis, o tai naudingas įrodymas diegėjo pareigoms, su kuriomis iš tikrųjų susiduria dauguma savarankiškai talpinančių įmonių. Bendrą vaizdą viename puslapyje rasite puslapyje BDAR ir ES DI aktas dedikuotoje įrangoje.

Daugiau nei infrastruktūra

Praktinis diegimo paketas.

Jei jums reikia daugiau nei infrastruktūros, galiu pasiūlyti aiškios apimties darbus su konkrečiais rezultatais komandai apmokyti ir integracijai.

  1. Projekto paraiška

    Apibrėžkite naudojimo atvejo ribas, delsos tikslus ir kas atsakingas už gamybinio diegimo patvirtinimą.

  2. Komandos mokymai

    Praktinės sesijos apie užklausų kokybę, valdymo šablonus ir įprastas operacijas.

  3. Integracijos planas

    Suplanuokite API diegimą, įskaitant tai, ką jūsų įrankiai turėtų daryti, kai egzempliorius sustabdytas ar užimtas.

Žr., kaip vyksta bendradarbiavimas

Įgyvendinkite savo DI projektą jau dabar.

Paleiskite Spark ir išbandykite patys arba paklauskite žmogaus, kuris prižiūri serverių stovus. Pirmasis papildymas: sumokėkite 20 USD, gaukite 30 USD kredito.