Privatus LLM talpinimas EU-Central regione
Jūsų modeliai. Jūsų duomenys. Vienas nuomininkas: jūs.
Privatus LLM talpinimas visuose dedikuotuose įrenginiuose EU-Central regione. Jūsų duomenys tvarkomi ES, niekada nenaudojami mokymui, o jūsų GPU niekada nepaliečia joks kitas klientas.
0,79 USD/val., apmokestinama už minutę · sumokėkite 20 USD, gaukite 30 USD kredito pirmą kartą papildę
Trumpai.
Vienam įrenginiui – vienas nuomininkas
Visas dedikuotas įrenginys, priskirta jums. Jokių bendrai naudojamų GPU.
Darbo krūvių subtvarkytojai
GPUwerk nuosavuose lygiuose. Subtvarkytojų sąrašas trumpas: egzempliorių darbo krūviams ten jų nėra; Partner lygis veikia partnerio talpintojo įrenginyje.
BDAR duomenų tvarkymo sutartis
Paskelbta /legal/dpa, nemokamai.
Trys baimės
Trys baimės ir atsakymai.
Kiekviena įmonė, su kuria kalbuosi, ateina su tais pačiais trimis rūpesčiais. Štai kaip tiksliai sprendžiamas kiekvienas iš jų.
„Mūsų duomenys palieka ES“
Nekeičia. Įranga fiziškai yra EU-Central regione ir ją valdo PRINT IT! SE – Prahoje registruota Europos bendrovė (Societas Europaea). Nėra JAV patronuojančiosios įmonės, o GPUwerk nuosavuose lygiuose už to įrenginio nėra JAV regiono. Kelios aplinkinės paslaugos, kurias naudoja GPUwerk, pavyzdžiui, transakciniai el. laiškai, su tiekėjais ir šalimis išvardytos subtvarkytojų sąraše. Duomenų buvimo vieta – ne varnelė nustatymų skydelyje, o vieta, kur įrenginys prisuktas prie serverių stovo.
„Tiekėjas moko modelius su mūsų duomenimis“
GPUwerk valdo infrastruktūrą, ne modelius: jūsų užklausos ir dokumentai apdorojami jūsų dedikuotame įrenginyje, jūsų įdiegta programine įranga, pasiekiama tik per jūsų SSH raktus ir konsolės naršyklės terminalą. Kaip ir bet kurioje talpinamoje paslaugoje, GPUwerk išlaiko infrastruktūros administratoriaus prieigą prie paties įrenginio, tačiau pagal GPUwerk duomenų tvarkymo sutartyje nustatytą politiką GPUwerk jūsų darbo srities turinio nepasiekia, išskyrus jūsų prašymu dėl pagalbos arba kai to reikalauja teisinė prievolė, todėl nėra kuo mokyti. Bet kuriuo atveju tai įrašyta sutartyje. Vienintelis vykstantis mokymas – jūsų, su jūsų pačių duomenimis.
„Darbuotojai įklijuoja paslaptis į ChatGPT“
Blokavimas nustumia tai į asmeninius telefonus. Sprendimas – patvirtinta, tokia pat patogi alternatyva: ChatGPT klasės asistentas jūsų pačių egzemplioriuje, ta pati pokalbių sąsaja, ta pati API, o kiekviena užklausa lieka dedikuotame įrenginyje, priskirtame tik jums. Žr. privataus ChatGPT sąranką →
Jūsų DAP
Parašyta, kad jūsų DAP galėtų persiųsti.
Atitikties vaizdas vienoje lentelėje, paprasta kalba, be rinkodaros.
| Klausimas | Atsakymas |
|---|---|
| Kur duomenys fiziškai tvarkomi? | EU-Central, dedikuotoje vieno nuomininko įrenginyje, priskirtoje jums |
| Kas yra operatorius? | PRINT IT! SE – Europos bendrovė (Societas Europaea), registruota Prahoje, Čekijoje (įmonės kodas 069 60 090). Nėra ne ES patronuojančiosios įmonės. |
| Kas gali pasiekti egzemplioriaus turinį? | Per patį egzempliorių – tik jūsų SSH raktų turėtojai, o jūs – per naršyklės terminalą savo GPUwerk konsolėje; prisijungimas slaptažodžiu išjungtas visame parke. GPUwerk išlaiko infrastruktūros administratoriaus prieigą prie paties įrenginio, kaip ir bet kurioje talpinamoje paslaugoje, ir pagal DPA nenaudoja jos jūsų turiniui, išskyrus jūsų prašymu dėl pagalbos arba kai to reikalauja teisinė prievolė. Modelio atvaizdo HTTPS galinį tašką gali pasiekti bet kas, turintis URL, kol priešais jį neįrengiate autentifikuojančio tarpinio serverio, pavyzdžiui, LiteLLM. |
| Ar GPUwerk skaito užklausas ar modelio duomenis? | Ne. GPUwerk talpina įrangą ir tvarko atsiskaitymą, o pagal DPA nepasiekia, neskaito, nekopijuoja, neindeksuoja ir neanalizuoja darbo krūvio turinio |
| Ar kokie nors klientų duomenys naudojami mokymui? | Ne, pagal sutartį, o kadangi GPUwerk nepasiekia jūsų turinio, nėra kuo mokyti |
| Darbo krūvių subtvarkytojai? | GPUwerk nuosavuose lygiuose – nėra (Partner lygis veikia partnerio talpintojo įrenginyje) |
| DPA (BDAR 28 str.)? | Paskelbta /legal/dpa, nemokamai |
| Duomenys nutraukus? | Konteineris ir darbo srities tomas ištrinami iš mazgo, mazgas išvalomas prieš pasiūlant jį kam nors kitam. Failų sistemos ištrynimas, ne kriptografinis ištrynimas. |
Architektūra
Architektūra ir yra argumentas.
Mažai rodyklių, kiekviena dokumentuota: kuo trumpesnė DAP peržiūra.
your office / VPN your apps
│ │
│ SSH (keys only, │ HTTPS model endpoint
│ dedicated IP) │ (add an auth proxy)
▼ ▼
┌────────────────────────────────────────────┐
│ your dedicated DGX Spark · EU-Central │
│ model · vector store · chat UI · API │
│ 128 GB unified memory · 1 TB NVMe │
└────────────────────────────────────────────┘
two arrows, both listed in the DPA.
Svarstote tai palyginti su mokama už tokeną API? Skaitykite privatus LLM talpinimas vs. OpenAI API arba privatus LLM talpinimas vs. Azure AI Foundry apie duomenų vietą, kas gali matyti jūsų užklausas, ir išmatuotą pralaidumą.
Reguliuojamas darbas
Sveikata, teisė, finansai ir viešasis sektorius.
Šių sričių komandos užduoda tuos pačius tris klausimus: kur yra įrenginys, kas dar gali jį pasiekti ir kas parašyta sutartyje. Atsakymai visiems sektoriams vienodi. Įrenginys yra EU-Central regione ir priskirta vienam klientui. GPUwerk išlaiko įprastą administratoriaus prieigą, kad galėtų ją eksploatuoti, o 28 straipsnio DPA ir subtvarkytojų sąraše nustatyta, ką tai apima.
Dedikuotas įrenginys savaime nepadaro darbo krūvio atitinkančio reikalavimus. Pacientų įrašams, privilegijuotoms bylų medžiagoms, mokėjimų duomenims ir piliečių duomenims taikomos atskiros taisyklės, o ar ši sąranka jas atitinka, sprendžia jūsų DAP arba teisininkas. Puslapyje BDAR ir ES DI aktas dedikuotoje įrangoje išvardyti įrodymai, kuriuos GPUwerk gali pateikti.
Vadovai
Tiekėjų palyginimai.
Palyginimai su kainomis, patikrintomis pagal kiekvieno tiekėjo puslapį. Palyginimų rodyklėje išvardyti visi kiti tiekėjai.
Kaip atrodo palyginus
Dedikuotas Spark ES, palyginti su mokamomis už tokeną API, kurias pirkėjai lygina kartu. Duomenų vieta, kas gali matyti jūsų užklausas ir kur kiekvienas variantas laimi.Naršyti 11 vadovų
- Privatus LLM talpinimas vs. OpenAI API ES įmonėmsDuomenų vieta, kas gali matyti jūsų užklausas, išmatuoti tok/s ir kur kiekvienas variantas laimi.8 min. skaitymo
- Privatus LLM talpinimas vs. Azure AI Foundry ES įmonėmsModelių katalogas, duomenų vieta, kainodaros modelis ir kur kiekvienas variantas laimi.8 min. skaitymo
- Privatus LLM talpinimas vs. Anthropic API ES įmonėmsDuomenų vieta, kas gali matyti jūsų užklausas, išmatuoti tok/s ir kur kiekvienas variantas laimi.8 min. skaitymo
- Privatus LLM talpinimas vs. RunPodRunPod – GPU prekyvietė su daug talpintojų ir GPU tipų. Palyginama pagal tai, kas iš tikrųjų valdo įrenginį, o ne tik pagal nuomos modelį.8 min. skaitymo
- Privatus LLM talpinimas vs. GroqGroq LPU įranga iš tiesų greita, greitesnė už daugumą GPU inferencijos. Dedikuotas DGX Spark konkuruoja kita ašimi: vieno nuomininko įranga ir duomenų kontrolė, o ne grynasis greitis.8 min. skaitymo
- Privatus LLM talpinimas vs. Together AITogether AI aptarnauja platų atvirųjų modelių katalogą bendroje kelių nuomininkų infrastruktūroje. Dedikuotas DGX Spark – vienas įrenginys, vykdantis jūsų modelį, valdomas jūsų raktais.8 min. skaitymo
- Privatus LLM talpinimas vs. Lambda Labs ES įmonėmsPagal formą artimiausias palyginimas su GPUwerk, besiskiriantis daugiausia regionu ir įranga. Kur kiekvienas variantas laimi.8 min. skaitymo
- Privatus LLM talpinimas vs. Scaleway ES įmonėmsDu ES variantai – vienas siauras ir fiksuotos kainos, kitas – plati bendrosios paskirties debesija. Kur kiekvienas variantas laimi.8 min. skaitymo
- Privatus LLM talpinimas vs. Hetzner GPU serveriai ES įmonėmsGero kainos ir vertės santykio dedikuota įranga iš gerai žinomo Vokietijos talpintojo, palyginta su inferencijai sukurtu bendros atminties įrenginiu. Kur kiekvienas variantas laimi.8 min. skaitymo
- Privatus LLM talpinimas vs. CoreWeave ES įmonėmsDedikuotas DGX Spark ES už 0,79 USD/val. vs. CoreWeave įmonių GPU debesija: klasterių mastas, minimalūs sutarčių reikalavimai, duomenų vieta ir kur kiekvienas iš tikrųjų tinka.8 min. skaitymo
- Privatus LLM talpinimas vs. Vast.ai ES įmonėmsDedikuotas DGX Spark ES už 0,79 USD/val. vs. Vast.ai tarpusavio (peer-to-peer) GPU prekyvietė: kam iš tikrųjų priklauso įrenginys, duomenų vieta, patikimumas ir kur kiekvienas variantas laimi.8 min. skaitymo
- Privatus DI vs. ChatGPT EnterpriseKur baigiasi ChatGPT Enterprise sutartinės kontrolės priemonės ir prasideda dedikuoto įrenginio duomenų buvimo vieta.7 min. skaitymo
- DGX Spark vs. debesijos GPU egzemplioriaiDedikuotas Spark vs. GPU laiko nuoma už tokeną ar valandą, palyginti pagal kainą ir kontrolę.7 min. skaitymo
- Savarankiškai talpinamos vs. valdomos LLM platformosKą prisiimate patys vykdydami modelį ir kas vis tiek lieka jūsų rankose valdomoje platformoje.7 min. skaitymo
Atitikties DUK.
Ar tai atitinka BDAR?
GPUwerk pateikia jums reikalingus įrodymus: įranga ir eksploatacija EU-Central regione, 28 straipsnio duomenų tvarkymo sutartis, jokių darbo krūvio subtvarkytojų GPUwerk nuosavuose lygiuose ir dedikuoto vieno nuomininko įrenginio, kurio turinio GPUwerk nepasiekia, neskaito, nekopijuoja, neindeksuoja ir neanalizuoja. Infrastruktūros administratoriaus prieiga prie paties įrenginio egzistuoja, kaip ir bet kurioje talpinamoje paslaugoje, ir pagal DPA ji nenaudojama jūsų turiniui, išskyrus jūsų prašymu dėl pagalbos arba kai to reikalauja teisinė prievolė. Jūs išliekate duomenų valdytoju, todėl paties tvarkymo atitiktį patvirtinate patys.
Ar pasirašote DPA?
Taip, standartinė BDAR 28 straipsnio DPA nemokamai paskelbta /legal/dpa. GPUwerk darbo krūvių subtvarkytojų sąrašas trumpas: GPUwerk nuosavuose lygiuose jų nėra; Partner lygis veikia partnerio talpintojo įrenginyje.
Ar mūsų DAP gali audituoti sąranką?
Taip. GPUwerk pateikia fizinės vietos, prieigos kontrolės ir išvalymo procedūrų dokumentaciją ir tiesiogiai atsako į DAP klausimynus. Atsiųskite savo DAP klausimus.
Kas nutinka mūsų duomenims nutraukus?
Nutraukimas ištrina jūsų konteinerį ir jo /workspace tomą iš mazgo. Prieš pasiūlant tą mazgą kitam klientui, jis išvalomas: pašalinami visi nuomininkų konteineriai ir tomai, o kol bent vienas jų lieka, mazgas neišlaiko parengties patikros ir nėra skiriamas. Tai ištrynimas failų sistemos lygiu. GPUwerk mazguose nenaudoja savaime šifruojančių diskų ar viso disko šifravimo, todėl neteigia atliekanti kriptografinį ištrynimą. GPUwerk niekur kitur nelaiko jūsų darbo srities kopijos: nei atsarginės, nei atkūrimo kopijos. Jei diskas sugenda, jame esanti darbo sritis prarandama, todėl pasilikite savo kopiją. Jei jūsų kreditas pasiekia nulį arba pasiekiate mėnesio biudžetą, egzempliorius sustabdomas ir jo įrenginys atlaisvinamas. Darbo sritis tame įrenginyje lieka iki 48 valandų. Per tą laiką papildykite arba padidinkite biudžetą ir vėl paleiskite, ir ji tęs nuo ten, kur baigė, nebent įrenginį išsinuomojo kas nors kitas – tada ji ištrinama anksčiau. Po 48 valandų ji ištrinama visam laikui. Laiškai apie mažą likutį jus įspėja iš anksto; automatinis papildymas tai daro mažiau tikėtina, bet mokėjimas gali nepavykti.
Ar tai apima ir ES DI aktą, ne tik BDAR?
Dedikuota įranga nepakeičia jūsų ES DI akto rizikos lygio ar tiekėjo/diegėjo statuso – jie priklauso nuo to, ką daro jūsų sistema, o ne nuo to, kur ji veikia. Tačiau ji suteikia aiškų atsakymą, kas gali pasiekti jūsų duomenis, kol veikia modelis, o tai naudingas įrodymas diegėjo pareigoms, su kuriomis iš tikrųjų susiduria dauguma savarankiškai talpinančių įmonių. Bendrą vaizdą viename puslapyje rasite puslapyje BDAR ir ES DI aktas dedikuotoje įrangoje.
Daugiau nei infrastruktūra
Praktinis diegimo paketas.
Jei jums reikia daugiau nei infrastruktūros, galiu pasiūlyti aiškios apimties darbus su konkrečiais rezultatais komandai apmokyti ir integracijai.
Projekto paraiška
Apibrėžkite naudojimo atvejo ribas, delsos tikslus ir kas atsakingas už gamybinio diegimo patvirtinimą.
Komandos mokymai
Praktinės sesijos apie užklausų kokybę, valdymo šablonus ir įprastas operacijas.
Integracijos planas
Suplanuokite API diegimą, įskaitant tai, ką jūsų įrankiai turėtų daryti, kai egzempliorius sustabdytas ar užimtas.
Įgyvendinkite savo DI projektą jau dabar.
Paleiskite Spark ir išbandykite patys arba paklauskite žmogaus, kuris prižiūri serverių stovus. Pirmasis papildymas: sumokėkite 20 USD, gaukite 30 USD kredito.