Ospitar ta' LLM privat f'EU-Central
Il-mudelli tiegħek. Id-data tiegħek. Kerrej wieħed: int.
Ospitar ta' LLM privat fuq magni dedikati sħaħ f'EU-Central. Id-data tiegħek tiġi pproċessata fl-UE, qatt ma tintuża għat-taħriġ, u ebda klijent ieħor qatt ma jmiss il-GPU tiegħek.
$0.79/siegħa, iffatturat bil-minuta · ħallas $20, ikseb $30 kreditu fuq l-ewwel top-up tiegħek
Ħarsa ġenerali.
Kerrej wieħed għal kull magna
Magna dedikata sħiħa, assenjata lilek. Ebda GPUs maqsuma.
Sub-proċessuri għall-workloads
Fuq il-livelli ta' GPUwerk stess. Il-lista tas-sub-proċessuri hija qasira: ebda waħda għall-workloads tal-istanzi hemm; il-livell Partner jaħdem fuq host ta' sieħeb.
Ftehim tal-GDPR dwar l-ipproċessar tad-data
Ippubblikata fuq /legal/dpa, bla ħlas.
It-tliet biżgħat
It-tliet biżgħat, imwieġba.
Kull kumpanija li nitkellem magħha tasal bl-istess tliet mistoqsijiet. Hawn eżattament kif tiġi ttrattata kull waħda.
"Id-data tagħna toħroġ mill-UE"
Ma jbiddilha xejn. Il-hardware jinsab fiżikament f'EU-Central u huwa mħaddem minn PRINT IT! SE, Societas Europaea rreġistrata fi Praga. Ma hemmx kumpanija omm Amerikana u, fuq il-livelli ta' GPUwerk stess, ebda reġjun Amerikan wara dik il-magna. Il-ftit servizzi li tuża GPUwerk madwarha, bħall-email tranżazzjonali, huma elenkati bil-fornituri u l-pajjiżi tagħhom fil-lista tas-sub-proċessuri. Fejn tinżamm id-data mhijiex kaxxa f'pannell ta' settings, hija fejn il-magna titwaħħal mar-rack.
"Il-fornitur iħarreġ fuq id-data tagħna"
GPUwerk tħaddem infrastruttura, mhux mudelli: il-prompts u d-dokumenti tiegħek jiġu pproċessati fuq il-magna dedikata tiegħek, minn software li installajt inti, li jintlaħaq biss permezz taċ-ċwievet SSH tiegħek u t-terminal fil-browser tal-console tiegħek. Bħal fuq kull servizz ospitat, GPUwerk iżżomm aċċess amministrattiv tal-infrastruttura għall-magna ta' taħt, imma bħala politika stabbilita fil-ftehim dwar l-ipproċessar tad-data ta' GPUwerk, GPUwerk ma taċċessax il-kontenut tal-ispazju tax-xogħol tiegħek ħlief fuq talba tiegħek għall-appoġġ jew fejn obbligu legali jitlob dan, għalhekk ma hemm xejn x'jiġi mħarreġ fuqu. Hekk jew hekk, dan jinsab fil-kuntratt. L-uniku taħriġ li jsir huwa tiegħek, fuq id-data tiegħek stess.
"L-impjegati jikkupjaw sigrieti f'ChatGPT"
L-imblukkar jimbuttah lejn it-telefowns personali. Is-soluzzjoni hija alternattiva approvata li hija daqstant konvenjenti: assistent tal-klassi ChatGPT fuq l-istanza tiegħek stess, l-istess UI tal-chat, l-istess API, b'kull prompt jibqa' fuq magna dedikata assenjata lilek biss. Ara s-setup tal-ChatGPT privat →
Għad-DPO tiegħek
Miktub biex id-DPO tiegħek ikun jista' jgħaddih.
L-istampa tal-konformità f'tabella waħda, b'lingwaġġ ċar, bla marketing.
| Mistoqsija | Tweġiba |
|---|---|
| Fejn tiġi pproċessata fiżikament id-data? | EU-Central, fuq magna dedikata b'kerrej wieħed assenjata lilek |
| Min hu l-operatur? | PRINT IT! SE, Societas Europaea rreġistrata fi Praga, ir-Repubblika Ċeka (Company ID 069 60 090). Ebda entità omm barra l-UE. |
| Min jista' jaċċessa l-kontenut tal-istanza? | Permezz tal-istanza nnifisha, dawk biss li għandhom iċ-ċwievet SSH tiegħek, u inti permezz tat-terminal fil-browser fil-console GPUwerk tiegħek; id-dħul bil-password huwa mitfi fuq il-flotta kollha. GPUwerk iżżomm aċċess amministrattiv tal-infrastruttura għall-magna ta' taħt, bħal fuq kull servizz ospitat, u taħt id-DPA ma tużahx fuq il-kontenut tiegħek ħlief fuq talba tiegħek għall-appoġġ jew fejn obbligu legali jitlob dan. L-endpoint HTTPS ta' image ta' mudell jista' jintlaħaq minn kull min għandu l-URL sakemm ma tqiegħedx proxy li jawtentika bħal LiteLLM quddiemu. |
| GPUwerk taqra d-data tal-prompts jew tal-mudelli? | Le. GPUwerk tospita l-hardware u tħaddem il-fatturazzjoni u, taħt id-DPA, ma taċċessax, ma taqrax, ma tikkopjax, ma tindiċjax u ma tanalizzax il-kontenut tal-workloads |
| Hemm data tal-klijenti li tintuża għat-taħriġ? | Le, kuntrattwalment, u billi GPUwerk ma taċċessax il-kontenut tiegħek ma hemm xejn x'jiġi mħarreġ fuqu |
| Sub-proċessuri għall-workloads? | Ebda waħda fuq il-livelli ta' GPUwerk stess (il-livell Partner jaħdem fuq host ta' sieħeb) |
| DPA (GDPR Art. 28)? | Ippubblikata fuq /legal/dpa, bla ħlas |
| Id-data mat-terminazzjoni? | Il-container u l-volum tal-ispazju tax-xogħol jitħassru min-nodu, u n-nodu jiġi ssanitizzat qabel ma jiġi offrut lil ħaddieħor. Tħassir mis-sistema tal-fajls, mhux tħassir kriptografiku. |
Arkitettura
L-arkitettura hija l-argument.
Ftit vleġeġ, kull waħda dokumentata: iqsar ir-reviżjoni tad-DPO.
your office / VPN your apps
│ │
│ SSH (keys only, │ HTTPS model endpoint
│ dedicated IP) │ (add an auth proxy)
▼ ▼
┌────────────────────────────────────────────┐
│ your dedicated DGX Spark · EU-Central │
│ model · vector store · chat UI · API │
│ 128 GB unified memory · 1 TB NVMe │
└────────────────────────────────────────────┘
two arrows, both listed in the DPA.
Qed tqabbel dan ma' API bit-token minflok? Aqra ospitar ta' LLM privat vs l-API ta' OpenAI jew ospitar ta' LLM privat vs Azure AI Foundry għal fejn tinsab id-data, min jista' jara l-prompts tiegħek, u t-throughput imkejjel.
Xogħol regolat
Is-saħħa, il-liġi, il-finanzi u s-settur pubbliku.
It-timijiet f'dawn l-oqsma jistaqsu l-istess tliet mistoqsijiet: fejn tinsab il-magna, min ieħor jista' jilħaqha, u x'tgħid il-kuntratt. It-tweġibiet huma l-istess għal kull settur. Il-magna tinsab f'EU-Central u hija assenjata lil klijent wieħed. GPUwerk iżżomm aċċess amministrattiv standard biex tħaddimha, u d-DPA taħt l-Artikolu 28 u l-lista tas-sub-proċessuri jistabbilixxu x'ikopri dan.
Magna dedikata ma tagħmilx workload konformi waħedha. Rekords ta' pazjenti, fajls ta' każijiet privileġġjati, data ta' ħlas u data taċ-ċittadini kull waħda għandha r-regoli tagħha, u d-DPO jew l-avukat tiegħek jiddeċiedi jekk dan is-setup jissodisfahomx. Il-GDPR u l-Att tal-UE dwar l-AI fuq hardware dedikat jelenka l-evidenza li GPUwerk tista' tagħti.
Gwidi
Tqabbil tal-fornituri.
It-tqabbil bil-prezzijiet iċċekkjati mal-paġna ta' kull fornitur. L-indiċi tat-tqabbil jelenka kull fornitur ieħor.
Kif iqabbel
Spark dedikat fl-UE kontra l-APIs bit-token li x-xerrejja jqabbluh magħhom. Fejn tinsab id-data, min jista' jara l-prompts tiegħek, u fejn jirbaħ kull wieħed.Ara 11-il gwida
- Ospitar ta' LLM privat vs l-API ta' OpenAI għall-kumpaniji tal-UEFejn tinsab id-data, min jista' jara l-prompts tiegħek, tok/s imkejla, u fejn jirbaħ kull wieħed.8 min qari
- Ospitar ta' LLM privat vs Azure AI Foundry għall-kumpaniji tal-UEIl-katalgu tal-mudelli, fejn tinsab id-data, il-mudell tal-prezzijiet, u fejn jirbaħ kull wieħed.8 min qari
- Ospitar ta' LLM privat vs l-API ta' Anthropic għall-kumpaniji tal-UEFejn tinsab id-data, min jista' jara l-prompts tiegħek, tok/s imkejla, u fejn jirbaħ kull wieħed.8 min qari
- Ospitar ta' LLM privat vs RunPodRunPod huwa suq ta' GPUs fuq ħafna hosts u tipi ta' GPUs. It-tqabbil huwa dwar min verament iħaddem il-magna, mhux biss dwar min jikriha.8 min qari
- Ospitar ta' LLM privat vs GroqIl-hardware LPU ta' Groq huwa tassew mgħaġġel, aktar mgħaġġel minn ħafna inferenza fuq GPUs. DGX Spark dedikat jikkompeti fuq assi differenti: hardware b'kerrej wieħed u kontroll tad-data, mhux veloċità safja.8 min qari
- Ospitar ta' LLM privat vs Together AITogether AI tħaddem katalgu wiesa' ta' mudelli miftuħa fuq infrastruttura maqsuma b'ħafna kerrejja. DGX Spark dedikat huwa magna waħda, li tħaddem il-mudell tiegħek, taħt iċ-ċwievet tiegħek.8 min qari
- Ospitar ta' LLM privat vs Lambda Labs għall-kumpaniji tal-UEL-eqreb tqabbil fil-forma ma' GPUwerk, li jvarja l-aktar fir-reġjun u fil-hardware. Fejn jirbaħ kull wieħed.8 min qari
- Ospitar ta' LLM privat vs Scaleway għall-kumpaniji tal-UEŻewġ għażliet ibbażati fl-UE, waħda dejqa u bi prezz fiss, l-oħra cloud wiesa' għal kull skop. Fejn jirbaħ kull wieħed.8 min qari
- Ospitar ta' LLM privat vs is-servers GPU ta' Hetzner għall-kumpaniji tal-UEHardware dedikat bi prezz tajjeb minn ospitant Ġermaniż magħruf, imqabbel ma' magna b'memorja unifikata mibnija għall-inferenza. Fejn jirbaħ kull wieħed.8 min qari
- Ospitar ta' LLM privat vs CoreWeave għall-kumpaniji tal-UEDGX Spark dedikat fl-UE għal $0.79/siegħa kontra l-cloud tal-GPUs għall-intrapriżi ta' CoreWeave: l-iskala tal-clusters, il-minimi kuntrattwali, fejn tinsab id-data, u fejn verament jaqbel kull wieħed.8 min qari
- Ospitar ta' LLM privat vs Vast.ai għall-kumpaniji tal-UEDGX Spark dedikat fl-UE għal $0.79/siegħa kontra s-suq ta' GPUs peer-to-peer ta' Vast.ai: min verament għandu l-magna, fejn tinsab id-data, l-affidabbiltà, u fejn jirbaħ kull wieħed.8 min qari
- AI privata vs ChatGPT EnterpriseFejn jieqfu l-kontrolli kuntrattwali ta' ChatGPT Enterprise u tibda l-ħażna tad-data f'post magħruf ta' magna dedikata.7 min qari
- DGX Spark vs istanzi GPU fil-cloudLi jkollok Spark dedikat kontra l-kera ta' sigħat GPU bit-token jew bis-siegħa, imqabbla fuq l-ispiża u l-kontroll.7 min qari
- Ospitar minnek stess vs pjattaformi mmaniġġjati tal-LLMsX'tieħu f'idejk meta tħaddem il-mudell inti stess, u x'tibqa' tħallilek f'idejk pjattaforma mmaniġġjata.7 min qari
FAQ dwar il-konformità.
Huwa konformi mal-GDPR?
GPUwerk tagħti l-evidenza li teħtieġ: hardware u operazzjonijiet f'EU-Central, ftehim dwar l-ipproċessar tad-data taħt l-Artikolu 28, ebda sub-proċessur tal-workloads fuq il-livelli ta' GPUwerk stess, u magni dedikati b'kerrej wieħed li GPUwerk ma taċċessax, ma taqrax, ma tikkopjax, ma tindiċjax u ma tanalizzax il-kontenut tagħhom. Jeżisti aċċess amministrattiv tal-infrastruttura għall-magna ta' taħt, bħal fuq kull servizz ospitat, u taħt id-DPA ma jintużax fuq il-kontenut tiegħek ħlief fuq talba tiegħek għall-appoġġ jew fejn obbligu legali jitlob dan. Inti tibqa' l-kontrollur, għalhekk il-konformità tal-ipproċessar innifsu trid tiddikjaraha inti.
Tiffirma DPA?
Iva, DPA standard skont l-Artikolu 28 tal-GDPR huwa ppubblikat f'/legal/dpa mingħajr ħlas. Il-lista tas-sub-proċessuri ta' GPUwerk għall-workloads hija qasira: fuq il-livelli proprji ta' GPUwerk m'hemm l-ebda wieħed; il-livell Partner jaħdem fuq host ta' sieħeb.
Id-DPO tagħna jista' jivverifika s-setup?
Iva. GPUwerk tipprovdi dokumentazzjoni tal-post fiżiku, tal-kontrolli tal-aċċess u tal-proċeduri tat-tħassir, u twieġeb direttament il-kwestjonarji tad-DPO. Ibgħat il-mistoqsijiet tad-DPO tiegħek.
X'jiġri mid-data tagħna meta nitterminaw?
It-terminazzjoni tħassar il-container tiegħek u l-volum /workspace tiegħu min-nodu. Qabel ma dak in-nodu jiġi offrut lil klijent ieħor jiġi ssanitizzat: kull container u volum ta' kerrej jitneħħa, u n-nodu ma jgħaddix mill-verifika tat-tħejjija u ma jiġix allokat waqt li jibqa' xi wieħed minnhom. Dan huwa tħassir fil-livell tas-sistema tal-fajls. GPUwerk ma tħaddimx drives li jikkriptaw lilhom infushom u lanqas kriptaġġ tad-disk sħiħ fuq in-nodi, għalhekk ma tagħmel ebda dikjarazzjoni ta' tħassir kriptografiku. GPUwerk ma żżomm ebda kopja tal-ispazju tax-xogħol tiegħek x'imkien ieħor: ebda backup u ebda kopja ta' rkupru. Jekk drive jieqaf jaħdem, l-ispazju tax-xogħol fuqu jintilef, għalhekk żomm kopja tiegħek. Jekk il-kreditu tiegħek jilħaq żero jew tilħaq il-baġit ta' kull xahar tiegħek, l-istanza titwaqqaf u l-magna tagħha tiġi rrilaxxata. L-ispazju tax-xogħol jibqa' fuq dik il-magna sa 48 siegħa. Agħmel top-up jew għolli l-baġit u erġa' ibdieh f'dak il-ħin u jkompli minn fejn ħalla, sakemm ħaddieħor ma jkunx kera l-magna, li jħassru qabel. Wara 48 siegħa jitħassar għal kollox. Emails ta' bilanċ baxx iwissuk qabel ma jiġri dan; it-top-up awtomatiku jagħmlu inqas probabbli, imma ħlas jista' jfalli.
Dan ikopri wkoll l-Att tal-UE dwar l-AI, mhux il-GDPR biss?
Hardware dedikat ma jbiddilx il-livell ta' riskju tiegħek taħt l-Att tal-UE dwar l-AI u lanqas l-istatus tiegħek ta' fornitur jew ta' min jużah, għax dawk jiddependu minn x'tagħmel is-sistema tiegħek, mhux minn fejn taħdem. Dak li jagħtik huwa tweġiba ċara dwar min jista' jaċċessa d-data tiegħek waqt li jaħdem il-mudell, u din hija evidenza utli għall-obbligi ta' min jużah li fil-fatt jiffaċċjaw ħafna mill-kumpaniji li jospitaw huma stess. Ara Il-GDPR u l-Att tal-UE dwar l-AI fuq hardware dedikat għall-istampa sħiħa f'paġna waħda.
Lil hinn mill-infrastruttura
Pakkett prattiku ta' rollout.
Jekk teħtieġ aktar mill-infrastruttura, nista' nżid inkarigu definit b'riżultati ċari għall-introduzzjoni tat-tim u l-integrazzjoni.
Intake tal-proġett
Iddefinixxi l-konfini tal-każ ta' użu, il-miri tal-latenza, u min japprova l-produzzjoni.
Taħriġ tat-tim
Sessjonijiet prattiċi dwar il-kwalità tal-prompts, mudelli ta' governanza, u operazzjonijiet komuni.
Pjan direzzjonali tal-integrazzjoni
Ippjana l-użu tal-API, inkluż x'għandhom jagħmlu l-għodod tiegħek meta l-istanza tkun imwaqqfa jew okkupata.
Agħti l-ħajja lill-proġett tal-AI tiegħek.
Iddeploja Spark u ttestjah inti stess, jew staqsi lil min imexxi r-racks. L-ewwel top-up: ħallas $20, ikseb $30 kreditu.