Ospitar ta' LLM privat f'EU-Central

Il-mudelli tiegħek. Id-data tiegħek. Kerrej wieħed: int.

Ospitar ta' LLM privat fuq magni dedikati sħaħ f'EU-Central. Id-data tiegħek tiġi pproċessata fl-UE, qatt ma tintuża għat-taħriġ, u ebda klijent ieħor qatt ma jmiss il-GPU tiegħek.

$0.79/siegħa, iffatturat bil-minuta · ħallas $20, ikseb $30 kreditu fuq l-ewwel top-up tiegħek

Ħarsa ġenerali.

1kerrej

Kerrej wieħed għal kull magna

Magna dedikata sħiħa, assenjata lilek. Ebda GPUs maqsuma.

0

Sub-proċessuri għall-workloads

Fuq il-livelli ta' GPUwerk stess. Il-lista tas-sub-proċessuri hija qasira: ebda waħda għall-workloads tal-istanzi hemm; il-livell Partner jaħdem fuq host ta' sieħeb.

Art.28

Ftehim tal-GDPR dwar l-ipproċessar tad-data

Ippubblikata fuq /legal/dpa, bla ħlas.

It-tliet biżgħat

It-tliet biżgħat, imwieġba.

Kull kumpanija li nitkellem magħha tasal bl-istess tliet mistoqsijiet. Hawn eżattament kif tiġi ttrattata kull waħda.

"Id-data tagħna toħroġ mill-UE"

Ma jbiddilha xejn. Il-hardware jinsab fiżikament f'EU-Central u huwa mħaddem minn PRINT IT! SE, Societas Europaea rreġistrata fi Praga. Ma hemmx kumpanija omm Amerikana u, fuq il-livelli ta' GPUwerk stess, ebda reġjun Amerikan wara dik il-magna. Il-ftit servizzi li tuża GPUwerk madwarha, bħall-email tranżazzjonali, huma elenkati bil-fornituri u l-pajjiżi tagħhom fil-lista tas-sub-proċessuri. Fejn tinżamm id-data mhijiex kaxxa f'pannell ta' settings, hija fejn il-magna titwaħħal mar-rack.

"Il-fornitur iħarreġ fuq id-data tagħna"

GPUwerk tħaddem infrastruttura, mhux mudelli: il-prompts u d-dokumenti tiegħek jiġu pproċessati fuq il-magna dedikata tiegħek, minn software li installajt inti, li jintlaħaq biss permezz taċ-ċwievet SSH tiegħek u t-terminal fil-browser tal-console tiegħek. Bħal fuq kull servizz ospitat, GPUwerk iżżomm aċċess amministrattiv tal-infrastruttura għall-magna ta' taħt, imma bħala politika stabbilita fil-ftehim dwar l-ipproċessar tad-data ta' GPUwerk, GPUwerk ma taċċessax il-kontenut tal-ispazju tax-xogħol tiegħek ħlief fuq talba tiegħek għall-appoġġ jew fejn obbligu legali jitlob dan, għalhekk ma hemm xejn x'jiġi mħarreġ fuqu. Hekk jew hekk, dan jinsab fil-kuntratt. L-uniku taħriġ li jsir huwa tiegħek, fuq id-data tiegħek stess.

"L-impjegati jikkupjaw sigrieti f'ChatGPT"

L-imblukkar jimbuttah lejn it-telefowns personali. Is-soluzzjoni hija alternattiva approvata li hija daqstant konvenjenti: assistent tal-klassi ChatGPT fuq l-istanza tiegħek stess, l-istess UI tal-chat, l-istess API, b'kull prompt jibqa' fuq magna dedikata assenjata lilek biss. Ara s-setup tal-ChatGPT privat →

Għad-DPO tiegħek

Miktub biex id-DPO tiegħek ikun jista' jgħaddih.

L-istampa tal-konformità f'tabella waħda, b'lingwaġġ ċar, bla marketing.

MistoqsijaTweġiba
Fejn tiġi pproċessata fiżikament id-data?EU-Central, fuq magna dedikata b'kerrej wieħed assenjata lilek
Min hu l-operatur?PRINT IT! SE, Societas Europaea rreġistrata fi Praga, ir-Repubblika Ċeka (Company ID 069 60 090). Ebda entità omm barra l-UE.
Min jista' jaċċessa l-kontenut tal-istanza?Permezz tal-istanza nnifisha, dawk biss li għandhom iċ-ċwievet SSH tiegħek, u inti permezz tat-terminal fil-browser fil-console GPUwerk tiegħek; id-dħul bil-password huwa mitfi fuq il-flotta kollha. GPUwerk iżżomm aċċess amministrattiv tal-infrastruttura għall-magna ta' taħt, bħal fuq kull servizz ospitat, u taħt id-DPA ma tużahx fuq il-kontenut tiegħek ħlief fuq talba tiegħek għall-appoġġ jew fejn obbligu legali jitlob dan. L-endpoint HTTPS ta' image ta' mudell jista' jintlaħaq minn kull min għandu l-URL sakemm ma tqiegħedx proxy li jawtentika bħal LiteLLM quddiemu.
GPUwerk taqra d-data tal-prompts jew tal-mudelli?Le. GPUwerk tospita l-hardware u tħaddem il-fatturazzjoni u, taħt id-DPA, ma taċċessax, ma taqrax, ma tikkopjax, ma tindiċjax u ma tanalizzax il-kontenut tal-workloads
Hemm data tal-klijenti li tintuża għat-taħriġ?Le, kuntrattwalment, u billi GPUwerk ma taċċessax il-kontenut tiegħek ma hemm xejn x'jiġi mħarreġ fuqu
Sub-proċessuri għall-workloads?Ebda waħda fuq il-livelli ta' GPUwerk stess (il-livell Partner jaħdem fuq host ta' sieħeb)
DPA (GDPR Art. 28)?Ippubblikata fuq /legal/dpa, bla ħlas
Id-data mat-terminazzjoni?Il-container u l-volum tal-ispazju tax-xogħol jitħassru min-nodu, u n-nodu jiġi ssanitizzat qabel ma jiġi offrut lil ħaddieħor. Tħassir mis-sistema tal-fajls, mhux tħassir kriptografiku.

Arkitettura

L-arkitettura hija l-argument.

Ftit vleġeġ, kull waħda dokumentata: iqsar ir-reviżjoni tad-DPO.

your office / VPN            your apps
      │                          │
      │  SSH (keys only,         │  HTTPS model endpoint
      │  dedicated IP)           │  (add an auth proxy)
      ▼                          ▼
┌────────────────────────────────────────────┐
│  your dedicated DGX Spark · EU-Central     │
│  model · vector store · chat UI · API      │
│  128 GB unified memory · 1 TB NVMe         │
└────────────────────────────────────────────┘

      two arrows, both listed in the DPA.

Qed tqabbel dan ma' API bit-token minflok? Aqra ospitar ta' LLM privat vs l-API ta' OpenAI jew ospitar ta' LLM privat vs Azure AI Foundry għal fejn tinsab id-data, min jista' jara l-prompts tiegħek, u t-throughput imkejjel.

Xogħol regolat

Is-saħħa, il-liġi, il-finanzi u s-settur pubbliku.

It-timijiet f'dawn l-oqsma jistaqsu l-istess tliet mistoqsijiet: fejn tinsab il-magna, min ieħor jista' jilħaqha, u x'tgħid il-kuntratt. It-tweġibiet huma l-istess għal kull settur. Il-magna tinsab f'EU-Central u hija assenjata lil klijent wieħed. GPUwerk iżżomm aċċess amministrattiv standard biex tħaddimha, u d-DPA taħt l-Artikolu 28 u l-lista tas-sub-proċessuri jistabbilixxu x'ikopri dan.

Magna dedikata ma tagħmilx workload konformi waħedha. Rekords ta' pazjenti, fajls ta' każijiet privileġġjati, data ta' ħlas u data taċ-ċittadini kull waħda għandha r-regoli tagħha, u d-DPO jew l-avukat tiegħek jiddeċiedi jekk dan is-setup jissodisfahomx. Il-GDPR u l-Att tal-UE dwar l-AI fuq hardware dedikat jelenka l-evidenza li GPUwerk tista' tagħti.

Gwidi

Tqabbil tal-fornituri.

It-tqabbil bil-prezzijiet iċċekkjati mal-paġna ta' kull fornitur. L-indiċi tat-tqabbil jelenka kull fornitur ieħor.

Kif iqabbel

Spark dedikat fl-UE kontra l-APIs bit-token li x-xerrejja jqabbluh magħhom. Fejn tinsab id-data, min jista' jara l-prompts tiegħek, u fejn jirbaħ kull wieħed.Ara 11-il gwida

FAQ dwar il-konformità.

Huwa konformi mal-GDPR?

GPUwerk tagħti l-evidenza li teħtieġ: hardware u operazzjonijiet f'EU-Central, ftehim dwar l-ipproċessar tad-data taħt l-Artikolu 28, ebda sub-proċessur tal-workloads fuq il-livelli ta' GPUwerk stess, u magni dedikati b'kerrej wieħed li GPUwerk ma taċċessax, ma taqrax, ma tikkopjax, ma tindiċjax u ma tanalizzax il-kontenut tagħhom. Jeżisti aċċess amministrattiv tal-infrastruttura għall-magna ta' taħt, bħal fuq kull servizz ospitat, u taħt id-DPA ma jintużax fuq il-kontenut tiegħek ħlief fuq talba tiegħek għall-appoġġ jew fejn obbligu legali jitlob dan. Inti tibqa' l-kontrollur, għalhekk il-konformità tal-ipproċessar innifsu trid tiddikjaraha inti.

Tiffirma DPA?

Iva, DPA standard skont l-Artikolu 28 tal-GDPR huwa ppubblikat f'/legal/dpa mingħajr ħlas. Il-lista tas-sub-proċessuri ta' GPUwerk għall-workloads hija qasira: fuq il-livelli proprji ta' GPUwerk m'hemm l-ebda wieħed; il-livell Partner jaħdem fuq host ta' sieħeb.

Id-DPO tagħna jista' jivverifika s-setup?

Iva. GPUwerk tipprovdi dokumentazzjoni tal-post fiżiku, tal-kontrolli tal-aċċess u tal-proċeduri tat-tħassir, u twieġeb direttament il-kwestjonarji tad-DPO. Ibgħat il-mistoqsijiet tad-DPO tiegħek.

X'jiġri mid-data tagħna meta nitterminaw?

It-terminazzjoni tħassar il-container tiegħek u l-volum /workspace tiegħu min-nodu. Qabel ma dak in-nodu jiġi offrut lil klijent ieħor jiġi ssanitizzat: kull container u volum ta' kerrej jitneħħa, u n-nodu ma jgħaddix mill-verifika tat-tħejjija u ma jiġix allokat waqt li jibqa' xi wieħed minnhom. Dan huwa tħassir fil-livell tas-sistema tal-fajls. GPUwerk ma tħaddimx drives li jikkriptaw lilhom infushom u lanqas kriptaġġ tad-disk sħiħ fuq in-nodi, għalhekk ma tagħmel ebda dikjarazzjoni ta' tħassir kriptografiku. GPUwerk ma żżomm ebda kopja tal-ispazju tax-xogħol tiegħek x'imkien ieħor: ebda backup u ebda kopja ta' rkupru. Jekk drive jieqaf jaħdem, l-ispazju tax-xogħol fuqu jintilef, għalhekk żomm kopja tiegħek. Jekk il-kreditu tiegħek jilħaq żero jew tilħaq il-baġit ta' kull xahar tiegħek, l-istanza titwaqqaf u l-magna tagħha tiġi rrilaxxata. L-ispazju tax-xogħol jibqa' fuq dik il-magna sa 48 siegħa. Agħmel top-up jew għolli l-baġit u erġa' ibdieh f'dak il-ħin u jkompli minn fejn ħalla, sakemm ħaddieħor ma jkunx kera l-magna, li jħassru qabel. Wara 48 siegħa jitħassar għal kollox. Emails ta' bilanċ baxx iwissuk qabel ma jiġri dan; it-top-up awtomatiku jagħmlu inqas probabbli, imma ħlas jista' jfalli.

Dan ikopri wkoll l-Att tal-UE dwar l-AI, mhux il-GDPR biss?

Hardware dedikat ma jbiddilx il-livell ta' riskju tiegħek taħt l-Att tal-UE dwar l-AI u lanqas l-istatus tiegħek ta' fornitur jew ta' min jużah, għax dawk jiddependu minn x'tagħmel is-sistema tiegħek, mhux minn fejn taħdem. Dak li jagħtik huwa tweġiba ċara dwar min jista' jaċċessa d-data tiegħek waqt li jaħdem il-mudell, u din hija evidenza utli għall-obbligi ta' min jużah li fil-fatt jiffaċċjaw ħafna mill-kumpaniji li jospitaw huma stess. Ara Il-GDPR u l-Att tal-UE dwar l-AI fuq hardware dedikat għall-istampa sħiħa f'paġna waħda.

Lil hinn mill-infrastruttura

Pakkett prattiku ta' rollout.

Jekk teħtieġ aktar mill-infrastruttura, nista' nżid inkarigu definit b'riżultati ċari għall-introduzzjoni tat-tim u l-integrazzjoni.

  1. Intake tal-proġett

    Iddefinixxi l-konfini tal-każ ta' użu, il-miri tal-latenza, u min japprova l-produzzjoni.

  2. Taħriġ tat-tim

    Sessjonijiet prattiċi dwar il-kwalità tal-prompts, mudelli ta' governanza, u operazzjonijiet komuni.

  3. Pjan direzzjonali tal-integrazzjoni

    Ippjana l-użu tal-API, inkluż x'għandhom jagħmlu l-għodod tiegħek meta l-istanza tkun imwaqqfa jew okkupata.

Ara kif jaħdem l-inkarigu

Agħti l-ħajja lill-proġett tal-AI tiegħek.

Iddeploja Spark u ttestjah inti stess, jew staqsi lil min imexxi r-racks. L-ewwel top-up: ħallas $20, ikseb $30 kreditu.