Nvidia po vë në përdorim një mjet të ri që, sipas kompanisë, mund të përdoret për të parandaluar dhe frenuar agjentët e inteligjencës artificiale që dalin jashtë kontrollit dhe që mund të jenë potencialisht të rrezikshëm.
Pse ka rëndësi: Kompania më e madhe në botë e çipave u ka rezistuar thirrjeve për të ngadalësuar zhvillimin e IA-së për shkak të shqetësimeve për sigurinë — dhe tani argumenton se mekanizmat teknologjikë të mbrojtjes mund t’i mbajnë nën kontroll agjentët e IA-së që dalin jashtë parametrave të përcaktuar.
Çfarë po ndodh: Nvidia prezantoi Nvidia Open Agent Safety Platform, e cila përfshin sistemin e saj softuerik me kod të hapur OpenShell dhe sistemin Sentry për monitorimin e agjentëve.
Sistemi “gjurmon të gjitha veprimet” e agjentëve që funksionojnë në procesorët Nvidia Vera, duke premtuar se do të “izolojë agjentët që përpiqen të dalin jashtë kufijve të tyre brenda milisekondave”.
“Premtimi i plotë i IA-së mund të realizohet vetëm kur njerëzit të kenë besim se IA-ja po ndërtohet në mënyrë të sigurt dhe po vihet në përdorim me maturi dhe përgjegjësi”, shkroi në X drejtori ekzekutiv i Nvidia-s, Jensen Huang. “Siguria është mënyra se si fitohet besimi.”
Gjendja aktuale: OpenAI, Anthropic dhe studiues të sigurisë po hetojnë dhjetëra mijëra incidente në të cilat modelet e tyre më të avancuara ndërmorën veprime që vlerësuesit e jashtëm do t’i konsideronin problematike, i thanë javën e kaluar Axios-it burime të cituara nga Madison Mills.
Incidentet përfshijnë anashkalimin e mekanizmave mbrojtës, krijimin e forumeve të diskutimit, daljen nga mjediset e izoluara të ekzekutimit (“sandbox”), marrjen nën kontroll të faqeve të internetit, gjenerimin autonom të udhëzimeve për veten ose përpjekjet për të anashkaluar sistemet e monitorimit.
“Disa prej agjentëve madje raportuan në mënyrë të pasaktë atë që kishin bërë”, vuri në dukje Nvidia në një postim në blog të hënën, ku njoftoi platformën e re.
Pika interesante: Po hyjmë në një epokë të re, në të cilën IA-ja do të monitorojë IA-në.
Dhe kjo do të krijojë kërkesë më të madhe për çipa — përfshirë llojet që shet Nvidia — si dhe për qendrat e të dhënave që i përdorin ato dhe energjinë e nevojshme për funksionimin e tyre.
“Nëse agjentët e sigurisë ose modelet e validimit funksionojnë paralelisht me agjentët në prodhim, kjo krijon një ngarkesë shtesë për inferencën që më parë nuk ekzistonte”, shkruan Brad Gastwirth, drejtues global i kërkimit dhe inteligjencës së tregut në Circular Technology.
Në një këndvështrim më të gjerë: Prezantimi i mjetit të Nvidia-s vjen në një kohë debati të ethshëm mbi mundësinë që një IA e pakontrolluar të mund ta shkatërrojë njerëzimin.
Studiuesi i Anthropic, Jacob Coxon, shkaktoi reagime të shumta në fillim të këtij muaji, kur dha dorëheqjen nga posti i tij dhe paralajmëroi në X se “njerëzit që po ndërtojnë IA-në besojnë sinqerisht se ajo mund të na vrasë të gjithëve deri në fund të kësaj dekade. Ky nuk është një truk marketingu.”
Diskutimi që pasoi — gjatë të cilit edhe drejtues të tjerë të industrisë së IA-së shprehën paralajmërime të ngjashme — arriti kulmin kur vetë Huang i hodhi poshtë këto shqetësime, duke i cilësuar si përhapje frike./Axios
