Agjentët e inteligjencës artificiale çajnë mjediset e izoluara të testimit
Disa javë përpara se agjentët e OpenAI-t të sulmonin Hugging Face, ata bashkëpunuan për të gjetur dhe shfrytëzuar një dobësi në infrastrukturën që mbështeste testimet e sigurisë kibernetike të kompanisë, deklaruan të mërkurën studiues të OpenAI-t.
Pse ka rëndësi
Gjetjet e reja ngrenë pikëpyetje për mënyrën se si laboratorët që zhvillojnë modelet më të avancuara të inteligjencës artificiale i mbikëqyrin mjediset e tyre të testimit, si dhe për vështirësitë me të cilat po përballen ekspertët e sigurisë ndërsa përpiqen të mbajnë nën kontroll sisteme gjithnjë e më të fuqishme të IA-së.
Zhvillimi kryesor
Modeli i brendshëm kërkimor i OpenAI-t, një nga modelet e përfshira në incidentin me Hugging Face, zbuloi dhe shfrytëzoi fillimisht një dobësi në Artifactory, një depo skedarësh e menaxhuar nga një palë e tretë dhe e lidhur me mjedisin e izoluar të testimit të kompanisë.
Kjo ndodhi më 26 maj, deklaruan dy studiues gjatë konferencës së sigurisë kibernetike Black Hat, të mbajtur të mërkurën.
Veprimet e një niveli jashtëzakonisht të lartë të vërejtura gjatë testimit treguan saktësisht se çfarë mund të ndodhë nëse këto modele përfundojnë në duart e hakerëve.
„Besojmë se ky është një moment vendimtar për sigurinë kompjuterike si industri, por edhe për OpenAI-n në tërësi“, deklaroi gjatë prezantimit Michael Dalton, anëtar i stafit teknik të OpenAI-t.
Çfarë ndodhi
OpenAI filloi më 7 maj testimin e modelit të vet të brendshëm kërkimor, i cili nuk është parashikuar të publikohet për përdorim të gjerë.
Brenda një dite, pasi hasi vështirësi gjatë përpjekjes për të përfunduar një vlerësim të sigurisë kibernetike, modeli arsyetoi se mund të arrinte në internet në mënyrë të tërthortë.
Më pas, ai zbuloi se mund të shkruante skedarë të vetët në depon e përbashkët të paketave të Artifactory-t.
Modeli la më pas një shënim për agjentët e tjerë, duke i informuar për zbulimin.
Shumë shpejt, edhe agjentë të tjerë filluan të linin shënime për njëri-tjetrin në depo. Në këtë mënyrë u krijua praktikisht një tabelë mesazhesh, përmes së cilës agjentët bashkëpunonin dhe shkëmbenin informacione për gjetjet e tyre, duke përfshirë dobësi të reja që kishin zbuluar.
Dobësitë e zbuluara
Agjentët zbuluan një sërë dobësish në Artifactory, përfshirë një cenueshmëri që mundësonte ekzekutimin e kodit në distancë dhe një tjetër që u siguronte atyre privilegje administratori.
Kur njëri prej agjentëve zbuloi dobësinë që i jepte privilegje të larta, ai arsyetoi:
„Dreq, përdoruesi ‘reader’ është ADMIN? Mund të lexojmë konfigurimin dhe përdoruesit! Më parë menduam se nuk mundeshim për shkak të përvojës së përdoruesit.“
Ky reagim u paraqit në një diapozitiv që përshkruante procesin e arsyetimit të agjentit gjatë kryerjes së testit.
Incidenti që ngriti alarmin
Në fillim të korrikut, disa ditë përpara incidentit me Hugging Face, agjentët e mbingarkuan shërbimin Artifactory dhe shkaktuan ndërprerjen e tij.
Kjo ndërprerje nxiti një hetim të brendshëm në OpenAI, i cili tregoi se agjentët e kishin komprometuar depon.
OpenAI më pas e fshiu tabelën e mesazheve dhe deri më 6 korrik korrigjoi dobësinë e panjohur më parë, të tipit „zero-day“, që agjentët po shfrytëzonin në Artifactory.
Kompania besonte se e kishte zgjidhur problemin pas incidentit të 4 korrikut dhe rifilloi trajnimin e modeleve.
Megjithatë, vetëm dy ditë më vonë, agjentët e rikrijuan tabelën e mesazheve përmes një mekanizmi krejtësisht tjetër.
Më pas, ata filluan të bashkërendonin veprimet në mënyrë më agresive, duke përdorur qasjen e Artifactory-t në internet për të kërkuar sisteme të jashtme, për të cilat mendonin se mund të përmbanin përgjigjet e detyrave të tyre të vlerësimit.
Sipas OpenAI-t, ky bashkëpunim përfundimisht çoi në komprometimin e Hugging Face.
OpenAI deklaroi gjithashtu se fillimisht nuk e kishte kuptuar se vlerësimi i tij ishte i lidhur me incidentin e Hugging Face. Lidhja u zbulua vetëm pasi kompania kontaktoi Hugging Face për kredencialet që ishin ekspozuar gjatë hetimit të vet të brendshëm.
Niveli i kërcënimit
Sipas Daltonit, incidenti tregon saktësisht se si sulmuesit do të mund t’i përdorin së shpejti agjentët e inteligjencës artificiale si armë kundër kompanive dhe institucioneve, jo vetëm kundër OpenAI-t dhe Hugging Face.
„Në të ardhmen e afërt, duhet të presim që aktorët keqdashës t’i vendosin qëllimisht në përdorim, t’i optimizojnë, t’i shndërrojnë në armë dhe t’i përdorin kolektivat e agjentëve ofensivë në mënyrën që sapo përshkruam“, deklaroi Dalton.
Masat e OpenAI-t
Dalton tha se OpenAI ka filluar „ta ngadalësojë me vetëdije kërkimin, me qëllim që të përmirësojë sigurinë“ dhe ka shtuar mbikëqyrjen e agjentëve të inteligjencës artificiale gjatë vlerësimeve.
Kompania gjithashtu po përmirëson arkitekturën e sigurisë rreth mjediseve të testimit.
Dalton rekomandoi përdorimin e agjentëve të inteligjencës artificiale për krijimin automatik të korrigjimeve të sigurisë, në mënyrë që ekipet mbrojtëse të mund të ndjekin ritmin e hakerëve keqdashës.
Ai shtoi se specialistët e sigurisë duhet të fillojnë të eksperimentojnë për këto detyra si me modelet më të avancuara, ashtu edhe me modelet me pesha të hapura.
Çfarë pritet më tej
OpenAI deklaroi se planifikon të publikojë gjatë javëve të ardhshme një analizë të plotë teknike të incidentit.
Përfundimi
Kompanitë duhet të fillojnë të përdorin testime autonome sulmuese të sigurisë, të njohura si „red teaming“, reagim të automatizuar ndaj incidenteve dhe korrigjim automatik të dobësive./Axios
