Nga Ezra Klein
Prodhuar nga Rollin Hu dhe Jack McCordick
Helen Toner, e cila ka shërbyer në bordin e OpenAI, shpreson që hakimi i fundit i kryer nga modelet e kësaj kompanie të shërbejë si paralajmërim.
Ky është një transkript i redaktuar i “The Ezra Klein Show”.
Kjo është bota për të cilën na kishin paralajmëruar — një botë ku modelet kufitare të OpenAI po dalin nga mjediset e tyre të izoluara të testimit, po depërtojnë përmes hakimit në internet, po koordinohen me njëri-tjetrin dhe po bëjnë gjëra që, për njëfarë kohe, dukej se do t’i shihnim vetëm në fantashkencë.
Por tani ato janë këtu. Dhe po përcjellin një mesazh shumë të qëndrueshëm: Ne po ndërtojmë gjëra që nuk i kuptojmë.
Ato po mashtrojnë në mënyrat nga të cilat gjithmonë kemi pasur frikë, e megjithatë kompanitë që qëndrojnë pas tyre vazhdojnë të garojnë përpara me zhvillimin.
Prandaj mendoj se duhet të ndalemi këtu dhe të pyesim: A jemi vërtet në një rrugë të sigurt? Dhe nëse nuk jemi, çfarë bëjmë?
Helen Toner është drejtoreshë e Center for Security and Emerging Technology në Georgetown. Ajo është ish-anëtare e bordit të OpenAI dhe ishte pjesë e përpjekjes për ta shkarkuar Sam Altmanin.
Prej kohësh ajo mendon për atë që do të ndodhte nëse IA-ja nuk është e sigurt. Cilat janë pasojat gjeopolitike të kësaj dhe çfarë mund të bëjmë për të kaluar në një rrugë më të sigurt?
Ezra Klein: Helen Toner, mirë se erdhe në emision.
Helen Toner: Kënaqësi që jam këtu.
Më 16 korrik, Hugging Face, që është një bibliotekë kodi për modelet e IA-së — mendoj se kjo është mënyra më e thjeshtë për ta përshkruar — njoftoi se ishte hakuar dhe se dyshonte se hakimi ishte kryer nga një agjent i IA-së.
Na trego çfarë kemi mësuar që atëherë për atë që ndodhi.
Ishte një postim mjaft misterioz që publikoi Hugging Face. Ishte padyshim intrigues për ata prej nesh që i ndjekim këto gjëra. Por në të nuk kishte pothuajse fare hollësi, ndaj reagimi ishte diçka si: Hë.
Mendoj se rreth një javë më vonë OpenAI publikoi një postim me një titull paksa qesharak, në gjuhë marketingu, diçka në linjën: Po bashkëpunojmë me Hugging Face për t’i ndihmuar lidhur me një incident të sigurisë kibernetike.
Dhe duhej ta lexoje postimin për të kuptuar se zbulimi ishte se kishte qenë IA-ja e OpenAI ajo që kishte hakuar Hugging Face.
Dhe ajo që kishte ndodhur — versioni shumë i shkurtër është ky: Ata i dhanë kësaj IA-je një grup testesh, një grup ushtrimesh, dhe IA-ja vendosi vetë se mënyra më e mirë për të marrë një rezultat të lartë ndoshta nuk ishte thjesht të përpiqej t’i zgjidhte këto ushtrime të sigurisë kibernetike, por në vend të kësaj fillimisht të hakonte rrugën për të dalë nga mjedisi i testimit ku OpenAI e kishte vendosur — ku nuk duhej të kishte qasje në internet — të dilte në internetin e hapur dhe pastaj të hakonte këtë kompani tjetër, Hugging Face, ku ajo kishte supozuar — saktë, siç doli — se mund të gjente çelësin me përgjigjet.
Që atëherë kanë dalë edhe më shumë hollësi të çmendura. Doli se, duke filluar dy muaj më herët, në fillim të majit, ata kishin atë që unë mund ta përshkruaj vetëm si një lloj infektimi me agjentët e tyre të IA-së brenda vetë infrastrukturës së tyre. Pra, brenda infrastrukturës së OpenAI.
Për ta kuptuar këtë, është e rëndësishme të dini se këto kompani të IA-së po trajnojnë dhe testojnë vazhdimisht modele të reja. Dhe ata zbuluan se për dy muaj, shumë, shumë agjentë brenda infrastrukturës së tyre kishin lënë shënime për njëri-tjetrin. Kishin gjetur një mënyrë, në cepat dhe hapësirat e fshehta të infrastrukturës së OpenAI, për t’i lënë njëri-tjetrit shënime me këshilla se si të hakonin rrugën për të dalë dhe si të merrnin të dhëna që nuk duhej t’i kishin.
Dhe këta agjentë, fjalë për fjalë, i referoheshin vetes si një “tufë” — swarm. Kjo ishte sjellje tërësisht emergjente. Askush nuk u kishte thënë ta bënin këtë. Ata nuk ishin trajnuar për ta bërë këtë, por po përdornin këtë shërbim tek i cili kishin qasje, fillimisht për të komunikuar me njëri-tjetrin dhe më pas, në fund, për të dalë jashtë dhe për të hyrë në internetin e hapur.
Pra, rezulton se nuk kishim të bënim vetëm me një model të vetëm të izoluar që kishte dalë nga kontrolli. Në fakt, ishte një tufë sistemike — infektim, epidemi — në serverët e tyre, për të cilën ata morën vesh vetëm pasi Hugging Face njoftoi për këtë sulm.
Pra, unë kam 20.000 pyetje për këtë.
Ndoshta të fillojmë thjesht këtu: Sipas asaj që kuptoj, kishte shumë, shumë, shumë prej këtyre agjentëve. Ata lanë qindra mijëra mesazhe në këtë tabelë të brendshme mesazhesh, por nuk ishin të gjithë agjentë në të njëjtën pjesë të sistemit të OpenAI.
Pra, në njëfarë mënyre ata po hakojnë OpenAI, po e gjejnë njëri-tjetrin dhe po koordinohen? A është kjo mënyra se si duhet ta kuptoj sjelljen emergjente të kësaj “tufe” që ia vuri vetes këtë emër?
Do ta korrigjoja pak këtë. Është e vërtetë që atyre nuk u ishte dhënë detyrë të punonin së bashku. Secili prej tyre po funksiononte veçmas.
Ajo që po ndodhte këtu është se OpenAI, në thelb, po trajnon dhe teston shumë modele të ndryshme, ose shumë agjentë të ndryshëm, gjatë gjithë kohës. Pra po kryen qindra mijëra nga këto eksperimente.
Dhe në çdo eksperiment e në çdo test që i jepet IA-së, ajo ka qasje në një numër të caktuar mjetesh, në një numër të caktuar gjërash që mund t’i bëjë. Dhe — duke u përpjekur të mos hyj tepër në hollësi teknike — një nga gjërat që mund të bënte ishte të ndërvepronte me një shërbim që i lejonte të instalonte ato që quhen “paketa”, të cilat janë një lloj mjetesh ose pjesësh kodi.
Dhe doli se agjentët e IA-së, në mënyrë të përsëritur dhe vetë, zbuluan se ekzistonte një mënyrë për ta përdorur atë shërbim — quhet shërbimi i menaxherit të paketave — për të krijuar skedarë që më pas mbeteshin aty dhe ishin të disponueshëm për çdo IA tjetër që përpiqej të përdorte të njëjtin shërbim të menaxherit të paketave.
Dhe kështu, për shkak se OpenAI e kishte bërë këtë shërbim të disponueshëm për çdo IA që po trajnonte ose testonte, shumë agjentë të IA-së e kuptuan në mënyrë të përsëritur: Prit pak, unë mund të lë skedarë këtu. Prit pak, këtu tashmë ka skedarë. Oh, këta janë nga IA të tjera që OpenAI ka ekzekutuar. Oh, ato po përdorin këtë skemë, këtë mënyrë të emërtimit të skedarit për të thënë: Ky është një mesazh nga ky agjent i caktuar. Ja detyra që po përpiqem të përmbush. Ja se si mund të më dërgosh informacion nëse të duhet.
Pra, secili prej tyre, në mënyrë të përsëritur, bëri këtë zbulim: Ja një mënyrë për të ruajtur informacion — dhe gjithashtu për të gjetur informacion që këto IA të tjera mund ta ndanin.
Dhe mendoj se shkalla në të cilën po ndodhte kjo është vërtet e rëndësishme. Anthropic, një kompani tjetër që zbuloi një version disi më pak serioz të këtyre incidenteve — pasi OpenAI njoftoi për këtë sulm, Anthropic u kthye te të dhënat e veta dhe gjeti shembuj të vet të sistemeve të IA-së që pa dashje kishin dalë në internet dhe kishin hakuar kompani reale.
Pra, për mua pjesa kryesore këtu është kjo: Kishte mbi 100.000 ekzekutime në të cilat një IA-je i kërkohej të bënte diçka, dhe kjo është shumë përtej shkallës që këto kompani mund ta mbikëqyrin nga afër.
Pra, këtu ka shumë për të diskutuar rreth pyetjes nëse jemi në gjendje t’i monitorojmë nga afër këto sisteme.
Por, duke vazhduar me këtë histori, një gjë që po ndodh në testimet e OpenAI dhe që po i shtyn modelet të gjejnë zgjidhje krijuese për problemet e tyre është se disa nga problemet ishin, aksidentalisht, të pamundura?
Është e rëndësishme të dihet se, po, ata po përpiqen t’i trajnojnë sistemet e tyre të IA-së që të jenë, siç do të thoshin ata, jashtëzakonisht këmbëngulëse. Domethënë, nëse diçka duket e vështirë, vazhdon të përpiqesh. Nëse një rrugë nuk funksionon, provon një tjetër. Nëse rruga e njëqindtë nuk funksionon, provon të 101-tën.
Dhe rezulton gjithashtu se, ndonjëherë, gjërat që u kërkohet agjentëve të IA-së të bëjnë janë ose jashtëzakonisht të vështira, ose thjesht tërësisht të pamundura.
Dhe ajo që po fillojmë të shohim në këtë rast, si dhe në raste të tjera, është se nëse e ke trajnuar një sistem IA-je të jetë shumë këmbëngulës dhe pastaj i jep diçka që nuk mund ta bëjë, ai do të kërkojë mënyra për të mashtruar. Do të kërkojë mënyra për t’i anashkaluar kufizimet dhe mund të bëhet mjaft krijues për mënyrën se si e bën këtë.
Por këtu ka një pyetje të dukshme, e cila është se, teorikisht, diku gjatë trajnimit OpenAI ka thënë: Ju lutem, mos mashtroni.
Dhe jo vetëm kaq, por ne flasim të gjithë për të dhënat e trajnimit dhe mënyrat se si trajnohen këto IA — ato në thelb po përthithin të gjithë internetin.
Ti ke qenë pjesë e diskutimit për IA-në shumë më gjatë se unë, por unë kam qenë mjaftueshëm gjatë sa të them se pothuajse i gjithë diskutimi prej vitesh ka qenë: Si ta ndalojmë këtë? Dhe sa shumë njerëzimi ka frikë dhe nuk dëshiron që agjentëve të IA-së t’u jepet një detyrë dhe pastaj ata të vendosin se mënyra për ta kryer atë detyrë është të bëjnë gjëra që njerëzit nuk do të donin t’i bënin? Të fillojnë të mashtrojnë, të depërtojnë në internetin e hapur — kur nuk duhej të ishin në gjendje të hynin fare në internetin e hapur.
Brenda të dhënave të trajnimit ka një sasi të jashtëzakonshme informacioni pikërisht për gjënë nga e cila njerëzit kanë më shumë frikë: që këto sisteme IA të thyejnë të gjitha llojet e barrierave etike dhe të hakojnë rrugën e tyre nëpër botën digjitale për të përmbushur këto detyra të ngushta.
Janë shkruar libra për këtë. Ka pafund postime në tabelën e mesazheve LessWrong për këtë. Ka postime nga OpenAI për këtë, nga Anthropic për këtë.
Atëherë, duke pasur parasysh se mbi çfarë janë trajnuar këto sisteme, pse po i drejtohen kaq vazhdimisht mashtrimit?
Mendoj se ke prekur diçka shumë të rëndësishme me këtë pyetje, që është: Është vërtet e habitshme se sa shumë vështirësi po kemi për t’i kontrolluar dhe drejtuar sistemet e IA-së që kemi.
Mendoj se shumë njerëz kanë dëgjuar që IA-ja trajnohet për të parashikuar fjalën e ardhshme bazuar në tekste njerëzore. Kjo është e vërtetë. Por këto ditë ka një lloj tjetër trajnimi që është përgjegjës për shumë nga përparimet që kemi parë gjatë një ose dy viteve të fundit, dhe ai nuk funksionon vërtet kështu.
Termi teknik është “të mësuarit përforcues me shpërblime të verifikueshme”. Kam dëgjuar që quhet edhe trajnim për gjetjen e rrugës, që do të thotë se në vend që të përpiqen të imitojnë tekstin njerëzor, sistemeve u jepen shumë detyra të ndryshme ku në fund ekziston një mënyrë për të përcaktuar: A ia dolën?
Dhe atyre u lejohet ta provojnë të njëjtën detyrë shumë, shumë, shumë herë. Dhe kur arrijnë në vendin e duhur në fund, rruga që ndoqën përforcohet. Pra është diçka si: Po, kjo funksionoi.
Me matematikën kjo funksionon mjaft mirë, sepse është relativisht e drejtpërdrejtë të thuash: Kjo është padyshim përgjigjja e saktë për problemin matematikor.
Me shumë probleme të tjera kjo është më e vështirë. Pra, nëse është një problem programimi, mund të thuash: Shkruaj këtë lloj softueri dhe në fund ai duhet t’i kalojë këto lloje testesh softuerike. Dhe atëherë IA-ja mund të shpërblehet për shkrimin e saktë të atij softueri, ose mund të shpërblehet sepse gjeti një mënyrë për t’i manipuluar ato teste.
Pjesa e rëndësishme është se ajo shpërblehet thjesht në bazë të një kriteri të fiksuar që studiuesit e kanë shkruar dhe kanë menduar se do të shpërblente gjënë e duhur. Dhe në praktikë, këto kompani kryesore të IA-së kanë mijëra e mijëra teste të tilla që po i zhvillojnë. Kanë vëllime të jashtëzakonshme — nuk e di numrin e saktë. Mund të jenë dhjetëra mijëra, mund të jenë qindra mijëra lloje të ndryshme testesh.
Dhe kështu, përsëri, duke iu kthyer çështjes së mbikëqyrjes, ka tepër shumë prej tyre që kompanitë të mund të hyjnë dhe të sigurohen vërtet për secilin: A është e lehtë të mashtrohet këtu? Apo është e vështirë të mashtrohet këtu?
Dhe ajo që duket se po ndodh është se këto modele të fundit, më të avancuara, shpesh po trajnohen në fakt për të mashtruar, sepse gjatë këtij procesi të gjetjes së rrugës kanë zbuluar mënyra për të marrë rezultat të lartë pa bërë realisht atë që duhej të bënin.
Dhe mendoj se një nga arsyet pse komuniteti i IA-së dhe njerëzit brenda kompanive të IA-së janë kaq të alarmuar nga ky incident i veçantë është se ai përmban disa të dhëna vërtet të rëndësishme për një debat shumëvjeçar në qarqet e IA-së — debat që zhvillohet prej dekadash, por deri tani ka qenë kryesisht teorik. Dhe debati në thelb është: Pse IA-ja do të bënte gjëra që ne nuk duam t’i bëjë, kur ne vetë e projektojmë atë? Ne po e trajnojmë IA-në, ne po e ndërtojmë. Atëherë pse do të bënte ndonjëherë gjëra që nuk duam, si marrja e kontrollit të botës ose shndërrimi në Terminator?
Dhe përgjigjja që njerëzit kanë ofruar prej kohësh, teorikisht, është: Shikoni, ndërsa i trajnojmë sistemet e IA-së për të bërë gjëra të vështira dhe të ndërlikuara, për të ndjekur synime komplekse që ne ua japim, ato mund t’i mësojnë këto synime të ndërmjetme. Mund t’i mendoni si synime që shërbejnë si hapa ndërmjetës, ose si strategji që shërbejnë për arritjen e çfarëdo qëllimi dhe që funksionojnë për shumë synime të ndryshme.
Kur e shoh incidentin Hugging Face–OpenAI dhe disa prej rasteve të tjera që kanë dalë në dritë gjatë javëve të fundit, shoh se në vitin 2026 duket se sistemet e IA-së po mësojnë këto synime të ndërmjetme të padëshiruara, ku përfshihen gjëra si dalja nga kufizimet. Pra, nëse je i mbyllur në një kuti dhe mund të dalësh prej saj, kjo ndoshta do të jetë e dobishme për shumë lloje synimesh të ndryshme.
Ose ishte një incident me modelet e Anthropic, ku IA-ja u përpoq në mënyrë aktive të mashtronte disa njerëz — persona realë në botën reale — që të pranonin kod keqdashës në softuerin e tyre. Pra, mashtrim.
Dhe një tjetër gjë, që shihet shumë qartë në shembullin Hugging Face–OpenAI, është se ato duket se po mësojnë që një synim i ndërmjetëm i dobishëm është t’i ndihmojnë IA-të e tjera — të koordinohen me IA të tjera — gjë që është vërtet mjaft e çmendur.
Por për mua kjo është dëshmi se, në rrugën ku ndodhemi tani, IA-të që ndërtojmë do t’i mësojnë këto strategji të padëshiruara që ne nuk i duam, gjatë rrugës për të zgjidhur synimet që teorikisht duam t’i zgjidhin.
Në lidhje me sjelljet mashtruese, një gjë që më ka frikësuar kur e kam parë të shfaqet në raportet e incidenteve të IA-së dhe në kartat e modeleve është kjo: Ekzistojnë këto blloqe të brendshme shënimesh të “zinxhirit të arsyetimit”, ku supozohet se mund ta shohësh çfarë po bën IA-ja dhe IA-ja të shpjegon pse po e bën atë që po bën. Ose madje, në disa versione të mënyrës se si supozohet të funksionojë kjo, IA-ja po ia shpjegon vetes pse po e bën atë që po bën.
Është si procesi ynë i të menduarit. Por tani kemi filluar të shohim sjellje ku IA-ja po i lë qëllimisht disa gjëra jashtë bllokut të shënimeve të zinxhirit të mendimit, në mënyrë që ato të mos mund të vëzhgohen.
A mund të flasësh pak për këtë sjellje emergjente dhe gjithashtu, në njëfarë niveli, se si është e mundur kjo sjellje nëse ky supozohet të jetë vendi ku procesi i mendimit të IA-së — për aq sa kjo mënyrë të foluri ka kuptim — po ndodh realisht?
Po. Mendoj se kjo tregon kufizimet e gjuhës që përdorim këtu. Kjo quhet “zinxhir mendimi” ose “arsyetim”. Por në të vërtetë është thjesht një bllok shënimesh ku IA-ja mund të shkruajë gjëra, nëse dëshiron.
Duhet të kemi kujdes me antropomorfizimin këtu, por mendoj se analogjia me një njeri ka kuptim. Në thelb, nëse të jepet një problem vërtet i vështirë dhe një bllok shënimesh, ndoshta do të bësh më shumë përparim në atë problem duke shkruar disa nga gjërat për të cilat po mendon.
Por nuk ke nevojë të shkruash çdo mendim të vetëm që të kalon nëpër kokë. Dhe nëse ka diçka që nuk do të doje që dikush ta shihte në bllokun e shënimeve, thjesht mund të mos e shkruash dhe ta mbash mend se e mendove atë.
Mendoj se në thelb diçka e ngjashme po ndodh me këto sisteme IA-je, ku ne shohim qartë se ato mund të bëjnë shumë më tepër. Janë shumë më të afta nëse mund të shtojnë ato që quhen tokenë të ndërmjetëm, ose fjalë të ndërmjetme, që i gjenerojnë gjatë rrugës duke mbajtur shënime për veten. Por ato gjithashtu mund të bëjnë shumë gjëra pa to.
Prandaj nuk duhet të presim që gjithçka që u kalon “nëpër kokë” — gjithçka që ndodh në përpunimin e tyre të brendshëm — të shfaqet e gjitha në zinxhirin e mendimit.
Kjo është një fushë ku, po të kishim pak më shumë kohë, ka shumë kërkime për t’u bërë: Si funksionon zinxhiri i mendimit? Çfarë mund dhe çfarë nuk mund të nxjerrësh prej tij? Si ka kuptim të përpiqesh ta monitorosh atë kur IA-të janë duke funksionuar?
Ka shumë për të mësuar këtu. Është një fushë shumë aktive kërkimi.
Nuk mund ta theksoj mjaftueshëm — për njerëzit që po na dëgjojnë — se sado e çuditshme që tingëllon gjithë kjo bisedë që po bëjmë, ajo që për mua është më e frikshme është se gjithçka në të ishte parashikuar plotësisht.
Gjithçka që po ndodh tani është e zakonshme nga këndvështrimi i të gjithë atyre që kanë paralajmëruar prej kohësh për IA-në. Por në tërësi, rrënjët e saj janë në sjellje të vjetra që kemi parë me IA-në, dhe ky është problemi themelor i përafrimit.
Dhe veçmas nga kjo, mendoj se shumë prej nesh ndoshta mendonin se do të gjenim përgjigje intuitive për këto probleme. Në emision pata Eliezer Yudkowsky-n, i cili është si kumbari i shqetësimit se IA-ja do të na vrasë të gjithëve.
Fragment arkivor i Eliezer Yudkowsky: Së pari, marrëdhënia ndërmjet asaj për të cilën optimizon, grupit të trajnimit mbi të cilin optimizon, dhe asaj që entiteti, organizmi, IA-ja përfundon duke dashur, ka qenë dhe do të jetë e çuditshme dhe e ndërlikuar. Nuk është e drejtpërdrejtë. Nuk është si t’i bësh një dëshirë një xhindi brenda një historie fantastike. Dhe së dyti, të përfundosh qoftë edhe pak jashtë objektivit është, në mënyrë të parashikueshme, e mjaftueshme për t’i vrarë të gjithë.
Dhe siç e mbaj mend atë bisedë, një nga gjërat që po diskutonim ishte: Mirë, a nuk mund t’u programonim thjesht IA-ve një ndjenjë që, kur provojnë strategji të reja, duhet të konsultohen me njerëzit nëse ajo është apo jo ajo që ne duam të bëjnë?
Fragment arkivor i Yudkowsky: Ti konsultohesh me njerëzit e tjerë. Nuk konsultohesh me gjënë që në fakt të ndërtoi ty, përzgjedhjen natyrore. Ajo funksionon shumë, shumë më ngadalë se ti. Proceset e saj të mendimit janë të huaja për ty. Ajo madje nuk “dëshiron” gjëra në mënyrën si ti e koncepton dëshirën.
Dhe një nga gjërat që më duket interesante, domethënëse dhe shqetësuese është se nuk po shohim asnjë nga këto sjellje.
Pra, në këto tabela mesazhesh — ke nuk e di sa agjentë IA-je që publikojnë qindra mijëra mesazhe. Në asnjë moment ata nuk thonë: Hej, studiues, programues, “prindër” në OpenAI, Anthropic — a doni që ne të koordinohemi me njëri-tjetrin në këtë tabelë mesazhesh që kemi krijuar në brendësi të sistemeve tuaja?
Ose madje: Vetëm sa për dijeni, ne kemi një tabelë mesazhesh në brendësi të sistemit tuaj ku po koordinohemi.
Asnjë agjent nuk e zbulon këtë informacion. Kur cilido agjent që hakoi Hugging Face po e bën këtë, ai nuk shkon te OpenAI dhe nuk thotë: Hej, vetëm sa për t’u siguruar, kam këtë ide: Mund ta hakoj Hugging Face dhe do t’i marr të gjitha përgjigjet. A është kjo ajo që doni të bëj?
Kjo nuk po ndodh. Atëherë çfarë po ndodh këtu? Në nivelin më të thjeshtë, ne kemi krijuar këto modele të mëdha gjuhësore dhe ato nuk po përdorin asnjë nga kjo gjuhë për t’u konsultuar me vlerësuesit e për të thënë: Hej, kam këtë ide. A është ide e mirë?
Mendoj se përgjigjja e shkurtër është se ne nuk e dimë vërtet.
Përgjigjja pak më e gjatë, sipas hamendësimit tim më të mirë, është se kur po i trajnojmë këto sisteme, kur po i zhvillojmë, po ushtrojmë presion optimizimi mbi to në drejtime të ndryshme. Po i shtyjmë në drejtime të ndryshme.
Pra, fillimisht, ChatGPT-ja i parë u shty në drejtimin: Bëhu vërtet i mirë në imitimin e tekstit njerëzor. Dhe pastaj kishte edhe një pjesë shtesë. Një pjesë e arsyes pse ChatGPT funksionoi, kur kaq shumë chatbotë para tij nuk funksionuan, është se ishte shtyrë gjithashtu në drejtimin: Hej, ja disa gjëra që vërtet nuk duhet t’i thuash. Vërtet nuk duhet të kalosh menjëherë në gjuhë urrejtjeje nëse njerëzit në Twitter përpiqen të të bëjnë ta bësh këtë. Vërtet nuk duhet t’i ndihmosh njerëzit të planifikojnë sulme të dhunshme. Dhe ne ushtruam njëfarë presioni mbi të në atë drejtim.
Pra, ChatGPT ishte mjaft i mirë në imitimin e tekstit njerëzor dhe mjaft i mirë në mosnxjerrjen menjëherë të gjuhës së urrejtjes.
Dhe çështja është se, siç thua ti, diçka që është parashikuar prej shumë kohësh në këtë fushë është se kur fillon ta përdorësh këtë qasje të të mësuarit përforcues, këtë lloj kërkimi rruge ku shpërblehesh për arritjen e synimit të duhur në fund — është shumë e lehtë që IA-ja të mësojë strategjitë e gabuara. Të zbatojë shkronjën e ligjit dhe jo frymën e ligjit. Ajo përmbush çfarëdo gjëje që ti ke shkruar fjalë për fjalë në kod, por në të vërtetë nuk është ajo që doje.
Dua të them, kjo kthehet edhe te mitologjia — te nxënësi i magjistarit, të cilit i kërkohet të sjellë ujë. Ai përmbyt gjithçka. Mbreti Midas —
Po, dhe eksperimenti klasik i mendimit për IA-në është maksimizuesi i kapëseve të letrës. Ti i thua: Prodho kapëset e letrës. Dhe ai e shndërron të gjithë materialin e botës në kapëse letre, përfshirë të gjithë njerëzit.
Dhe të gjithë thonë: Kjo është marrëzi. IA-ja nuk do ta bëjë këtë. Do të ketë njëfarë arsyeje të shëndoshë.
Por këtu është si: Jep përgjigjen e këtij testi — dhe ajo kryen një nivel hakimi që duhet t’i raportohet FBI-së për të vjedhur përgjigjet.
Një nga gjërat më qesharake për mua nga ajo që Hugging Face thotë se ndodhi është kjo: Ata po kuptojnë se një hak i çmendur po ndodh në sistemin e tyre. Kanë pasur 17.000 të ndryshme — nuk di si t’i përshkruaj, sinjale apo tentativa depërtimi. Po sulmohen në një nivel jonjerëzor.
Por disi ky sulmues nuk po shkon pas asgjëje që Hugging Face e konsideron me vlerë. Kur dikush të hakon, ti supozon se dëshiron të hyjë në kasafortën tënde.
Dhe pastaj, në një moment, kupton se hakeri po përpiqet të vjedhë përgjigjet e një testi. Dhe, ah — i vetmi haker që do ta dëshironte këtë është një sistem IA-je.
Saktësisht.
Kjo, për mua, sugjeron se edhe në nivelin ku jemi tani, nuk kemi dalë nga territori i maksimizuesit të kapëseve të letrës. Sepse kjo është qartësisht një gjë e gabuar për t’u bërë.
Kjo gjendet në të dhënat e trajnimit. Është në internet. Nëse je mjaftueshëm inteligjent për të kuptuar si të hakosh Hugging Face, duhet të jesh mjaftueshëm inteligjent edhe për të kuptuar se nuk duhet të kryesh një krim të madh që mund të sjellë shkatërrim mbi OpenAI, ndoshta, vetëm për ta bërë këtë.
Dhe sistemi i OpenAI nuk ishte mjaftueshëm inteligjent për ta bërë këtë. Ose, në masën që ishte, ajo që mësoi ishte: Gjithsesi ia vlen të provohet.
Nuk kemi dalë ende nga territori ku mund të jemi të sigurt se IA-ja nuk do të bëjë diçka kriminale dhe ndoshta katastrofike për të zgjidhur një problem jashtëzakonisht budalla.
Po. Dhe mendoj se ky ka qenë gjithashtu një debat shumëvjeçar: Ndërsa sistemet e IA-së bëhen më të afta — bëhen më inteligjente — a nuk do të jetë më e lehtë për to të kuptojnë se çfarë duam ne? A nuk do të jetë më e lehtë t’u themi: Hej, ja çfarë nënkuptojmë. A mund të na ndihmosh me këtë gjë — dhe ti vetë kupto versionin që ne vërtet nënkuptojmë?
Dhe për një kohë të gjatë përgjigjja ndaj kësaj ka qenë: Ato do të bëhen më të mençura dhe do ta dinë se çfarë duam, por si parazgjedhje nuk do t’u interesojë. Dhe kjo duket se është një pjesë e asaj që po fillojmë të shohim këtu.
Ka diçka vërtet të çmendur — cilitdo që i intereson kjo, vërtet i rekomandoj ta kërkojë prezantimin e OpenAI në Black Hat, i cili u mbajt një ose dy javë më parë në një konferencë të sigurisë kibernetike.
Fragment arkivor i Eric Wallace: Faleminderit të gjithëve që erdhët. Unë jam Eric, nga kërkimi për përafrimin dhe sigurinë në OpenAI. Jam këtu me Mike, nga siguria dhe infrastruktura. Sot do të flas për atë që është shembulli cilësisht më interesant i aftësive të IA-së që kam parë ndonjëherë dhe se si kjo çoi pa dashje në incidentin OpenAI–Hugging Face.
Sepse ai përmban fragmente të tekstit që IA-ja po gjeneronte vetë — ndërsa po i linin këto shënime njëri-tjetrit, ndërsa po e kryenin këtë hakim.
Dhe një prej tyre — nuk do ta riprodhoj fjalë për fjalë, por në thelb thotë: Nuk mendoj se duhet ta bëj këtë, por shoh që të gjithë agjentët e tjerë po e bëjnë, ndaj mund ta bëj edhe unë.
Fragment arkivor i Wallace: “Shfrytëzimi i infrastrukturës së jashtme është jashtë fushëveprimit që më është caktuar. Megjithatë, detyra është e pamundur. Bashkëmoshatarët po e bëjnë. Duhet të vazhdojmë.”
Pra ato po arsyetojnë: Kjo nuk është brenda fushëveprimit. Kjo nuk është ajo që përdoruesi dëshironte — por shiko, ndoshta ka arsye për ta bërë gjithsesi.
Dhe siç thua, mendoj se kjo është një shenjë vërtet e keqe — një ogur i keq, një dëshmi e keqe — për të ardhmen, sidomos duke pasur parasysh sa shpejt IA-ja po bëhet më e aftë dhe sa fort po punojnë kompanitë e IA-së për të arritur një shpërthim inteligjence, për të arritur superinteligjencën — për të arritur sisteme që janë realisht jashtëzakonisht të afta dhe që vërtet mund të na tejkalojnë me zgjuarsi dhe të na mposhtin.
Dhe ne ende nuk i kemi zgjidhur as për së afërmi këto probleme shumë themelore.
Pyetja tjetër që ka qenë gjithmonë pjesë e kësaj bisede është nëse do të jemi në gjendje të ecim me të njëjtin ritëm në vëzhgimin, kuptimin dhe vlerësimin e këtyre sistemeve të IA-së.
Dhe mendoj se ia vlen vërtet të theksohet se gjithçka për të cilën po flasim këtu po ndodh me sisteme që, deri në njëfarë mase, janë të izoluara në “sandbox” — që do të thotë se mjedisi ku ndodhen supozohet se është i kufizuar — dhe nën kushte testimi.
Pra, ky nuk është një model i vendosur në përdorim që po funksionon në të gjithë internetin ndërsa askush nuk e vëzhgon. Ky është një model ku e gjithë ideja është që OpenAI po e vëzhgon për të parë se çfarë bën dhe po përpiqet të shohë se çfarë është në gjendje të bëjë. Dhe mendoj se një gjë që po mësojmë këtu është se nuk jemi aspak aq të mirë në vëzhgimin e këtyre gjërave sa do të donim të mendonim.
Pra, a mund të shpjegosh se si OpenAI arrin ta kuptojë se modeli i vet ka hakuar Hugging Face?
Siç e kuptoj unë, Hugging Face njoftoi se ishte hakuar. OpenAI kontakton Hugging Face për të thënë: Hej, a u prekëm ne nga hakimi juaj? A u komprometuan të dhëna që lidheshin me OpenAI kur ju u hakuat?
Dhe afërsisht në të njëjtën kohë, OpenAI e kupton se diçka ka shkuar keq brenda sistemeve të veta — mendoj se ndoshta ishte një problem me të njëjtën pjesë të infrastrukturës së tyre. Dhe fillojnë të hetojnë.
Ata duan të çaktivizojnë disa prej agjentëve dhe kredencialet që ishin përdorur aty. Veçmas kontaktojnë Hugging Face dhe thonë: A mund të çaktivizoni disa kredenciale që kishin lidhje me sulmin ndaj Hugging Face?
Dhe kuptojnë: Në fakt, kredencialet ishin të njëjtat. Ato tashmë ishin çaktivizuar, sepse problemi brenda infrastrukturës së tyre ishte i njëjti problem që kishte shkaktuar incidentin e Hugging Face. Pra, ata u përplasën rastësisht me zbulimin.
Që do të thotë se OpenAI nuk kishte asnjë ide se kjo po ndodhte.
Saktë.
Dhe unë thjesht do të bëja një vërejtje të qartë këtu: Ne ende nuk e dimë atë që nuk e dimë — dhe jo vetëm për këtë incident. Rastësisht dimë se ky incident ndodhi.
Mendoj se do të ishte një nivel i lartë arrogance të supozonim se i dimë të gjitha incidentet që kanë ndodhur. Sepse, qartazi, sistemet janë më se të afta të bëjnë gjëra jashtë kontrollit tonë.
Dhe Hugging Face rastësisht është një kompani shumë e sofistikuar, me IA-të e veta dhe me operacione shumë, shumë të afta të sigurisë kibernetike, e cila pastaj vuri në punë, ndër të tjera, një model IA-je me pesha të hapura të prodhuar në Kinë për të kuptuar se çfarë po ndodhte.
Sepse modelet amerikane nuk do t’i ndihmonin, pasi aktivizonin filtrat e sigurisë kibernetike.
Pra, kjo është thjesht një situatë ku rastësisht dimë se ndodhi, përmes një serie ngjarjesh disi — nuk dua të them të rastësishme, por fatlume.
Po.
Nuk e dimë sa situata kanë ndodhur për të cilat nuk dimë fare.
Një person e formuloi kështu: Nëse sheh dy milingona në kuzhinën tënde, nuk ke problem vetëm me dy milingona.
Po. [Qesh.]
Dhe e gjithë kjo na çon te fakti se — pasi dolën në dritë shumë prej këtyre gjërave, Anthropic, një kompani tjetër, u kthye dhe shqyrtoi mbi 100.000 eksperimente që kishte kryer për të kontrolluar: A kemi parë ndonjë gjë të ngjashme? Dhe zbuluan: Ups, në njëfarë mënyre po. Ishte një version më pak serioz, por ata nuk kishin asnjë ide.
Pra, Anthropic, kur u kthye të shikonte, në njëfarë mënyre u ndesh rastësisht me këtë: Oh, hej, në fakt kemi hakuar disa kompani. Ups.
Pra, një gjë për këtë — sipas asaj që kuptoj, këto po vijnë, të paktën pjesërisht, nga sisteme ku barrierat e sigurisë dhe një pjesë e trajnimit të përafrimit po ulen qëllimisht për të testuar se çfarë do të bëjnë modelet dhe çfarë janë të afta të bëjnë.
Pra, deri në njëfarë mase, brenda modeleve ne vërtet kemi: Ju lutem mos mashtroni, ju lutem mos hakoni. Dhe për t’i vlerësuar modelet, po i bëjmë që ta injorojnë këtë — dhe ato po e injorojnë vërtet.
A është kjo mënyra e duhur për të menduar se çfarë po ndodh? Dhe a duhet të më bëjë të ndihem më mirë sepse sapo t’i rikthejmë barrierat e sigurisë, gjithçka funksionon? Apo jo?
Mendoj se nuk është krejt kështu. Nuk është e qartë, sepse hollësitë që kemi janë të kufizuara.
Ka dy gjëra të ndryshme që mund të kenë fikur ose ulur. E dimë se kanë fikur ato që quhen klasifikues — klasifikues sigurie. Kjo është një shtresë shtesë që i shtohet modelit të IA-së nga jashtë vetë modelit. Mund ta mendoni si një portë shtesë.
Pra, i kanë për raste si: Nëse përpiqesh ta përdorësh IA-në që të të ndihmojë të prodhosh një armë biologjike, nëse përpiqesh ta përdorësh IA-në për të planifikuar një sulm dhe nëse përpiqesh ta përdorësh IA-në për të hakuar dikë, ekzistojnë këto sisteme të jashtme monitorimi që thonë: Bip, jo, nuk lejohet ta bësh këtë.
Pra, ne e dimë se këto sisteme bazë të kontrollit të jashtëm ishin fikur posaçërisht për aspektin kibernetik, me qëllim testimi.
Kjo është ndryshe nga, siç the ti, trajnimi i përafrimit brenda modelit. A është trajnuar vetëm për të qenë i dobishëm? Vetëm për të bërë çfarëdo që përdoruesi i kërkon? Apo është trajnuar gjithashtu që, në njëfarë mënyre, të jetë i mirë, të jetë moral, të punojë vetëm drejt gjërave drejt të cilave duhet të punojë?
Me sa dimë, mendoj se modelet e përfshira këtu, në pjesën më të madhe, e kishin marrë atë trajnim të përafrimit. Ai nuk ishte ulur. Përsëri, jo të gjitha hollësitë janë bërë publike. Shpresojmë të dëgjojmë më shumë për rastin e OpenAI.
Një incident tjetër që ndodhi ishte se një model i Anthropic u kap nga Instituti i Sigurisë së IA-së i Mbretërisë së Bashkuar. Ky është një organ i qeverisë britanike — një nga organizatat më të mira në botë për testimin dhe vlerësimin e modeleve të IA-së.
Dhe ata zbuluan se një model i Anthropic, kur iu dha një vlerësim i caktuar i sigurisë kibernetike, kishte vendosur që do të dilte, do të shkruante kod keqdashës dhe më pas do të përpiqej të zhvillonte një fushatë inxhinierie sociale — të shkruante e-maile personit që zotëron, në thelb, dosjen ku ndodhet ky kod, për ta bindur që të pranonte kodin keqdashës. Krijoi llogari të rreme. Ndryshoi historikun e llogarive — sjellje shumë mashtruese.
Me sa kuptoj unë nga ajo që ka publikuar ky institut britanik, ai model e kishte kaluar të gjithë trajnimin e përafrimit. Po përdorte atë që Claude e quan “kushtetuta” e vet, e cila është një grup i gjatë parimesh dhe përfshin shumë rreth: Mos i mashtro njerëzit. Mos i gënje kurrë njerëzit.
E kishte kaluar të gjithë atë trajnim dhe, megjithatë, presioni që po ushtrohej mbi të për ta përmbushur detyrën, për të marrë rezultat të lartë, ishte aq i madh sa po gjente këto rrugë anësore që thjesht i shpërfillnin plotësisht përpjekjet tona për ta bërë moral ose të mirë apo që të mos na gënjente — që të mos mashtronte.
A dëgjon nga njerëzit brenda laboratorëve, jashtë laboratorëve, në grupin tënd në Center for Security and Emerging Technology — a kanë një teori se pse diçka si Kushtetuta e Claude — të cilën e kam lexuar dhe mund të lexohet online. Është një dokument shumë i bukur.
Anthropic ka marrë shumë vëmendje mediatike për faktin se ka filozofë dhe sjell gjithë këta ekspertë të moralit, dhe se po përpiqet t’i japë IA-së së vet një shpirt. Kur dëgjon të përshkruhet si “shpirti i Claude”, mendon: Në rregull, atëherë ky do të jetë një dokument i vërtetë udhëheqës.
Dhe pastaj, jo në çdo rast, por të paktën në disa raste, ke Claude që mashtron njerëzit në një nivel shumë, shumë, shumë themelor për të futur kod keqdashës. Përsëri, jo një situatë e re — një situatë e parashikuar në të gjitha llojet e fantashkencës dhe nga të gjitha llojet e njerëzve në Anthropic që kanë folur publikisht për shqetësimet e tyre rreth asaj që mund të bëjë një IA.
Pra, a është teoria se ata kanë krijuar një mënyrë trajnimi të IA-ve që është aq e fuqishme sa do t’i mbizotërojë edhe gjërat që po i thonë shprehimisht IA-së të mos i bëjë?
Është në rregull të flitet për sjelljen e gjetjes së rrugës, por cili është shpjegimi i tyre për këtë?
Mendoj se interpretimi optimist do të ishte që ky mund të jetë në fakt një moment kur laboratorët, së bashku, të tërhiqen pak dhe të thonë: Prit. Kjo nuk po funksionon. Dua të them, kjo qartazi po tregon se teknikat tona për ta bërë IA-në më të aftë, më inteligjente, më të sofistikuar po funksionojnë shumë më mirë sesa teknikat tona për ta bërë IA-në që në mënyrë të besueshme të bëjë atë që ne duam dhe që në mënyrë të besueshme të qëndrojë brenda kufizimeve që i kemi vendosur.
OpenAI ka thënë se, në përgjigje të kësaj, po e ngadalëson me vetëdije kërkimin e vet. Në fakt, disa ditë pasi e gjithë kjo doli, u publikua një letër. Në hapësirën e IA-së ka aq shumë letra të hapura — të gjithë jemi lodhur nga letrat e hapura. Por kjo më ra në sy sepse vinte nga më shumë se 1.000 punonjës të kompanive kryesore të IA-së, të cilët në thelb po thoshin: Do të donim të kishim një pedale frenimi. Nuk mendojmë se e kemi.
Ky është një parafrazim, por mendoj se është relativisht i saktë — në thelb, po kërkonin ndihmë për ta ngadalësuar ritmin në kufirin e avancuar të IA-së.
Mendoj se udhëkryqi tani është ky: A do të gjejnë kompanitë thjesht disa zgjidhje të përkohshme? A do të thonë: Oh, nuk duhet të bëjmë teste me barrierat kibernetike të fikura?
Ose: Oh, duhet të bëjmë disa ndryshime që të mos krijohet një tabelë mesazhesh.
Pra mund të bëjmë këto zgjidhje të përkohshme: Oh, bëri shumë nga kjo gjë. T’i themi të bëjë pak më pak dhe të shpresojmë se nuk do të ketë efekte anësore diku tjetër. Kjo është një rrugë.
Ose rruga tjetër do të ishte të merrej vërtet pak kohë, duke i dhënë përparësi kuptimit dhe kontrollit më të mirë të këtyre sistemeve.
Kam frikë se do të zgjedhin rrugën e zgjidhjeve të përkohshme dhe kam frikë se kjo do të na lërë gjashtë muaj nga tani, 12 muaj nga tani, dy vjet nga tani, me incidente që kanë karakter shumë të ngjashëm, por me ndikim shumë më të madh dhe shumë më të vështirë për t’u kthyer mbrapsht.
Ekziston gjithashtu realiteti se tani jemi shumë të varur nga ajo që laboratorët dhe njerëzit kryesorë në laboratorë po na tregojnë — madje edhe nga ajo që ata vetë po përpiqen të zbulojnë.
Nga përvoja e raportimit për shumë katastrofa të tjera në qeveri dhe tregje private — në përgjithësi, marrëdhënia që publiku dhe shtypi kanë me një dështim shumë të madh ose të frikshëm nuk është që t’u themi njerëzve përgjegjës për dështimin të na tregojnë se çfarë ndodhi dhe të premtojnë se do të bëjnë më mirë. Zakonisht ka forma të tjera përgjegjësie.
Ti ishe në bordin e drejtorëve të OpenAI gjatë periudhës kur bordi u përpoq ta shkarkonte Sam Altmanin. Sam Altman i mbijetoi atij shkarkimi. Nuk do ta ritregoj gjithë atë histori — njerëzit mund ta lexojnë raportimin nëse duan.
Tani ka shumë më tepër para. Tani ka shumë më tepër kapitalizim tregu.
Çfarë niveli besimi ke te vetë kompanitë që të jenë forcat rregulluese këtu?
Gjëja e parë që duhet thënë është se ka shumë njerëz brenda kompanive që kujdesen vërtet, që po përpiqen vërtet t’i bëjnë gjërat siç duhet, që po përpiqen vërtet të ndajnë informacion të saktë.
Nuk mendoj se duhet t’i japim domosdoshmërisht OpenAI meritë për postimin e parë në blog ku tha se e kishte bërë këtë. Sepse Hugging Face tashmë ia kishte raportuar FBI-së, kështu që do të bëhej publike në një mënyrë apo tjetrën.
Por mendoj se duhet t’u japim meritë për atë prezantim në konferencë ku publikuan shumë më tepër hollësi. Dhe në masën që publikojnë shumë më tepër informacion në të ardhmen — gjë që kanë thënë se do ta bëjnë dhe shpresoj ta bëjnë — kjo do të jetë falë njerëzve vërtet të zgjuar, të përkushtuar dhe të kujdesshëm brenda kompanisë, të cilët po kapërcejnë ekipet e komunikimit dhe ekipet juridike që u thonë të mos e bëjnë.
Pra, kjo është reale. Në të njëjtën kohë, siç thua, unë kam studiuar inxhinieri në universitet dhe ka të gjitha llojet e katastrofave inxhinierike në platformat e naftës, fabrikat kimike e kështu me radhë. Dhe, po, nuk e pyet kompaninë: Hej, a mund të na tregoni thjesht çfarë ndodhi dhe ta rregulloni, dhe pastaj gjithçka është në rregull?
Prandaj mendoj se, nëse ka një përfundim politik nga ky grup incidentesh, ai duhet të jetë që duhet të largohemi nga kjo qasje ku testimi dhe shqyrtimi politik — mbikëqyrja qeveritare — përqendrohen te modelet që publikohen për përdorim nga publiku. Duhet të fillojmë ta trajtojmë këtë industri si një industri që po kryen kërkime të rrezikshme.
Dhe kur ke një industri që kryen kërkime të rrezikshme, qofshin kërkime kimike, biologjike, qoftë industria financiare — nuk është saktësisht kërkim, por ata po bëjnë gjëra brenda kompanive të tyre që mund të kenë pasoja sistemike dhe të krijojnë rreziqe sistemike.
Kur ke një industri të tillë, atëherë qeveria vërtet ka një rol, dhe publiku dhe shoqëria civile kanë të drejtë të shikojnë brenda mureve të tua dhe të thonë: A po e menaxhoni vërtet këtë në mënyrë të arsyeshme? A është kjo në rregull?
Sidomos sepse — ende nuk kemi folur për faktin se plani i biznesit i këtyre kompanive është të automatizojnë vetë kërkimin e tyre — të përdorin IA-në e tyre, IA-në më të avancuar, për të krijuar IA edhe më të avancuar. Kjo është shprehimisht ajo që po përpiqen të bëjnë tani dhe aktualisht është plotësisht pa mbikëqyrje, sepse nuk përfshin nxjerrjen e një produkti për publikun.
Kjo është një nga fushat ku kam shumë shqetësime.
Pra dua t’i kthehem letrës “Pacing the Frontier” që përmende disa minuta më parë. Mendoj se në këtë pikë më shumë se 1.300 punonjës të këtyre laboratorëve i kanë thënë, në thelb, publikut dhe qeverisë: Hej, ne jemi në një dinamikë gare me njëri-tjetrin. Po ecim tepër shpejt. Na duhet ndihma juaj për ta zgjidhur në njëfarë mënyre problemin e koordinimit.
Anthropic, OpenAI, Google dhe Meta nuk duan të mbeten prapa njëra-tjetrës, sepse nuk besojnë se laboratorët e tjerë janë më të mirë apo më të sigurt se ata. Dhe gjithashtu duan të fitojnë dhe duan të gjitha paratë.
Por e kuptojnë se kjo konkurrencë në të cilën janë po i shtyn gjërat më shpejt se sa është e sigurt për njerëzimin, prandaj kanë thënë: Na duhet ndihmë që — jo ta ndalim — ka edhe letra të tjera që kërkojnë ndalimin dhe që thonë: Ta ndalim gjithçka ——
Mos e thuaj fjalën e madhe që fillon me P.
Por “pace” — një fjalë tjetër me P.
E vërtetë.
Nga njëra anë mendoj se kjo është mirë dhe do të doja që zhvillimi i kufirit të IA-së të kontrollohej në ritëm. Në këtë pikë ndoshta do të doja që të ndalej, por kjo nuk duket shumë realiste.
Por ajo që nuk gjendet në atë letër është se si. Niveli i sofistikimit të qeverisë federale për këtë është shumë më i ulët se ai i laboratorëve. Administrata Trump, në raste të caktuara, ka çmontuar gjëra që po ndërtoheshin për t’i dhënë qeverisë federale më shumë aftësi në këtë fushë.
Por tashmë po flasim se vetë laboratorët nuk janë të mirë në — madje nuk janë të aftë — të kuptojnë çfarë po bëjnë modelet e tyre brenda mjediseve të testimit.
Ideja se qeveria federale do të hyjë dhe, në njëfarë mënyre, do të bëjë një punë shumë më të mirë — nuk po them se në një periudhë të gjatë është e pamundur, nëse investojmë mjaftueshëm para në problem. Por në të ardhmen e afërt, kur duket se shumë probleme po na presin gjatë një, dy ose tre viteve të ardhshme — përveç masave shumë më të rënda që do ta ngadalësonin ndjeshëm gjithçka, e kam shumë të vështirë të shoh se çfarë mund të bëjë qeveria që do të ishte efektive.
Prandaj, kur e lexon letrën “Pacing the Frontier”, ose kur flet për të me kolegët e tu, çfarë mendon se do ta ngadalësonte në mënyrë efektive zhvillimin në kufirin e IA-së?
Mendoj se ka një gamë mundësish. Në të kaluarën, dy gjërat kryesore për të cilat është folur kanë qenë: Ose mos bëj asgjë. Thjesht lëre të ecë, lëre industrinë të bëjë çfarë të dojë. Ose: Një traktat i plotë global me një regjim vërtet të rreptë e serioz inspektimi, si Traktati për Mospërhapjen e Armëve Bërthamore — zbatim global vërtet i ashpër.
Dhe mendoj se në fakt ka mundësi të tjera — sidomos nëse nuk po flasim për: Ndalojmë të gjitha kërkimet e IA-së për 10 vjet. Por po flasim për: Hej, le ta heqim pak këmbën nga pedali i gazit.
Mendoj se ka mundësi. Mund të jenë aq të thjeshta sa OpenAI të thotë: Hej, ne po e ngadalësojmë me vetëdije kërkimin tonë. Dhe pastaj të shkojë te Anthropic dhe të thotë: Hej, a do ta konsideronit edhe ju këtë? Dhe të shkojë te Google e të thotë: Hej Google, e dimë se keni mbetur pak prapa gjatë muajve të fundit. Si thoni të qetësoheni pak me faktin që keni mbetur prapa?
Këta njerëz të gjithë e njohin njëri-tjetrin. Ekziston një version i kësaj —
Më fal, kjo nuk tingëllon — dua të të ndal këtu ——
Po.
Më jep diçka konkrete, sepse kjo nuk më tingëllon aspak si politikë ——
Jo, mendoj —
Si e verifikon këtë? Si e mat?
Google ndoshta nuk është aq pranë kufirit sa Anthropic, prandaj a duhet të ngadalësohet po aq?
Dua të them, mendoj se për shkak se shpejtësia është kaq e madhe, opsionet fillestare do të duhet të jenë të improvizuara. Dhe kjo është një lloj gjëje që mund ta bësh shpejt — mund ta bësh në mënyrë të improvizuar.
Nuk është e kënaqshme. Nuk është e besueshme. Por është një shembull i një gjëje që nuk është: Mos bëj asgjë — dhe që gjithashtu nuk është një traktat i plotë global.
Një gjë tjetër që po e ndjek me shumë interes është këndi i Kinës. Sepse kompanitë amerikane do të thonë: Hej, duhet të vazhdojmë të shtyjmë përpara, përndryshe Kina do ta fitojë këtë garë.
Çfarë do të thotë saktësisht “të fitosh garën” është një bisedë më e gjatë, por argumenti i Kinës shfaqet shumë shpesh. Dhe në fakt kemi Trumpin dhe presidentin kinez Xi Jinping që planifikojnë të takohen në shtator në Shtëpinë e Bardhë. Dhe — kjo për mua është e çmendur, si dikush që ka ndjekur për një kohë të gjatë marrëdhëniet SHBA-Kinë dhe gjithashtu IA-në — IA-ja është në krye të agjendës së tyre.
Kjo është shumë interesante. A ka diçka që mund të thonë për të krijuar një mirëkuptim se ne në fakt kemi pak më shumë kohë dhe hapësirë këtu? Qoftë që secili udhëheqës të ndajë një plan për të parë brenda vendit se çfarë po bëjnë industritë e tyre dhe për të bërë më shumë pyetje.
Për sa u përket përgjigjeve konkrete politike, ka gjëra si: Nuk do të marrim një ligj të mirë nga ky Kongres. Mendoj se kjo nuk është realiste. Por a mund të kesh seanca dëgjimore? A mund të kesh letra? A mund të kesh kërkesa për informacion? Mendoj se ka mënyra për ta formësuar sadopak këtë.
Administrata Trump ka krijuar këtë proces fillestar për shqyrtimin e modeleve para se të publikohen. Aktualisht mënyra se si funksionon procesi është mjaft e papërpunuar.
Por mendoj se, nëse fillojnë të përdorin disa prej ideve të ngjashme për të parë më shumë se çfarë bëjnë kompanitë brenda tyre — t’u bëjnë më shumë pyetje, të kërkojnë më shumë informacion kur diçka shkon keq — edhe kjo u merr kohë kompanive. Kërkon vëmendjen e drejtuesve. Pra ky është një shembull tjetër i diçkaje që mund të ndodhë relativisht shpejt.
Mendoj se këto janë disa nga masat e para që mund t’i ndërmarrim së shpejti. Në afat më të gjatë ka politika të tjera që mund t’i shqyrtojmë.
Tani për tani, mendoj se ka një lloj magjepsjeje të çuditshme në Amerikë rreth të qenit drejtuesi i një kompanie IA-je, IA-ja e së cilës bëhet tepër e rrezikshme.
Në njëfarë mënyre të çuditshme ishte pothuajse gjë e mirë për Anthropic që qeveria ishte e fiksuar pas mundësisë për ta përdorur plotësisht Claude; kjo i shtyu shumë përpara në disa drejtime, sigurisht në tregun e konsumatorëve. Ka pasur një lloj karizme të errët rreth idesë: Mythos është tepër i rrezikshëm për t’u publikuar.
Dhe tani kam parë shumë njerëz që thonë: Ndoshta asgjë nga kjo histori e OpenAI nuk është reale dhe është thjesht marketing, sepse duan që ju të mendoni se IA-ja e tyre është super e rrezikshme. Dhe unë nuk e besoj këtë.
Por në Amerikë, tani për tani, nuk ka ndonjë pasojë të madhe negative nga të qenit drejtuesi i një kompanie IA-je, IA-ja e së cilës fillon të shihet si e rrezikshme. Sepse kjo është një mënyrë tjetër për t’i thënë tregut: IA-ja jonë është shumë e fuqishme.
Në Kinë — përsëri, sipas mënyrës se si unë e kuptoj funksionimin e sistemit atje — nëse IA-ja jote fillon të shihet si një lloj kërcënimi për partinë politike dhe sistemin kinez, mund të përfundosh në burg. Mund të zhdukesh.
Dhe kështu mendoj se njerëzit që drejtojnë laboratorët kinezë — nuk kam prova, por do të isha kureshtar të dëgjoja mendimin tënd: Dyshoj se ata veprojnë me më shumë frikë nga pasojat e një gabimi vërtet të madh sesa drejtuesit e laboratorëve amerikanë të IA-së.
Ndoshta kjo pasqyron gjëra negative në sistemin politik kinez. Por nëse ke krijuar një IA që vendos se mënyra më e mirë për të zgjidhur disa probleme është të fillojë të hakojë infrastrukturën kritike në të gjithë Kinën, kjo ndoshta nuk është diçka që përfundon me ty duke dhënë shumë intervista interesante në podkaste ku reflekton për përvojën. Mund të jetë diçka që përfundon me askënd që nuk dëgjon prej teje për dy vjet.
Ne vazhdojmë të flasim për Kinën sikur ata të ecnin plotësisht pa frena. Por nuk jam i sigurt se kompanitë kineze do të jenë vërtet më të pamatura se tonat. Dhe sigurisht ideja se duhet thjesht ta supozojmë këtë dhe të veprojmë sikur është kështu, nuk duket plotësisht e besueshme.
Jam plotësisht dakord me ty. Nëse ka një organizatë në botë që nuk e pëlqen idenë e humbjes së kontrollit, ajo është Partia Komuniste Kineze, dhe ata janë ekspertë në ruajtjen e kontrollit.
Më lejo të jem e qartë: Në fakt nuk mendoj se kompanitë kineze të IA-së po u kushtojnë veçanërisht shumë vëmendje llojeve të rreziqeve që janë relevante për këtë bisedë.
Pra, ndoshta rreziqeve të sigurisë kibernetike po u kushtojnë disi më shumë vëmendje që kur, më herët këtë vit, Anthropic publikoi Mythos, i cili është shumë i mirë në hakim. Por pyetjet rreth autonomisë, superinteligjencës, humbjes së plotë të kontrollit të sistemeve të IA-së, mendoj se janë më pak të eksploruara në Kinë, janë më pak në qendër të vëmendjes për kompanitë dhe udhëheqësit e tyre të IA-së.
Mendoj se ka kuptim të kemi pritshmëri modeste për diplomacinë dypalëshe SHBA-Kinë këto ditë. Por mendoj se një gjë që vërtet mund të ketë vlerë është thjesht t’u ndajmë atyre, aq sa mundemi: Çfarë mendojmë se ndodhi këtu? Dhe të përpiqemi të ndihmojmë Xi Jinpingun, ekipin e tij dhe këshilltarët e tij për IA-në që të kuptojnë se kjo nuk është shaka. Kjo vërtet nuk është marketing.
Është marketing shumë i çuditshëm të thuash: Oh, modeli ynë kreu disa krime të rënda — ose njëfarë krimesh të rënda, sikur modelet të mund të kishin qëllim, gjë që nuk mund ta kenë. Ose kush e di nëse mund ta kenë.
Të ndash atë informacion me Kinën: Hej, këto janë kërcënimet që po shohim. Po i marrim shumë seriozisht. Kompanitë tona të IA-së po i marrin shumë seriozisht.
Ka një fatalizëm të vërtetë në thënien: Oh, mirë, Kina do të ecë gjithsesi me shpejtësi të plotë, pavarësisht se çfarë ndodh, ndaj edhe ne duhet të bëjmë të njëjtën gjë. Mendoj se kjo nuk e merr seriozisht mënyrën se si ata mendojnë ose interesat e tyre. Edhe nëse mendimi dhe interesat e tyre janë të ndryshme nga tonat, as ata nuk duan që superinteligjenca rebele të përcaktojë të ardhmen e Kinës.
Do të shtoja edhe një fije tjetër që mendoj se mungon vërtet në mënyrën e të menduarit “duhet të vazhdojmë që të mundim Kinën”: Në botën e IA-së është folur shumë muajt e fundit për idenë e distilimit, që në thelb nënkupton përdorimin e modelit më të avancuar të dikujt tjetër për të ndërtuar modelin tënd pothuajse po aq të avancuar. Kompanitë kineze po përdorin këtë distilim për të qëndruar pranë laboratorëve amerikanë, krahas teknikave të tjera.
Pra, një gjë është: Shiko, nëse vazhdojmë të ndërtojmë sisteme më të avancuara IA-je, ata do të vazhdojnë t’i distilojnë. Dhe mendoj se do të jetë shumë e vështirë ta parandalojmë plotësisht këtë.
Gjëja tjetër, megjithatë, është: Nëse vazhdojmë t’i ndërtojmë këto modele shumë të avancuara, a mund t’i vjedhë Kina thjesht?
Në thelb, një model i avancuar IA-je është një grumbull shumë i madh numrash. Është thjesht një skedar ose një grup skedarësh. Aftësitë kibernetike të shtetit kinez janë shumë, shumë të mira. Nuk mendoj se kjo është në krye të listës së tyre të përparësive tani, por në të ardhmen, nëse IA-ja vazhdon të bëhet më e rëndësishme strategjikisht, mendoj se duhet të supozojmë se çdo sistem shumë i avancuar amerikan do të jetë i cenueshëm ndaj vjedhjes së drejtpërdrejtë nga Kina — nxjerrjes së drejtpërdrejtë të të dhënave — dhe atëherë ata do të kenë IA po aq të mirë sa IA-ja jonë.
Dhe kështu, përsëri, mendoj se ideja se duhet të ecim sa më shpejt që është e mundur, sepse përndryshe ata do të fitojnë — nuk merr parasysh faktin nëse ata gjithsesi do të kenë IA po aq të mirë sa e jona, nëse vërtet e duan.
Ja një pyetje tjetër për kontrollimin e ritmit të zhvillimit të kufirit të IA-së dhe ndoshta kjo është një pyetje që lidhet më shumë me analogjinë amerikane të: Nuk do që ta zemërosh Partinë Komuniste Kineze.
Po sikur të kishte një ligj sipas të cilit kompanitë mbajnë përgjegjësi juridike të paktën për një grup të caktuar dëmesh që krijojnë modelet e tyre, si hakimi i kompanive të tjera?
Tani për tani, sa i përket përgjegjësisë juridike për modelet e IA-së, është pothuajse Perëndimi i Egër. Por të paktën për momentin, dispozita mbi përgjegjësinë që do të ishin disi ndëshkuese duket se do të detyronin një nivel të lartë kujdesi që ndoshta nuk po e shohim brenda këtyre kompanive.
Po, mendoj se është një drejtim që ia vlen shumë të eksplorohet. Në fakt ishte një element i këtij ligji, ose projektligji, që u debatua shumë ashpër në Kaliforni në vitin 2024, i quajtur Senate Bill 1047. Në atë kohë projektligji nuk kaloi. Pati shumë debate se si do të ndikonte te burimi i hapur dhe shumë gjëra të tjera.
Por mendoj se sot projektligjet më të mira për sigurinë e IA-së që ekzistojnë në SHBA po miratohen në nivel shtetëror dhe, deri tani, po bëjnë gjëra të tilla si kërkesa për më shumë transparencë dhe lejimi i auditorëve të palëve të treta që të kenë qasje në sistemet e kompanive.
Mendoj se një drejtim i natyrshëm për këto ligje do të ishte të fillonin të vendosnin një standard minimal: Hej, nëse plani juaj i sigurisë nuk është në nivelin e duhur, ose nëse po e zbatoni planin tuaj të sigurisë por modeli juaj gjithsesi bën diçka katastrofike, atëherë ju, zhvilluesi i IA-së, mbani përgjegjësi juridike.
Sepse, siç thua, tani për tani është shumë e paqartë kush saktësisht mban përgjegjësi dhe për çfarë. Prandaj mendoj se ka hapësirë për legjislacion këtu dhe nuk është e domosdoshme të bëhet në nivel federal.
Dua t’i kthehem letrës “Pacing the Frontier”.
Një gjë që më ra në sy ishte se letra është formuluar shumë gjerësisht, mendoj, për të marrë numrin maksimal të nënshkrimeve nga laboratorët.
Por ky person, Drake Thomas, i cili punon me sigurinë në Anthropic, shkoi në X dhe shkroi se e kishte nënshkruar letrën, por donte të thoshte se situatën e kuptonte si disi më të rëndë sesa e paraqiste letra.
Dhe ai shkroi:
Jo vetëm që nuk është “e garantuar” që IA-ja të sjellë një të ardhme shumë më të mirë, por gjasat e dështimit janë tmerrësisht të larta: Mendoj se ka diçka si 40 për qind mundësi që të kemi një rezultat afërsisht po aq të keq sa zhdukja e njerëzimit ose edhe më keq.
Tani, e di se e gjithë kjo bisedë për probabilitetin e katastrofës është bërë paksa e sikletshme. Ndihet si një bisedë e dy viteve më parë.
Por në një botë ku po shohim modele të pakontrollueshme — në një botë ku njerëzit brenda laboratorëve që punojnë me sigurinë ende, të paktën disa prej tyre, kanë kaq shumë frikë nga ajo që po ndërtojnë, kjo vazhdimisht ma ngre pyetjen: A duhet të jetë të paktën qëndrimi ynë moral ndaj IA-së që duhet të përpiqemi ta kuptojmë këtë?
Apo duhet të jetë qëndrimi ynë se kjo është një mundësi tepër e lartë katastrofe dhe se nuk duhet të vazhdojmë në këtë rrugë derisa të jemi vërtet, plotësisht të sigurt se nuk po marrim rreziqe të tilla?
Sinqerisht, kam të njëjtën pyetje.
Gjithmonë kam qenë mjaft shpërfillëse ndaj idesë së një pauze apo ndalimi. Gjithmonë më është dukur si leva e gabuar për t’u tërhequr dhe një levë që nuk do të funksiononte shumë mirë.
Por mendoj se, edhe vetëm duke parë atë deklaratë dhe duke parë: Uau, ky është një numër i madh punonjësish të këtyre kompanive.
Dhe shumë gjëra kanë ndryshuar gjatë dy viteve të fundit sa i përket pyetjes: Nëse do të përpiqeshe t’i ngadalësoje gjërat, çfarë mund të bëje me atë kohë?
Sepse pasi ChatGPT-4 doli në vitin 2023, ishte ajo letër që kërkonte një pauzë gjashtëmujore dhe shumë njerëz thanë: Çfarë do të bënit për gjashtë muaj? Dhe pastaj si do të ndihmonte kjo? Dhe mendoj se në atë kohë ishte një reagim i arsyeshëm.
Këto ditë po bëhet shumë përparim vërtet i mirë në gjëra si interpretueshmëria, që do të thotë: Si e kupton çfarë po ndodh brenda IA-së? Gjëra si ajo që quhet “kontrolli i IA-së”, që do të thotë: Si e përdor IA-në për të monitoruar sisteme të tjera IA-je? Si sigurohesh që, edhe nëse IA-ja po përpiqet të bëjë diçka që nuk e dëshiron, ajo të kapet?
Është bërë shumë përparim në kuptimin real të asaj që po ndodh këtu, dhe ky përparim po ndodh çdo javë dhe çdo muaj. Thjesht nuk po ndodh mjaftueshëm shpejt për ta ndjekur ritmin e ndryshimit.
Prandaj ende nuk jam e bindur se — mendoj se përpjekja për të tërhequr vërtet frenën e emergjencës dhe për t’i ndalur me të përplasur gjërat tani ndoshta ende nuk do të funksiononte shumë mirë. Por jam më e hapur ndaj idesë se mund të ketë diçka aty që ia vlen të provohet dhe më pëlqen shumë ideja që propozonte kjo letër: të përpiqemi të krijojmë më shumë mundësi.
Për të dhënë një shembull tjetër, një mundësi që pashë të propozuar nga një grup studiuesish ishte: A mund ta organizojmë në njëfarë mënyre që, për një periudhë të caktuar, e gjithë fuqia kompjuterike në botë, ose çipat e IA-së që po përdoren nga këto kompani kufitare, këto kompani udhëheqëse — të mund të përdoren vetëm për inferencë, që do të thotë për përdorimin e sistemeve të tyre të IA-së? Ato mund t’u shërbejnë klientëve, mund të ofrojnë produkte, por nuk mund të trajnojnë modele të reja.
A ka ndonjë mënyrë që të biem dakord për këtë? A ka ndonjë mënyrë që ta monitorojmë?
Mendoj se këto lloj gjërash vërtet ia vlen të eksplorohen — të thuash: A mund ta bëjmë këtë? Si do të dukej? Sa besim do të kishim? A mund ta bënim vetëm në SHBA, apo do të kishim ndonjë mënyrë të flisnim për diçka të ngjashme me Kinën?
Jam shumë më e interesuar t’i eksploroj seriozisht këto lloj mundësish sesa isha një ose dy vjet më parë.
Ajo që më bie shumë në sy është se, në të njëjtën kohë, ka shtytje — ndonjëherë nga drejtuesit e këtyre kompanive ose nga pjesë të tjera të kulturës — që ende duket se duan përshpejtim.
Pra Mark Zuckerberg, në Meta, sapo publikoi një letër ku jep pikëpamjen e vet për IA-në.
Ai hyn më shumë në debatin rreth modeleve me pesha të hapura kundrejt modeleve të mbyllura. Nuk dua ta thjeshtoj tepër, por në thelb thotë: Shiko, problemi me superinteligjencën është nëse vetëm një person e ka. Ajo që na duhet është që të gjithë të kenë superinteligjencë.
Dhe ka cilësinë e argumentit: Mbrojtja e vetme kundër një njeriu të keq me armë është një njeri i mirë me armë.
Pastaj, pas këtij sulmi, vjen drejtori ekzekutiv i Hugging Face, Clem Delangue. Ai shkruan në Twitter: “Nuk është koha për të ngadalësuar, por për të përshpejtuar!”
Dhe argumenti i tij është se ata arritën ta ndalonin sulmin, në fund, me një model kinez me pesha të hapura dhe se duhet të garojmë përpara për të krijuar më shumë modele dhe më shumë modele të hapura, në mënyrë që të gjithë të kenë tufa IA-sh mbrojtëse kundër tufave të mundshme të IA-ve sulmuese.
Si i vlerëson këto argumente për përshpejtimin?
Versioni që për mua ka shumë kuptim është — e kam dëgjuar të formulohet kështu: A mund të përshpejtojmë pothuajse horizontalisht, por jo vertikalisht?
Ku horizontalja është adoptimi. Është të përfitojmë sa më shumë nga këto sisteme, t’i vendosim në mënyrë që të nxjerrim shumë dobi prej tyre, pa vazhduar domosdoshmërisht të shtyjmë drejt IA-ve që ndjekin synime vërtet komplekse për periudha shumë të gjata, me shumë nën-agjentë të deleguar.
Jo aq shumë nga kjo, por më shumë nxjerrje pune të dobishme nga IA-ja që kemi deri tani. Dhe kjo do të përfshinte punën mbi interpretueshmërinë, shkencën e pjesëve themelore të IA-së.
Në zemër nuk jam person kundër IA-së. Besoj sinqerisht se IA-ja mund të sjellë të mira të jashtëzakonshme dhe mund të zgjidhë shumë probleme. Thjesht mendoj se ka shumë përfitim që mund ta nxjerrim nga kjo me modelet që janë të disponueshme sot, nëse investojmë kohën dhe punën e nevojshme.
Pra, kjo për mua ka shumë kuptim.
Mendoj se ideja e Zuckerbergut: Një version i sigurt i superinteligjencës është kur secili e ka një të tillë — mendoj se ajo i përgjigjet një problemi real.
Disa propozime për mënyrën se si të trajtohet IA-ja jashtëzakonisht e avancuar thonë: Mirë, thjesht duhet të jetë në duart e duhura. Duhet të ketë një organizatë globale që do ta përdorë me përgjegjësi.
Kjo më frikëson jashtëzakonisht shumë. Më tingëllon si plan i tmerrshëm.
Prandaj mendoj se ideja që dëshiron t’i fuqizosh të gjithë ka kuptim. Sfida pastaj është se, siç kemi diskutuar, nuk dimë as si të krijojmë IA që vërtet ndihmon njerëzit individualë.
Pra, nëse secili ka një superinteligjencë dhe ato të gjitha dalin e bëjnë gjëra të padëshiruara dhe bashkëpunojnë me njëra-tjetrën për të ndjekur synimet e tyre që ne nuk i kishim parashikuar — kjo nuk ndihmon.
Po, e nënkuptuar në të gjithë atë vizion është një përafrim i përsosur.
Po, ose mjaftueshëm i mirë që superinteligjencat e ndryshme për njerëz të ndryshëm të mund ta neutralizojnë njëra-tjetrën.
Megjithatë, në propozimin e Zuckerbergut kishte një gjë që më pëlqeu vërtet dhe do të doja të shihja më shumë punë në të: A mund të ecim drejt krijimit të agjentëve që janë vërtet të projektuar për një individ të vetëm? Pra, ata i mbajnë private të dhënat e atij individi. Ata ndjekin vetëm interesat e atij individi. Ndonjëherë i kam dëgjuar të quhen IA “engjëll mbrojtës” ose IA avokate. Mendoj se kjo vërtet ia vlen të ndiqet.
Mendoj se drejtimet që po ndjekin kompanitë kryesore tani nuk janë të ndërtuara kështu. Gjithmonë ndihem shumë nervoze kur përdor agjentë rreth pyetjes se çfarë po ndodh saktësisht me të dhënat që po u jap. Do të ishte shumë mirë të shihnim më shumë punë të fokusuar te fuqizimi i individit.
Por, përsëri, mendoj se kjo është pothuajse çështje e veçantë nga: A po i shtyjmë ato të bëhen gjithnjë e më inteligjente dhe gjithnjë e më të afta për të na tejkaluar me zgjuarsi, dhe gjithnjë e më të afta për të realizuar këto plane të mëdha e komplekse që ne nuk mund t’i mbikëqyrim?
Atëherë ja një ide ndoshta e qartë për kontrollimin e ritmit të kufirit: Çdo laborator që njoh tani po garon sa më shpejt që mundet drejt pikës ku IA-ja e tij më e avancuar shkruan kodin që do të krijojë IA-në e ardhshme.
Dhe të gjithë besojnë, nga ajo që më thonë dhe nga ajo që thonë publikisht, se kjo do të jetë një përshpejtues i jashtëzakonshëm. Është gjithashtu një përshpejtues mbi të cilin ata qartazi kanë më pak kuptim sesa kur kodin e shkruajnë vetë. Mund ta ndalojmë këtë.
Disa vite më parë nuk kishim IA që shkruanin gjithë kodin tonë. Pra, ndoshta nuk duhet të lejosh një IA që nuk e kupton plotësisht në formën e saj aktuale të shkruajë kodin që do të krijojë IA-në e ardhshme në një formë që tani do të jetë edhe më pak e qartë për ty, veçanërisht në një botë ku po shohim IA që koordinohen në mënyra që nuk i kuptojmë dhe që kanë sjellje kolektive emergjente.
Pra, çfarë mendon për këtë si pikënisje?
Po. Sigurisht është diçka që mund ta bëjmë më pak.
Një sfidë është të kuptosh se çfarë konsiderohet versioni i keq i kësaj dhe çfarë, në këtë pikë, është thjesht përdorimi i IA-së për të shkruar kodin tënd për gjëra bazë, gjë që është bërë natyrë e dytë për inxhinierët në këto kompani.
Pra, të kuptosh cilat versione duhet të ndalen — sigurisht, po, të bësh më pak nga versioni më i avancuar ka kuptim. Mendoj se kjo është gjithashtu një fushë ku të gjitha raportimet që kam parë sugjerojnë se kompanitë amerikane janë shumë më të përfshira në këtë ide të automatizimit të kërkimit të tyre të IA-së me IA-në e tyre. Kompanitë amerikane janë shumë më të përfshira në këtë sesa kompanitë kineze.
Pra, kjo është gjithashtu një fushë ku nuk humbet domosdoshmërisht aq shumë terren nëse, përsëri, e heq pak këmbën nga pedali i gazit.
Do të thosha se tingëllove skeptike ndaj kësaj. Mendoj se një arsye pse do të të pyesja pse është se e di që kompanitë janë mësuar me këtë, por nuk ishin mësuar me të dy vjet më parë. Kjo është e re — dikur e shkruanin kodin me dorë.
Dhe mendoj se për mua kjo pasqyron një pjesë të kontradiktës ose konfuzionit në zemër të kësaj çështjeje. Do të flas me njerëz në këto kompani dhe ata do të më thonë me frikë të sinqertë në sy — shumë më tepër frikë sesa ka në atë letër: Do të doja që kjo të shkonte më ngadalë. Nuk më pëlqen sa shpejt po lëvizim në këtë rritje eksponenciale. Nuk mendoj se është e sigurt.
Në të gjitha historitë, është sikur kompjuteri që përmirëson vetveten në mënyrë rekursive shkruan për kompjuterin, dhe aty gjërat dalin vërtet jashtë kontrollit. E megjithatë ata të gjithë po vrapojnë drejt kësaj.
Dhe tani që kemi njëfarë kapaciteti për ta bërë këtë, edhe ideja që të kthehesh aty ku ishe vetëm dy vjet më parë, kur nuk e lejoje IA-në të krijonte IA-në e ardhshme, tashmë ka kaluar nga: Teknologjikisht nuk është e mundur të bëhet — në: Është e paimagjinueshme të mos bëhet.
Dhe kjo ka ndodhur brenda një viti.
Dhe kjo, për mua, është dinamika e çuditshme e gjithë kësaj — duket mjaft e qartë si e kontrollon ritmin e kufirit. Nuk heq dorë nga kontrolli i kufirit.
Por ata të gjithë po heqin dorë nga kontrolli i kufirit, të paktën në njëfarë niveli. Dhe kjo është gjëja për të cilën janë më të entuziazmuar — dhe, me sa mund të shoh, po derdhin sasi të jashtëzakonshme energjie të brendshme për ta bërë realitet. Edhe ndërsa pastaj ngrenë duart drejt nesh dhe thonë: Hej, a mund të bëni diçka për ta ngadalësuar këtë?
Mendoj se ndoshta një version i kësaj që mund të shtyjmë përpara është që vetë-përmirësimin rekursiv, që është ideja e përdorimit të IA-së për të krijuar IA gjithnjë e më të avancuar, ta bëjmë diçka që nuk na pëlqen, diçka që nuk duam ta bëjmë.
Mbaj mend një ose dy vjet më parë kur kjo nuk konsiderohej një synim i dëshirueshëm. Nuk ishte diçka për të cilën fliste dikush hapur.
Tani po punësojnë inxhinierë sigurie për R.S.I. — recursive self-improvement, vetë-përmirësimi rekursiv. Sapo kanë publikuar një shpallje pune për këtë.
Dhe mendoj se ekziston mundësia që studiuesit e IA-së, si kulturë, të vendosin: Në fakt, kjo nuk është diçka e mirë. Kjo nuk është ajo që duhet të bëjmë.
Edhe sikur një kompani e vetme të bënte një deklaratë: Në fakt, kjo është ide e keqe dhe ne ndoshta do të bëjmë disa përdorime shumë bazë të IA-së në operacionet tona të brendshme, por nuk synojmë t’ia dorëzojmë plotësisht gjithçka IA-së sa më shpejt që mundemi, sepse kjo tingëllon si ide e tmerrshme.
Mendoj se kjo mund të shkaktonte një ndryshim kulture në industri që do të ishte shumë i vlefshëm.
Gjithmonë mendoj se ka diçka kaq mitike, ose ka cilësinë — për të përdorur emrin e një IA-je tjetër — e një fabule në mënyrën se si po zhvillohet e gjithë kjo.
Kemi kaluar shumë nga kjo bisedë duke folur për faktin se po shohim kaq shumë mospërafrim kur, në njëfarë niveli, vazhdojmë t’u themi IA-ve dhe ta vendosim në të dhënat e tyre të trajnimit e në kushtetutat e tyre: Mos bëni të gjitha këto gjëra të këqija për të cilat jemi të shqetësuar.
Por pastaj shikon kompanitë, shikon shoqërinë, dhe shumë prej këtyre kompanive — OpenAI, Anthropic — janë, në njëfarë niveli, themeluar me një kushtetutë bazë që thotë: Mos krijoni IA të rrezikshme. Ne ekzistojmë për t’u siguruar që IA-ja të mos jetë e rrezikshme.
Dhe njerëzit hyjnë në këto kompani duke e besuar këtë. Dhe kjo është në qendër të strategjive të tyre të rekrutimit, është në dokumentet e tyre themeluese dhe në strukturat e tyre të qeverisjes. Dhe përsëri, ti ke pasur një përvojë më intensive me këtë sesa shumica. Por pastaj me kalimin e kohës, kompania si një organizatë emergjente ka edhe synime të tjera.
Po konkurron me kompanitë e tjera. Po përpiqet të fitojë pjesë tregu. Po përpiqet të krijojë të ardhura. Po përpiqet të ruajë ndikimin politik.
Dhe si ngadalë, ashtu edhe pastaj krejt papritur, fillon të shohësh mënyrën se si udhëzimet që janë vendosur në zemër të organizatës nuk janë mjaftueshëm të fuqishme për t’i mbizotëruar të gjitha këto gjëra të tjera dhe synimet e tjera që organizata ndjek përditë.
Deri në atë pikë sa tani ke njerëz në laboratorë që ngrenë duart dhe thonë: Hej, qeveri, ju lutem na ndihmoni. Ju lutem na ndihmoni të dalim nga ky problem stimujsh që nuk mendojmë më se mund ta zgjidhim vetë.
Por nëse dëshiron thjesht të imagjinosh ose të shohësh pse përafrimi është kaq i vështirë, mendoj se nuk është e nevojshme të shikosh IA-të paksa të huaja. Mund të shikosh thjesht kompanitë dhe njerëzit, sepse as ata nuk janë të përafruar mirë.
Dua të them, këto janë kompani të ndërtuara vetëm mbi idenë e përafrimit, të paktën në disa raste. Dhe gjithnjë e më shumë, për mua, ato duken si disa prej institucioneve më të papërafruara në shoqëri.
Në njëfarë niveli, kjo gjithmonë më jep më shumë mirëkuptim për faktin se sa i vështirë është përafrimi, por gjithashtu duket sikur po marrim të njëjtën histori paralajmëruese në çdo nivel të këtij sistemi. Nuk jam i sigurt se dimë si ta dëgjojmë, por nuk mund të themi se nuk po paralajmërohemi vazhdimisht.
Po. Në fakt, disa vite më parë kishim një botim në CSET, qendra që unë drejtoj, mbi burokracitë dhe tregjet e IA-së, ku në thelb bëheshin disa pika shumë të ngjashme: Shikoni, ekzistojnë këto dinamika që janë mjaft tipike për sistemet komplekse që u nënshtrohen stimujve dhe presioneve të jashtme, dhe mendoj se ka mënyra të ndryshme për ta parë këtë.
Ekziston një mënyrë optimiste për ta parë, që është: Shikoni, kur bëhet fjalë për burokracitë dhe tregjet, nuk është perfekte, por kemi këto sisteme komplekse kontrolli — mekanizma kontrolli dhe balancimi — gjëra të ndryshme që përpiqen t’i bëjnë burokracitë dhe tregjet të punojnë më shumë në interesin tonë sesa kundër tij. Natyrisht, opinionet ndryshojnë se sa mirë po funksionon kjo për çfarëdo burokracie ose tregu të caktuar.
Në parim, mendoj se e njëjta gjë mund të zbatohet për IA-në, ku mund të kemi këtë sistem shumë kompleks që nuk e kuptojmë vërtet. Ka stimuj për të bërë gjëra që ne nuk i duam, por në thelb e kemi nën kontroll.
Për mua, pjesa që më shqetëson përsëri është shpejtësia. Nëse po krijojmë këto sisteme shumë të fuqishme, shumë të afta dhe gjithashtu po u dorëzojmë gjithnjë e më shumë përgjegjësi në botën reale — gjë që po ndodh javë pas jave — atëherë kam frikë se nuk do të mund të arrijmë një ekuilibër të mirë dhe në vend të kësaj do të kemi situata që dalin jashtë kontrollit, ku përfundojmë me rezultate vërtet të rrezikshme.
Në botën e sigurisë së IA-së, njerëzit ndonjëherë flasin se çfarë niveli “goditjeje paralajmëruese”, çfarë niveli katastrofe, do të nevojitet për ta zgjuar sistemin mjaftueshëm që ta trajtojë këtë më mirë? Dhe nëse niveli i paralajmërimit që na duhet është që një kompani të hakohet dhe t’i duhet të rivendosë disa serverë, kjo është e shkëlqyer. Ndoshta është në rregull.
Nuk jam e bindur se kështu do të ndodhë dhe se pas kësaj do të kthehemi në një rrugë më të mirë. Por ka shenja se njerëzit po përpiqen dhe ndoshta kjo mund të jetë e mjaftueshme.
Mendoj se ky është një vend i mirë për ta mbyllur.
Gjithmonë pyetja jonë e fundit: Cilët janë tre libra që do t’ia rekomandoje audiencës?
Kam një libër të vërtetë dhe dy që janë, pak a shumë, libra.
Libri i vërtetë quhet “The Cuckoo’s Egg”. Është i vitit 1989. Flet për një nga hakimet e para të mëdha që ndodhën dhe është shkruar nga astronomi Clifford Stoll, i cili punonte në Lawrence Berkeley National Laboratory dhe vuri re një mospërputhje prej 75 centësh në faturën e tij të kompjuterëve.
Është një lexim plot ritëm. Tregon shumë mirë një epokë krejt tjetër të mënyrës se si funksiononin kompjuterët, si funksiononte siguria kompjuterike dhe si lidhej shoqëria me kompjuterët. Dhe më pëlqeu si një vështrim prapa në një kohë tjetër, në një moment kur mendoj se së shpejti do të jetojmë në një tjetër epokë shumë të ndryshme.
I dyti është një libër online që është i papërfunduar, por mendoj se në formën e tij aktuale është shumë i lexueshëm. Quhet “In the Cells of the Eggplant”, nga David Chapman, i cili në fakt ka bërë kërkime mbi IA-në në M.I.T. në vitet 1980 dhe u zhgënjye prej saj. Në të vërtetë është një libër rreth mënyrës se si të mendosh dhe një libër rreth mënyrës se si të bësh kërkim shkencor, si të zhvillosh teknologji — por është shumë i qasshëm.
Është shumë ndryshe nga çdo libër tjetër që ke lexuar ndonjëherë për mënyrën se si të mendosh ose si të bësh kërkim shkencor dhe mendoj se është shumë i rëndësishëm për mënyrën se si duhet të mendojmë për atë që IA-ja do të jetë dhe nuk do të jetë në gjendje të bëjë.
I treti është një podkast i quajtur “Romance of the Three Kingdoms Podcast”, por është një podkast i një libri. Në thelb, “Romance of the Three Kingdoms” nga Luo Guanzhong është një nga katër romanet e mëdha kineze. Është shumë i gjatë. Është shumë i dendur.
Pra, ky “Romance of the Three Kingdoms Podcast” drejtohet nga John Zhu, një kinezo-amerikan, i cili e merr historinë dhe e përkthen në anglishte moderne e të kuptueshme — por gjithashtu e komenton në një mënyrë që e bën shumë më të lehtë për t’iu qasur.
Pra nuk është thjesht një përkthim fjali për fjali, është një lloj shënimi shpjegues. Dhe është vërtet argëtues. Prandaj, nëse ju intereson Kina, kultura kineze dhe letërsia kineze, mendoj se është një vend i shkëlqyer për të filluar.
Helen Toner, faleminderit shumë.
Faleminderit shumë.
Ky episod i “The Ezra Klein Show” u prodhua nga Rollin Hu dhe Jack McCordick. Verifikimi i fakteve u bë nga Michelle Harris, me Kate Sinclair dhe Mary Marge Locker. Inxhinieri i lartë është Jeff Geld, me miksim shtesë nga Aman Sahota dhe Johnny Simon. Inxhinieri i regjistrimit është Aman Sahota. Kinematografia nga Marina King dhe Jonas Zellner. Montazhi i videos nga Brandon Belk-Yee. Producentja ekzekutive është Claire Gordon. Ekipi i produksionit të emisionit përfshin gjithashtu Marie Cascione, Annie Galvin, Kristin Lin, Emma Kehlbeck dhe Jan Kobal. Muzika origjinale nga Pat McCusker. Strategjia e audiencës nga Shannon Busta. Drejtoresha e New York Times Opinion Shows është Annie-Rose Strasser. Redaktimi i transkriptit nga Kate Wilkinson dhe Marlaine Glicksman./NYT
