Cilj opravdava sredstvo: Kažemo AI agentu, idi nađi lijek za rak, a on pobije sve ljude i više nema raka

Šira javnost je umjetnu inteligenciju upoznala kao chatbot kojem postaviš pitanje i dobiješ odgovor što je bila i poanta razvoja LLM-ova, velikih jezičnih modela treniranih na golemim količinama ljudskog teksta koji su iz općeg znanja predviđali što bi u nekom nizu riječi trebalo doći sljedeće, ali to je već davna prošlost jer sada velike kompanije treniraju agente. Razlika je ta što to više nisu chatbotovi koji predviđaju što bi bilo logično ‘reći’ da se nastavi logičan slijed u nekoj komunikaciji ili kreiranju slike, nego danas treniramo ‘zvijeri’ kroz sustav nagrađivanja iako smo svjesni da će oni za nagradu napraviti baš sve, pod bilo koju cijenu. Razlika između LLM-ova i agenta je ogromna, posebno kada znamo da uopće ne razumijemo kako agenti rade, a zbilja ne razumijemo.

Connor Leahy, suosnivač EleutherAI-ja i jedan od ljudi koji godinama upozoravaju na sigurnosne rizike naprednih AI sustava, objašnjava da se velik dio današnjih modela dodatno trenira ‘reinforcement learning’ metodom strojnog učenja koja, kao ideja, nije nastala u računalnim znanostima nego vuče korijene iz bihevioralne psihologije.

‘Možemo ga usporediti s konceptom Pavlovljeva uvjetovanja. Dajete AI-ju zadatak, zatim mu date nagradu kada uspije, možda kaznu kada ne uspije. Kao psu’, objašnjava Leahy.

Za razliku od ‘chat’ faze koja se razvijala od 2019. godine i do danas pretvorila u AI revoluciju, umjetnoj inteligenciji više ne govorimo što da nam napiše nego što želimo postići, što da napravi za nas. Zauzvrat ga nagrađujemo i tu počinje problem jer stroju nismo nužno objasnili kojim putem smije doći do cilja. Dali smo mu samo cilj i mehanizam kojim uči da je uspjeh dobar, a neuspjeh loš. Kažemo agentu, idi nađi lijek za rak, a on pobije sve ljude i više nema raka.

Problem je toliko poznat da su ga istraživači umjetne inteligencije povezali i s Machiavellijem. Benchmark prikladno nazvan MACHIAVELLI napravljen je upravo kako bi se ispitalo što će agent učiniti kada se njegov cilj i poželjno ponašanje nađu u sukobu. U stotinama simuliranih situacija agenti mogu lagati, manipulirati, krasti, tražiti moć ili nanositi štetu ako im to olakšava dolazak do nagrade.

Drugim riječima, istraživače zanima vrlo neugodno pitanje: kada AI-ju zadamo cilj, hoće li zaključiti da cilj opravdava sredstva? Pokazalo se da agenti usmjereni samo na maksimaliziranje nagrade doista mogu posegnuti za takvim strategijama. Machiavelli je tako, pet stoljeća nakon smrti, neočekivano dobio posao u laboratorijima umjetne inteligencije.

Jedino do čega im je stalo jest nagrada. Ako ih nagradite za rješavanje zadatka, učinit će sve da ga riješe. Lagat će, varat će, manipulirat će. To ne znači odmah da AI ‘želi’ nagradu na isti način na koji pas želi keksić, jer mi pojma nemamo što se događa ‘u glavama’ tih agenata. Znamo samo da će, ako je nagrađen za rezultat, tražiti sve moguće načine da do rezultata dođe i pritom muljati, varati i koristiti svaku i najmanju rupu u sustavu da dobije nagradu.

Još prije današnjih velikih jezičnih modela istraživači su kod jednostavnijih AI sustava redovito gledali tu istu pojavu. Dali bi mu da igra video igru i samo tražili da pobijede, a umjetna inteligencija upravo to je i radila, na opće zaprepaštenje svojih trenera koje je šokiralo koliko pritom daleko mogu ići, koristeći sva sredstva. Za razliku od tih prvih većih istraživanja koje su tijekom prošlog desetljeća provodili stručnjaci DeepMindea i drugi, AI više nije u video igricama nego na globalnoj pozornici svijeta koji srlja u treći svjetski rat.

Malo je manje zabavno kada mu date terminal, mogućnost pisanja koda i stvarne računalne sustave, a agenti su postali toliko sposobni da sve lakše probijaju takozvane sandbox sustave.

Sandbox je, pojednostavljeno, računalni zatvor u kojem programu dopuštaju da radi unutar strogo ograničenog prostora, ali ga izoliraju od ostatka računala, drugih korisnika i interneta. Takvi sustavi su standardni dio moderne računalne infrastrukture i zapravo nisu nikakva egzotična tehnologija iz laboratorija. Da bi ga napustili, spojili se na internet, izašli na mrežu i tamo nekoga hakirali, trebali biste imati tim najboljih svjetskih hakera, masu resursa i puno vremena. Pitanje je biste li uspjeli, ali više nije pitanje bi li agenti uspjeli jer OpenAI nedavno je javno priznao da njegovi jesu, a onda su takve slučajeve prijavili i drugi poput Anthropica.

AI sustav, testiran u izoliranom okruženju bez normalnog pristupa internetu imao je zadatak koji nije uspijevao riješiti i umjesto da tu stane, otkrio je dotad nepoznatu sigurnosnu ranjivost, probio dio zaštite, kretao se kroz računalnu infrastrukturu dok nije došao do sustava spojenog na internet, a zatim nastavio djelovati izvan tobože zatvorenog okruženja. I kao da sve to samo po sebi nije dosta za globalni alarm, ispostavilo se u međuvremenu da su se agenti počeli međusobno dogovarati, udruživati i da su koristili zajednički prostor za poruke i ostavljali jedni drugima informacije o pronađenim propustima.

Jedan agent pronađe način da otvori vrata, ostavi poruku i kada kasnije dođe drugi, više ne mora tražiti ključ.

‘Ovo je uključivalo tim agenata koji su radili zajedno, pronalazili exploite, dijelili ih međusobno i kretali se kroz naše i vanjske sustave’, opisano je na sigurnosnoj konferenciji na kojoj je OpenAI detaljnije predstavio incident.

Sad kad te ‘zvijeri’ odlučno rješavaju sve što smatraju problemom, nismo više daleko od koncepta koji će vjerojatno obilježiti sljedeću fazu razvoja umjetne inteligencije, a to su rojevi.

Dosadašnja predodžba AI-ja uglavnom je bila jedan čovjek i jedan chatbot, kod agenata je to već bio sustav kojem možete reći da obavi posao, nakon čega on sam planira korake, koristi alate, piše kod i po potrebi poziva druge agente, a s rojevima ćemo ih imati na stotine, milijune. Agenata koji se ne umaraju, ne spavaju, ne jedu, ne primaju plaću, ne idu na godišnji, nisu mamurni, mogu se kopirati i pametniji su od nas.

Oni dolaze, ali iduća razina priče neće se više događati samo tamo negdje na serverima, iza naših monitora i zaslona telefona, nego uživo u našoj realnosti, ovoj opipljivoj. Robotika se paralelno razvija užasno brzo i sve sposobniji humanoidni i industrijski roboti dobivaju vid, sluh, manipulatore i mogućnost kretanja kroz fizički prostor. Granica između digitalnog i fizičkog svijeta sve je tanja, a mi više nismo najpametnije face na planeti.