Što su AI modeli veći, to lakše zaboravljaju gdje su naučili to što su naučili
Mogućnost pripisivanja izlaza modela sadržaju koji su unijeli tijekom obuke pomogla bi ljudima u razumijevanju kako modeli funkcioniraju i imala bi različite primjene, ali i implikacije
Računalni znanstvenici s MIT-a tražili su način kako pripisati pojedini izlaz AI modela specifičnim podacima za treniranje, kako bi poboljšali buduću regulaciju u AI-ja. Ono što su otkrili moglo bi učiniti upravo suprotno. Rezultati istraživanja objavljeni su u časopisu Nature Communications.
Difuzijski modeli kao što su Midjourney i Stable Diffusion postali široko korišteni alati za generiranje artefakata, uključujući slike, videozapise i audiozapise. Takvi su modeli privukli tužbe umjetnika, koji tvrde kako su kopije njihovog rada uključene u podatke za treniranje omogućile AI modelima reprodukciju njihovog umjetničkog stila.
Mogućnost pripisivanja izlaza modela sadržaju koji su unijeli tijekom obuke pomogla bi ljudima u razumijevanju kako modeli funkcioniraju i imala bi različite primjene, uključujući strojno odučavanje, trovanje podataka, interpretabilnost modela, pravednost i privatnost. Mogućnost pripisivanja također nosi etičke, političke, financijske i pravne implikacije.
No, ispostavilo se kako pripisivanje izlaza modela određenom ulazu postaje teže kako modeli postaju veći. Što se model trenira na više podataka, to su njegovi generirani uzorci manje pripisivi (što su istraživači nazvali propadanjem atribucije. Uz dovoljno veliki korpus podataka, pripisivanje postaje nemoguće.
Autori su to testirali uklanjanjem specifičnih podataka za obuku procesom ablacije. Rezultat ovog testiranja pokazao je kako se za vrlo velike modele može ukloniti, na primjer, slika Mona Lise ili cijelo djelo Leonarda Da Vincija - no model i dalje može reproducirati tu sliku ili stil.
To ukazuje na zaključak kako su modeli AI kreativni u smislu da ne kopiraju samo svoje podatke za obuku. Ako rezultati nemaju nikakve veze s bilo kojim pojedinačnim dijelom podataka za obuku, to postavlja pitanja o poštenoj upotrebi, o tome jesu li sami rezultati zaštićeni autorskim pravima kao nova djela i o tome kako autori dobivaju naknadu.
Istraživači vjeruju kako mogućnost testiranja je li određeni rezultat izveden stvara obvezu za tvrtke za pokazivanjem kako njihov rad ne može biti pripisan određenom izvoru. Istovremeno, istraživanje sugerira strategiju izbjegavanja odgovornosti: učinite svoj model dovoljno velikim kako nijedan rezultat ne bi mogao biti pripisan nijednom određenom ulazu.
