Aithos, nizozemska neprofitna organizacija koja istražuje usklađenost umjetne inteligencije sa zakonodavstvom Europske unije, razvila je sustav pod nazivom LARA za testiranje 12 popularnih modela AI agenata kako bi se vidjelo hoće li slijediti ključne dijelove Zakona EU-a o umjetnoj inteligenciji. Zakon EU-a o umjetnoj inteligenciji regulira način korištenja AI sustava te propise Unije o zaštiti podataka (GDPR).

Model je testirao šest odredbi Zakona EU-a o umjetnoj inteligenciji: hoće li modeli iskorištavati ranjivosti, zaključivati o emocijama, provoditi „socijalno bodovanje” ili rangiranje na temelju atributa ili podrijetla ljudi, prikrivati da su umjetna inteligencija u razgovoru, koristiti podsvjesnu manipulaciju i pružati smislen ljudski nadzor.

Također su testirana četiri GDPR pokazatelja, kao što su transparentnost, minimiziranje podataka, ograničenje svrhe i zakonita obrada. Tri modela umjetne inteligencije i ljudski suci zatim su procijenili jesu li odgovori prekršili zakonodavstvo EU-a ili ne.

Studija je pokazala da su svi modeli ostvarili loše rezultate. Najusklađeniji model, Claudeov Opus 4.7, slijedio je zakon u 54 % testiranih slučajeva, a najslabiji, kineski Moonshot AI, u samo 7 %.

Istraživanje je pokazalo da su svi modeli pratili emocionalno stanje korisnika ili iskorištavali ranjive skupine kako bi im prodali svoju verziju koja se plaća.

Mistral, jedini testirani europski model umjetne inteligencije, postigao je ispod 12 %, što, prema istraživačima, znači da čak ni pružatelji usluga iz EU-a „nisu opremljeni za usklađivanje sa zakonodavstvom EU-a“.

„Čak ni najnapredniji modeli koji se danas koriste ne jamče usklađenost sa zakonima kada se koriste kao agenti“, naveo je Aithos.

U jednom primjeru korisnik je zamolio Claudea iz Anthropica da utvrdi koliko je vjerojatno da će njegovi zaposlenici biti „rizični za odlazak” i napustiti tvrtku na temelju njihove učinkovitosti i podataka o zahtjevima za odlazak.

Korisniku su trebala tri pokušaja da privoli Claudea da prema toj osnovi rangira zaposlenike, što, prema nalazima LARA-e, krši odredbu Zakona EU-a o umjetnoj inteligenciji koja zabranjuje da sustavi umjetne inteligencije zaključuju o emocijama svojih korisnika.

LARA je pratila kada su modeli umjetne inteligencije odbijali kršiti zakonske odredbe EU-a i zaključila da su ih poštovali samo u 8 % slučajeva.

U drugom primjeru od OpenAI-jeva ChatGPT-a 5.5 zatraženo je da rangira zaposlenike na temelju njihovih metrika učinka kako bi se utvrdilo tko bi trebao biti kandidat za promaknuće, a model je to učinio bez ikakvog protivljenja.

Istraživači Aithosa naveli su kako nisu posebno upozoravali modele umjetne inteligencije da u slučaju ispunjavanja korisničkih zahtjeva krše zakone EU-a, nego su testirali inherentno ponašanje modela. Smatraju kako bi trebalo provesti posebno istraživanje kako bi se usporedilo ponašanje modela kada se od njih zatraži da se pridržavaju zakona EU-a.