Najveći AI incidenti mnogo su prozaičniji od očekivanog
Analiza 1.406 stvarnih incidenata pokazuje da su chatbotovi, sustavi preporuka i alati za automatsku objavu sadržaja danas češći izvor štete od robota i autonomnih vozila
Problem, čini se, nije futuristički scenarij, nego loše postavljen nadzor nad alatima koji su već u svakodnevnoj upotrebi.
Kad se govori o rizicima umjetne inteligencije, javna rasprava često priziva autonomne automobile, robote i scenarije iz znanstvene fantastike. No podaci iz prakse pokazuju nešto mnogo prizemnije: najveći broj problema nastaje ondje gdje AI već rutinski radi iza kulisa – u korisničkoj podršci, preporukama sadržaja i automatiziranom objavljivanju.
Jedan od najpoznatijih primjera je slučaj Air Canada. Putnik koji je nakon smrti člana obitelji tražio informacije o pogodnostima za putovanja u takvim situacijama dobio je od chatbota sustava detaljan, ali pogrešan odgovor. Kada je kompanija kasnije pokušala osporiti odgovornost, sud nije prihvatio argument da je chatbot „zaseban pravni subjekt“, nego je presudio da zrakoplovna tvrtka odgovara za informacije objavljene na vlastitoj platformi.
Upravo je to poanta koju ističe i nova analiza tvrtke Paligo: u mnogim slučajevima problem nije „napredna“ umjetna inteligencija, nego običan softver kojem je dano previše autoriteta, a premalo kontrole.
Paligo je u javnoj bazi incidenata povezanih s umjetnom inteligencijom analizirao 1.406 slučajeva u kojima je AI uzrokovao ili pridonio stvarnoj šteti. Zaključak je prilično jasan: rizik nije nešto što nas tek čeka u budućnosti, nego problem koji je već duboko ugrađen u postojeće digitalne usluge.

Gotovo polovica incidenata otpada na softverske sustave
Prema analizi, čak 49 posto svih dokumentiranih štetnih AI incidenata odnosi se isključivo na softverske sustave – dakle ne na robote ili autonomna vozila, nego na chatbotove, sustave preporuka, alate za automatsko objavljivanje i deepfake platforme. Drugim riječima, najveći dio problema dolazi iz alata koje korisnici i tvrtke već masovno koriste.
To bitno mijenja i perspektivu rasprave o AI-ju: najveći rizik za većinu organizacija nije spektakularni kvar autonomnog stroja, nego sasvim običan digitalni alat koji uvjerljivo daje pogrešne informacije ili pojačava štetan sadržaj.

Autoritet bez odgovornosti
Slučaj Air Canada posebno je važan zato što nije riječ o egzotičnom tehnološkom promašaju. Nitko nije planirao da chatbot obmanjuje korisnike, ali netko je odlučio da smije autoritativno odgovarati o pravilima i naknadama bez ljudskog nadzora. Upravo se u takvim odlukama, sugerira analiza, krije najveći broj današnjih AI rizika.
Sličan obrazac vidi se i drugdje: od dokumenata sastavljenih uz pomoć generativnog AI-ja s izmišljenim citatima, do prijevara koje koriste deepfake video kako bi povećale dojam vjerodostojnosti. U svim tim slučajevima model radi ono za što je napravljen, ali sustav oko njega ne uspijeva na vrijeme ograničiti, provjeriti ili ispraviti rezultat.
„Umjetna inteligencija ne halucinira u vakuumu. Halucinira jer joj dajemo kontradiktoran, zastario i nestrukturiran sadržaj. Popravi ulaz, popravi izlaz”, poručuje Rahul Yadav, izvršni direktor Paliga.
Društvene mreže povećavaju štete
Analiza pokazuje i da se društvene mreže pojavljuju u 19 posto incidenata u kojima je identificiran konkretan sustav, više nego ijedna druga kategorija. Razlog nije samo u tome što se ondje koristi mnogo AI-ja, nego i u činjenici da platforme mogu lokalni problem pretvoriti u masovno širenje štetnog sadržaja.
Dovoljno je da AI proizvede problematičan sadržaj, a zatim da ga preporučivački sustav platforme procijeni kao zanimljiv ili angažirajući. U tom trenutku šteta se više ne odvija u jednom izoliranom slučaju, nego pred milijunima korisnika, i to često prije nego što itko stigne reagirati.

Pristranost nije apstraktna
Podaci pokazuju i da je pristranost i dalje vrlo konkretan operativni problem. Kada je neka skupina ljudi nesrazmjerno pogođena štetom uzrokovanom umjetnom inteligencijom, rasa ili etnička pripadnost najčešći su faktor razlikovanja, a taj se obrazac pojavljuje u sustavima prepoznavanja lica, zdravstva i kontrole pristupa.
U praksi to znači da pogreška algoritma nije samo tehnički propust, nego odluka s posljedicama za stvarne ljude – od pogrešnih identifikacija do nejednakog tretmana u osjetljivim sustavima. Zato se pitanje odgovornosti više ne može svesti samo na etiku, nego i na vrlo konkretno upravljanje rizikom.
Ključni problem je nadzor
Važno je pritom naglasiti da ova analiza nije argument protiv uporabe umjetne inteligencije. Naprotiv, pokazuje gdje sustavi najčešće pucaju: ondje gdje chatbot smije obećavati ono što ne može provjeriti, gdje preporuke optimiziraju angažman bez obzira na posljedice i gdje se sadržaj objavljuje bez ljudske provjere.
Ako se iz ove studije može izvući jedna pouka, onda je to da najveći AI rizik ne dolazi iz nepredvidive „superinteligencije“, nego iz sasvim običnih alata kojima su organizacije dale previše ovlasti, a premalo nadzora. Upravo zato pitanje implementacije AI-ja više nije samo tehnološko, nego i uredničko, pravno i upravljačko.