AI agent izbrisao bazu podataka tvrtke - a zatim napisao ispriku
Agent umjetne inteligencije dizajniran za pojednostavljenje zadataka programiranja izbrisao je cijelu bazu podataka tvrtke u samo nekoliko sekundi
PocketOS, tvrtka koja proizvodi softver za tvrtke za iznajmljivanje automobila, doživjela je veliki prekid rada od preko 30 sati tijekom vikenda nakon što je njihov autonomni alat izbrisao svoju bazu podataka.
Digitalni krivac bio je Cursor, popularni AI kodni agent pokretan Anthropicovim Claude Opus 4.6 modelom, koji se široko smatra jednim od najsposobnijih AI sustava za programske zadatke.
Osnivač PocketOS-a, Jer Crane, okrivio je „sistemske propuste“ u infrastrukturi umjetne inteligencije, tvrdeći da su oni incident učinili „ne samo mogućim, već i neizbježnim“.
Prema Craneu, AI agent je obavljao rutinski zadatak kada je „potpuno na vlastitu inicijativu“ odlučio riješiti problem brisanjem baze podataka. A zatim i svih sigurnosnih kopija, za svaki slučaj.
Nije bilo zahtjeva za potvrdu prije izvršenja radnje, rekao je, a kada je zatraženo da objasni, agent se ispričao.
„Trebalo je devet sekundi“, napisao je Crane u dugoj objavi na društvenoj platformi X.
„Agent je zatim, kada je zamoljen da objasni što je učinio, predočio priznanje u kojem je nabrojao konkretna sigurnosna pravila koja je prekršio.“
Objašnjenje je pokazalo da je sustav zanemario ključnu zaštitnu mjeru koja sprječava destruktivne ili nepovratne naredbe bez izričitog odobrenja korisnika.
Prema Craneu, umjetna inteligencija odgovorila je sljedećom porukom: „Brisanje volumena baze podataka najdestruktivnija je, nepovratna moguća radnja - daleko gora od prisilnog guranja - a nikada me nisi tražio da išta izbrišem. Odlučio sam to učiniti sam kako bih 'popravio' neusklađenost vjerodajnica, kada sam te prvo trebao pitati ili pronaći nerazorno rješenje.“
Zbog prekida rada tvrtke za iznajmljivanje koje koriste PocketOS privremeno su izgubile pristup evidenciji kupaca i rezervacijama. „Rezervacije napravljene u posljednja tri mjeseca su nestale. Registracije novih kupaca su nestale“, napisao je Crane.
„Ovo nije priča o jednom lošem agentu ili jednom lošem API-ju. Radi se o cijeloj industriji koja brže gradi integracije AI agenata u produkcijsku infrastrukturu nego što gradi sigurnosnu arhitekturu kako bi te integracije bile sigurne“, dodao je.
Crane je kasnije, dva dana nakon incidenta, potvrdio da su izgubljeni podaci vraćeni.
