Algoritam koji sudi – igra je s vatrom. On i matematika koja iza njega stoji, mogu biti pristrani i nepravedni. To jest, skoro da ne mogu biti nepristrani. Radi izbjegavanja odgovornosti, suci su skloni i previše se osloniti na algoritme

Piše: Željko Ivanković

Vodeći su se američki mediji u drugoj polovici travnja raspisali o slučaju stanovitog Erica Loomisa, osuđivanog silovatelja, koji je vozio automobil povezan s nekim ubojstvom, bježao od policije, i osuđen je na šest godina zatvora. Slučaj nije novost. Google otkriva da su jednako tako intenzivno o istom slučaju raspravljali prije nešto manje od godinu dana, u ljeto 2016. godine. Kako to obično biva s procesima, razvijaju se u valovima, u nastavcima. Loomisova priča javno je revitalizirana kad je John Roberts, predsjednik američkog Vrhovnog suda, u nekom protokolarnom posjetu ponovio da su algoritmi već tu, kako preuzimaju poslove sudaca.

Visinu kazne Ericu Loomisu odredio je, naime, algoritam, na temelju procjene rizika da će osuđenik ponoviti isto ili neko slično kriminalno djelo. Američki su se mediji Loomisu vratili ne toliko zbog njega, koliko zbog sebe; naime, zbog mogućnosti da kaznu i visinu kazne i njima, odnosno svima nama, odredi navodno neutralno sredstvo – algoritam. Mainstream mediji uglavnom su bilježili i problematizirali sporne točke algoritamskog pristupa sudovanju. Angažirani časopisi zauzimali su stranu. Naslov u šminkerskom tehnološkom časopisu Wired glasi – To mora stati!

Procjene mogućnosti ponavljanja djela uobičajene su prilikom određivanja visine kazne. Javnost taj pristup smatra pravednim. Onome tko ponavlja djelo odreže se viša kazna, pa jednako tako, i onome za koga se procijeni da bi mogao ponoviti stvar. Hrvatski su mediji periodično ispunjeni slučajevima u kojima kriminalac nije zadržan u zatvoru pa ponovno napadne svoju ženu, ili – nezainteresiran za sigurnost drugih – pregazi pješaka. Pravedno je, smatra se, takve izolirati; pravedno i prema njima, a ne samo da se zajednica zaštiti. U zakonima upravo zato postoje rasponi kazni za isto djelo.

John Roberts, predsjednik američkog Vrhovnog suda, tvrdi da su roboti već preuzeli ulogu sudaca

Nevolja je kad se postavi pitanje na temelju čega je rizik procijenjen. Suci za to pišu obrazloženja kazne, u što ulaze olakotne okolnosti, teška životna situacija, teško djetinjstvo, vidljivost na cesti i sto sličnih razloga, kao i otegotne okolnosti, loš karakter, sklonost alkoholu i drogama i sl. Loomisov odvjetnik tražio je obrazloženje za visinu kazne. Prirodno je da se čovjek ima pravo žaliti, kako ima pravo znati na temelju kojih je kriterija osuđen i je li osuda fer, je li bio suđen jednako kao i drugi. Loomisov je odvjetnik obrazloženje presude ustvari tražio od algoritma.

Time su otvorena barem dva pitanja. Zar se žalbom dovodi u pitanje pretpostavka kako je algoritam nepristran, da svima sudi jednako? Zar ne izgleda besmisleno žaliti se algoritmu? Oba se svode na pitanje ima li uopće smisla da algoritam sudi ljudima, kao da je oštećen netko od njegovih? Kad sudac sudi, on u presudi ustvari nastupa u ime ljudi, u ime zajednice, u ime principa prema kojima se ona drži na okupu i funkcionira. Kad algoritam sudi, čini li on to samo u ime ljudi, kao sredstvo u njihovim rukama, ili u ime nekih općih principa koji vladaju među ljudima i strojevima? U članku ću prvo prikazati diskusiju u američkim medijima, u stručnim i znanstvenim krugovima, koja je potaknuta slučajem Erica Loomisa, ali samo onaj njezin dio koji je univerzalan i može biti primijenjen i drugdje kad se u sudovanju primjenjuju složena tehnička pomagala. Zatim ću ukratko opisati još neke etičke dvojbe u vezi s upotrebom tehnologije, posebno algoritama, a koje se u znanstvenim krugovima, kao i u softverskoj industriji, sve češće raspravljaju.

Tko je sudio Loomisu

Algoritam koji je osudio Loomisa naziva se Compas, što je kratica od naziva Correctional Offender Management Profiling for Alternative Sanctions. Riječ je, dakle, o upravljanju profiliranjem prijestupnika radi određivanja različitih kazni. Na američkim je sudovima to najčešći algoritam te vrste. Ima i drugih (primjerice, PSA – Public Safety Assessment). Compas je u vlasništvu privatne tvrtke, što znači da je način kako radi – privatno vlasništvo. S tvrtkom nije sklopljen ugovor o pisanju obrazloženja, nego samo o procjeni rizika. Ali i da nije tako, pitanje je bi li tvrtka bila u stanju objasniti kako je algoritam procijenio rizik. Algoritam je to, naime, učinio sam. U njega ljudi samo unose podatke o počiniteljima, o “uključenosti u kaznena djela”, životnom stilu i vezama, osobnim karakteristikama i stavovima, obitelji, socijalnoj isključenosti, zaposlenju i sl. Drugi algoritmi imaju nešto uži set varijabli.

Suci su se i prije služili statistikom prilikom procjene rizika od ponavljanja djela. Tako bi se znalo da je vjerojatnost ponavljanja djela veća kod onih koji su ga već ponavljali. Ili kod nekih mentalnih bolesnika. Compas, međutim, nije samo računao, nego je i sam uočavao obrasce i korelacije. Compas mijenja formulu za procjenu i rezultate kako se u njega unose podaci. To implicira da njegovi vlasnici i nisu u stanju objasniti zašto je Loomisu odrezana tako visoka kazna. U nedostatku objašnjenja kriterija prema kojima Compas procjenjuje rizik (sudi?) ProPublica, jedan od vodećih američkih analitičko-komentatorskih medija, analizirao je moguću pristranost Compasa i zaključio kako nije fer prema crncima. Moguće je i da je to razlog zašto je Loomis tražio objašnjenje za visinu njegove kazne. Loomis je, naime, bijelac, pa je moguće htio pokazati da je Compas pogriješio. Formalno, Loomisova je obrana tvrdila da je Compas nefer prema ženama.

Pristranost sudaca

Opravdanje za upotrebu algoritama isto je kao i opravdanje za upotrebu statistike prije računalstva: suci su ljudi, suci su pristrani. Analize su pokazale da na osudu utječu takve trivijalnosti kao što je doba dana, je li donesena prije ili poslije ručka. Istraživanje ljudske pristranosti donijelo je Danielu Kahnemanu Nobelovu nagradu. “Sidrenje” je jedna od tipičnih karakteristika ljudskog odlučivanja. Važna je prva karakteristika koja uđe u razmatranje, ona i kod sudaca ima najveću težinu. Ako sudac prvo sazna da osuđenik ima dvoje djece, presuda će biti drukčija nego ako prvo čuje da je izgubio posao (iako za to uopće ne mora biti kriv). Algoritmi se uvode upravo da se prilikom suđenja izbjegnu takve ljudske slabosti.

Cathy O’Neil predaje u američkoj asocijaciji matematičara o destruktivnoj ulozi matematike

Analize pokazuju da se u mnogim slučajevima pristranost tako samo pomiče. Kad algoritam izrekne svoju procjenu rizika, sudac je tu da formulira presudu. Oni vrlo rijetko dovode u pitanje procjenu stroja. Tko bi se usudio? Ipak, kako su suđenja individualna, i to se događa. Ako stroj zaključi da je rizik od ponavljanja djela visok, sudac tu procjenu puno rjeđe ipak dovede u pitanje nego ako stroj procijeni da je rizik nizak: tada se češće događa da osuđenik ipak dobije višu kaznu. Sklonost minimiziranju rizika čak i na nečiju štetu u ovim se slučajevima ne sprečava.

Pristranost algoritama

No, ovdje nije riječ o pristranosti sudaca, nego o mogućoj pristranosti algoritama. Suci veću težinu daju prvoj informaciji, ali u ukupnoj procjeni, koja je jedan broj, algoritam informacijama također daje različitu težinu koja zna odstupati od našeg osjećaja za pravednost. Onaj tko je silovao dijete može imati nižu procjenu rizika od beskućnika koji je opljačkao trafiku, samo zato što je zaposlen. U ljudskim suđenjima razina obrazovanja jednom je olakotna, a drugi put otegotna okolnost. Visokoobrazovani može dobiti višu kaznu za pljačku jer ima više prilika da dođe do novca nego onaj tko je nezaposlen i niskoobrazovan. S druge strane, visokoobrazovani rjeđe ponavljaju djelo, na njih kazna snažnije odgojno djeluje. Pitanje je kako algoritam ponderira te nijanse koje se u suđenjima u kojima odlučuju ljudi provjeravaju na više instanci – sudac, porota, viši sud, pa i javnost.

Sličan problem pojavio se u diskusiji nakon analize koju je provela ProPublica. U analizi piše da su crnci koji nisu u dvije godine ponovili kazneno djelo imali dvaput veću vjerojatnost da budu svrstani u visokorizične nego bijelci (45 posto nasuprot 23 posto). Tvorac Compasa, tvrtka Northpoint, provela je analizu te analize, to jest podataka na kojima se temeljila. Ona nije obrazlagala postupanje algoritma (jer ga ne zna), nego branila rezultate, uspjeh.

U odgovoru na prethodnu tvrdnju o dvostruko većoj vjerojatnosti da crnci koji u dvije godine nisu počinili djelo budu svrstani u visokorizične nego bijelci Northpoint odgovara: “Crnci za koje je predviđen recidivizam zaista su češće bili recidivisti (63 posto) nego bijelci, za koje je predviđeno da će biti recidivisti (59 posto)”. S jedne strane izgleda da Northpoint odgovara na analizu koju je provela ProPublica, jer ističe da su u slučaju crnaca češće pogodili da će ponovno počiniti kazneno djelo. S druge strane, nisu ni dodirnuli podatak da su u podgrupi onih koji se u dvije godine nisu vratili kaznenom djelu dvaput češće među visokorizične uvrstili crnce nego bijelce.

Stvar je u tome na koju se razinu podesi analiza, na cijelu grupu ili na podgrupe u kojima algoritam može biti itekako diskriminatoran, a da se ne spominje kako Northpoint otvara mogućnost da je Compas pogriješio u trećini slučajeva prilikom procjene crnog recidivizma i u 40 posto bijelaca. Kako je razina analize diskrecijsko pravo programera ili samog algoritma, to je pitanje može li on uopće biti neutralan. Podesi li se na cijelu grupu ima jednu procjenu, izabere li neku podgrupu, dobije drugi rizik.

Knjiga Cathy O’Neil uspoređuje matematiku s oružjem masovnog uništenja

Statistika je vrag. Ni ona sama ustvari nikad nije neutralna pa neutralan nije ni algoritam. Prvo je pitanje koji se podaci unose. Može se, primjerice, rizik procjenjivati na temelju toga ima li optuženik posao, ali i dodati koliko dugo radi na istom poslu, ili koliko dugo stanuje u istom stanu. Tu je i prije spomenuto pitanje koji se ponder daje podacima te napokon spomenuta činjenica da isti podatak u različitim okolnostima ima sa stajališta osjećaja za pravednost sasvim drukčije značenje.

U ovom članku nastoji se samo dovesti u pitanje pretpostavku da je algoritam neutralan, iako je predodžba da su statistika i oruđa za razliku od ljudi takvi, a izbjeći pravne aspekte problema. Postavlja se, naime, pitanje što ako algoritam ustanovi da su ljevoruki rizičniji. Hoće li nediskriminatorno dobivati više kazne? Ako neće, zašto žene dobivaju niže kazne, ili jednake kazne kao muškarci, iako im je rizičnost različita? Hoće li se kazna određivati i na temelju boje očiju, boje kose? Čini se da je riječ o pretjerivanju, no pravni je standard da nikome ne može biti suđeno zbog djela drugih. Ipak, algoritam rizik od recidivizma procjenjuje i na temelju toga druži li se netko s bivšim kriminalcima…

Etika i tehnika

Ovdje prekidamo s prikazom dvojbi koje se pojavljuju prilikom upotrebe algoritama u pravosuđu, kao i oslanjanja na statistiku. Do kraja članka prikazat ću neke opće etičke probleme vezane uz oruđa. Zagovornici tvrdnje da je tehnologija sama za sebe neutralna često citiraju stav American Rifle Associationa da “ne ubija puška nego čovjek”. Kad je matematičarka Cathy O’Neil lani objavila knjigu “Weapons of Math Destruction”, koja naslovom sugerira na poznatu sintagmu iz rata protiv Iraka o postojanju oružja masovnog uništenja, Wall Street Journal je recenziju naslovio tvrdnjom: “Nisu algoritmi pristrani, ljudi su pristrani!”. Ideja o moralnoj neutralnosti tehnologije duboko je usađena u uobičajeno shvaćanje kako svijet funkcionira. Algoritam nije ni živ, kamoli svjestan; kako onda može biti moralno odgovoran? To, naravno, ne znači da je nepristran, kao što je prethodno pokazano. I O’Neil, koja je kao matematičarka radila na Wall Streetu, a zatim u nizu analitičkih institucija, nastoji pokazati da su algoritmi pristrani, što, naravno, ne znači da optužuje njih, nego njihove tvorce, osim u slučajevima kad se algoritmi sami proizvedu moralno upitnima. Notoran je slučaj Microsoftova asistenta Tay, koji je povučen jedan dan nakon puštanja u upotrebu, jer se učeći s Twittera, u komunikaciji počeo služiti gotovo isključivo prostotama, ali i braniti Hitlera.

Obavezno optimistično

Sheila Jasanoff, profesorica na Harvardu, u knjizi “The Etics of Invention”, prije svega ističe da se uz tehnologije a priori, neupitno veže optimizam. Sve što se s tehnologijom dogodi negativno spada u nenamjeravane posljedice. Recimo, slučaj Černobil ili Fukushima. Namjere su bile dobre, ali je nešto pošlo krivo. Nikad obratno. Rijetko se pretpostavlja da se s tehnologijom moglo imati i loših namjera, primjerice, s puškom ili nuklearnom energijom, a da su stvari u nečemu ispale i pozitivne. A algoritmi itekako mogu biti razvijani iz loših namjera, primjerice, zbog krađe podataka ili upada u sustave. Da je tehnološki razvitak a priori dobar prva je etička karakteristika koja se veže uz tehnologiju.

Druga karakteristika koju ističe Jasanoff, a veže se uz prvu, još je zanimljivija – razni oblici prebacivanja odgovornosti prilikom upotrebe tehnologije. Najčešće se odgovornost prebacuje na struku i na samu tehnologiju. Jasanoff analizira slučajeve eksplozije dvaju američkih svemirskih brodova, Columbije (1986.) i Challengera (2003.). Ključnu su ulogu igrali takozvani yea-sayersi, klimoglavci, oni koji uvijek govore da. Naime, u su oba slučaja ustanovljeni rani znakovi kvara, ali je odlučeno da se neće provesti dodatne inspekcije i minimizacija rizika. Dogodile su se tragedije. Upotreba tehnologije zahtijeva jasno adresiranje tko preuzima odgovornost i rizik. Naime, iako opasnost najčešće uočavaju stručnjaci, oni o tome samo izvještavaju, ali ne donose odluke. Stručnjaci se prave neutralnima. Oni procjenjuju stupanj rizika. Odluke donose drugi, koji se pozivaju na stručnjake. Tako se izbjegava odgovornost. Prilikom uporabe algoritama na sudu koristi se isti obrazac – prebacivanje odgovornosti.


Europa i Amerika

Nema nikakve dvojbe da se tehnološke promjene ne mogu odvojiti od okruženja, od organizacije i kulture preuzimanja rizika i odgovornosti. Nije suvišno podsjetiti na dva pristupa koja dominiraju u današnjem zapadnom svijetu, europski i sjevernoamerički, a koja se sukobljavaju prilikom uspostavljanja zajedničkog tržišta. Europski pristup zahtijeva da onaj tko stavlja neki inovativni proizvod na tržište prije svega dokaže da je minimizirao negativne posljedice. Američki pristup obratno – tek kad se pojavi šteta, zahtijeva da oštećeni dokaže da je štetu izazvalo korištenje novog proizvoda za koje je odgovoran proizvođač. Jasanoff spominje primjer upaljača koji se dvadesetak godina nesmetano prodavao na američkom tržištu iako je znao eksplodirati u rukama i teško ozlijediti korisnika. Proizvođač ga je povukao iz prodaje tek nakon tužbi i presuda. U Europi bi bilo sasvim drukčije. Prema analogiji, i algoritam u pravosuđu koristi se u Sjedinjenim Državama dok ga netko ne pobijedi na sudu. U Europi se predlaže korištenje robota za analizu žalbi, ali samo savjetodavno. Iako su ustanovili da algoritmi u vrlo visokom postotku točno procjenjuju koja žalba nema izgleda biti prihvaćena, još uvijek o svim žalbama konačnu odluku donose ljudi.