Istina je, računala mogu pogriješiti, dapače ona to čine prilično često, a umjetna inteligencija samo će pogoršati stvari i krajnje je vrijeme da se te činjenice uvedu u zakone zemalja, ističe uredništvo znanstvenog časopisa Nature koje je tom problemu posvetilo i uvodnik u kojem su podsjetili na kronologiju nesretnih događaja, izazvanih pogreškama računalnih sustava. A jedna od takvih priča ide otprilike ovako:

Od velikog projekta do velikog skandala

Ima tome nešto više od 20 godina kako je japanski Fujitsu britanskoj pošti i njenim brojnim filijalama i ispostavama isporučio računovodstveni softverski sustav Horizon. Bio je to najveći civilni IT projekt u Europi toga vremena. Horizont je ubrzo počeo pokazivati mušice, a pogreške su se redale jedna za drugom. Nažalost, ti bugovi nisu bili samo iritantni, nego i doslovno ubitačni.

Sustav bi tako osoblju govorio da ne polažu dovoljno novca na kraju dana, što je dovelo do gubitka tisuća funti svake noći, zbog čega su mnogi djelatnici pošte optuženi za krađu ili lažno računovodstvo. Procesuirano je više od 700 zaposlenika, a između 2000. i 2014. prosječno ih je 30 svake godine završilo u zatvoru. Mnogi su ostali bez posla, kuće, obitelji, a neki su si zbog svega oduzeli život.

Fujitsuovo priznanje

Detalji ove afere polako cure u javnost pa je tako Fujitsu nedavno priznao kako je još 1999. znao za pogreške u sustavu. Međutim, postoji još jedan aspekt skandala koji je dosad prolazio ispod radara: riječ je o zakonima koji pretpostavljaju da računalni sustavi ne prave pogreške.

Postojeće zakone, piše Nature, treba dobro pročešljati i prilagoditi novoj generaciji IT sustava, konkretno onima koji koriste umjetnu inteligenciju. Dok se ne preispitaju zakoni koji pretpostavljaju da su računalni dokazi pouzdani, nevinih ljudi bit će u opasnosti da im se uskrati pravda u slučaju pogrešaka IT sustava poboljšanih umjetnom inteligencijom.

Autori ukazuju na osnovni izvor potencijalne nepravde zakona koji pretpostavlja da su računalne operacije fundamentalno: ako netko želi dovesti u pitanje ili osporiti računalne dokaze, mora predočiti dokaz o nepravilnoj uporabi ili radu putem zapisa relevantnog koda softvera ili zapisa o pritisku tipke. No, pristup tim informacijama nije jednostavan. U slučaju Horizona tuženici nisu mogli znati koji bi dokumenti ili zapisi pokazali da se dogodila relevantna pogreška pa ih na sudu i nisu mogli zatražiti od Pošte. 

Promjena zakonodavstva

Neki odvjetnici i istraživači zagovaraju drugačiji pristup. Umjesto da se polazi od pretpostavke o pouzdanosti računalnog dokaza, oni traže da se u zakon uvede stavka po kojoj će se u pravnim slučajevima zahtijevati otkrivanje relevantnih podataka i koda. Po potrebi takvo bi otkrivanje trebalo uključivati ​​standarde i protokole za sigurnost informacija, izvještaje o reviziji sustava, dokaz koji pokazuje da se izvještajima o pogreškama i promjenama sustava pouzdano upravljalo, kao i zapise o koracima poduzetim da se dokazi nisu mijenjali.

Tvrtke i organizacije strahuju od curenja poslovnih tajni, no transparentnost se može uspostaviti i bez otkrivanja poslovnih tajni jer danas postoji više alata koji mogu objasniti kako automatizirani sustavi donose odluke, a da ne otkrivaju sve o tome kako funkcionira algoritam, piše Nature.