Uvođenje automatiziranog donošenja odluka ( Automation Decision Making ADM) sustava znatno se povećalo u nešto više od godinu dana, posebno naglo ubrzanje dogodilo se s početkom pandemije korona virusa i mjera lockdowna, navodi se u najnovijem izvještaju AlgorithmWatcha i Bertelsmann Stiftunga o automatizaciji pod nazivom Izvješće o automatiziranom društvu.

Istraživanjem je obuhvaćeno 16 europskih zemalja, u odnosu na istraživanje napravljeno prošle 2019. godine dodane su još četiri zemlje:  Estonija, Grčka, Portugal i Švicarska.

istraživanjem primjene automatskog odlučivanja obuhvaćeno je 16 europskih zemalja

ADM sustavi sada utječu na gotovo sve vrste ljudskih aktivnosti i, što je najvažnije, na distribuciju usluga milijunima europskih građana. Pri tome automatizacija umnogome utječe na pristup pravima tih ljudi. Naime, automatizirano odlučivanje ulazi u prostor gdje su ljudi odlučivali prema svojim pravilima oduzimajući im na taj način pravo da utječu na društvene procese. Ma koliko demokratska praksa i sustav imali grešaka i slabosti ljudi ih doživljavaju kao svoje pravo koje ne žele prepustiti nikome pa ni modelima automatiziranog odlučivanja.

U principu, ADM sustavi mogu biti korisni društvu, na primjer obrađivanjem ogromnih količina podataka, pružanjem podrške ljudima u procesima donošenja odluka i pružanjem prilagođenih aplikacija. „Međutim, u praksi smo pronašli vrlo malo slučajeva koji su uvjerljivo pokazali takav pozitivan utjecaj“, upozorava se u istraživanju

Rijetki pozitivni primjeri ADM-a

Algoritmi u svojoj suštini, pa i algoritmi za automatizirano donošenje odluka nisu ni neutralni ni objektivni iako mi mislimo da jesu, navodi se u istraživanju uz objašnjenje kako se algoritmi zasnivaju na ponavljaju pretpostavki i uvjerenja onih koji ih odluče rasporediti i programirati. Stoga su ljudi odgovorni ili bi trebali biti odgovorni i za dobre i za loše algoritamske izbore, a ne za algoritme ili ADM sustave. Stroj može biti zastrašujuće moćan, ali duh u njemu uvijek je čovjek. Oni su dakle proizvod ljudi a njihova priroda je komplicirana, s jedne je strane zadivljujuće stvaralačka a s druge strane opasno destruktivna. Nema razlike koja je autonomija stroja ili algoritma automatiziranog donošenja odluka, u oba slučaja ljudska priroda može ispoljiti svoju kompliciranost.

Istraživanjem je obuhvaćeno mnoštvo primjera primjene automatiziranog donošenja odluka u promatranim zemljama te se ukazuje kako su pozitivni primjeri s jasnim prednostima primjene AMD-a rijetki.

U mnogim slučajevima primjene AMD-a uz proklamirane korisne namjene nije jasno na koji način se sve koriste podaci i kakve posljedice imaju na ljude. Na primjer, u Estoniji je aktivna automatizirana, proaktivna usluga distribuiranja obiteljskih socijalnih naknada. Roditelji više ne trebaju ni podnijeti zahtjev za naknadu za dijete u socijalnoj potrebi: od rođenja država prikuplja sve podatke o svakom novorođenčetu i njihovim roditeljima i sakuplja ih u baze podataka. Kao rezultat toga, roditelji automatski primaju naknade ako imaju pravo na njih.
U Finskoj je prepoznavanje pojedinačnih čimbenika rizika povezanih sa socijalnom isključenošću kod mladih odraslih osoba automatizirano pomoću alata koji je razvio japanski Fujitsu.

U Francuskoj se podaci s društvenih mreža mogu preuzimati, i bez dopuštenja tih drušrtvenih mreža ali i korisnika, kako bi se „nahranili“ algoritmi strojnog učenja koji se koriste za otkrivanje poreznih prijevara.
Italija koristi automatizaciju kako bi pomoglo sucima da razumiju trendove iz prethodnih sudskih odluka o određenoj temi. A, u Danskoj je vlada pokušala nadzirati svaki klik tipkovnice i miša na računalima učenika tijekom ispita, što je izazvalo – opet – masovne studentske prosvjede koji su za sada doveli do povlačenja sustava.

Sustav VioGén, koji se u Španjolskoj primjenjuje od 2007. godine za procjenu rizika u slučajevima obiteljskog nasilja, iako daleko od savršenog, pokazuje “razumne indekse uspješnosti” i pomogao je zaštititi mnoge žene od nasilja.

U Portugalu je centralizirani automatizirani sustav postavljen za sprječavanje prijevara povezanih s liječničkim receptima navodno smanjio prijevare za 80% u jednoj godini.

Prema poreznim vlastima, sličan sustav u Sloveniji, koji se koristi za borbu protiv poreznih prijevara, pokazao se korisnim za inspektore.

Unatoč tim pozitivnijim primjerima primjene ADM-a činjenica je da nitko nema uvida u njihove algoritme i nema nikakve kontrole njihove primjene.

Prepoznavanje lica

U primjeni ADM-a posebno važan dio po količini primjene i specifičnosti posljedica je prepoznavanje lica. Prepoznavanje lica primjenjuje se i u europskim školama, na stadionima, u zračnim lukama, pa čak i u kockarnicama. Također se koristi za prediktivno policijsko djelovanje, hvatanje kriminalaca, protiv rasizma i, u zadnje vrijeme i u vezi s pandemijom covid-19, za provođenje socijalnog distanciranja, kako u aplikacijama, tako i putem video nadzora.

U Belgiji je sustav prepoznavanja lica koji koristi policija još uvijek “djelomično aktivan”, iako je Nadzorno tijelo za policijske informacije izdalo privremenu zabranu. A u Sloveniji je policija tehnologiju prepoznavanja lica legalizirala pet godina nakon što su je prvi put počeli koristiti.
Izostanak transparentnosti sustava ADM-a kako u javnom tako i u privatnom sektoru možda najbolje ilustrira slučaj u Poljskoj gdje se zakonom za automatizirani sustav za otkrivanje bankovnih računa koji se koriste za ilegalne aktivnosti (zakon koji dopušta poreznom uredu skeniranje bankovnih računa poljskih poduzetnika STIR) definira kao državna tajna. Zakon kaže da bi otkrivanje njegovih algoritama pa čak i pokazatelja rizika može dovesti do 5 godina zatvora.

Unatoč ranijim najavama institucije Europske unije zadnjih mjeseci daju naznaku kako neće biti zabrane tehnologije  prepoznavanja lica kroz strategiju u odredbe o umjetnoj inteligenciji.

različiti stupnjevi utjecaja algoritama auomatskog donošenja odluka

Aktivizam je samo reaktivan

Građanske inicijative pak nastoje što više osigurati uvida u tzv. algoritamske crne kutije te na taj način zaštititi ljudska prava. Značajni slučaj dolazi iz Nizozemske, gdje su aktivisti za građanska prava na sud izveli invazivni i neprozirni automatizirani sustav, koji bi trebao otkriti prijevaru u socijalnoj skrbi (SyRI), i dobili sudski spor. Ne samo da je sud u Haagu u veljači utvrdio da je sustav kršio Europsku konvenciju o ljudskim pravima, pa je stoga i zaustavljen, slučaj je također stvorio presedan: prema presudi, vlade imaju “posebnu odgovornost” za zaštitu ljudskih prava prilikom primjene takvih ADM sustava.

U Švedskoj su novinari uspjeli iznuditi objavljivanje algoritamskog koda iza sustava Trelleborg koji služi za potpuno automatiziranje odluka za socijalnu pomoć u toj zemlji. U Berlinu pilot projekt prepoznavanja lica na željezničkoj stanici Südkreuz nije poslužio za namjeravani model primjene prepoznavanja lica u svim željezničkim postajama zemlje. Prosvjedi građana natjerali su političare da odustanu od tog projekta.

Grčki aktivisti iz tvrtke Homo Digitalis pokazali su da niti jedan pravi putnik nije sudjelovao u grčkim pilot-ispitivanjima sustava nazvanog ‘iBorderCtrl’, projekta kojeg financira EU, a čiji je cilj bio koristiti ADM za patroliranje granicama.

U Danskoj je sustav profiliranja za rano otkrivanje rizika povezanih s ranjivim obiteljima i djecom (Gladsaxe model) zaustavljen zahvaljujući radu akademika, novinara i Uprave za zaštitu podataka (DPA).

U Francuskoj je nacionalno tijelo za zaštitu privatnosti presudilo da su i projekt zvučnog nadzora i onaj za prepoznavanje lica u srednjim školama ilegalni. U Portugalu je DPA odbio odobriti postavljanje sustava policijskog video nadzora u općinama Leiria i Portimão, jer se to smatralo nesrazmjernim i značilo bi „veliko sistematsko praćenje i praćenje ljudi i njihovih navika i ponašanja, kao i identificiranje ljudi iz podataka koji se odnose na fizičke karakteristike ”. U Nizozemskoj je nizozemski DPA zatražio veću transparentnost u predviđanju algoritama koje koriste vladine agencije.

Podijeli:

 

Vezane objave