Automatiserat beslutsfattande blir vanligare både hos myndigheter och privata aktörer. Det kan effektivisera samhället och spara pengar, men det kan också bli riktigt fel när datorn får makten att bestämma.

Myndigheter och andra offentliga aktörer har under lång tid använt datorer för att underlätta och effektivisera arbetet. Men de använder också datorer allt mer i själva beslutsfattandet. Det blir vanligare att algoritmerna tar besluten.

Det kan till exempel handla om att godkänna en ersättning från Försäkringskassan när en förälder har varit hemma med sitt sjuka barn, eller att socialtjänsten i en kommun fattar beslut om bidrag till de som behöver det.

Risker och utmaningar

Men det finns risker när vi ger datorer allt mer makt över den offentliga verksamheten. I den nya boken AI & makten över besluten skriver ett antal författare om hur olika aktörer använder algoritmer vid så kallat automatiserat beslutsfattande. Boken ger också flera exempel där datorernas beslut blivit helt fel, med stora kostnader för samhället och problem för människor som följd.

Skolkaos i Göteborg

Ett uppmärksammat fall som boken tar upp handlar om när Göteborg år 2020 använde ett nytt datorsystem för att placera elever på stadens olika skolor. Det arbetet hade man tidigare gjort manuellt – en tidskrävande process. Nu ville man effektivisera allting med hjälp av ett automatiskt system.

Resultatet blev ett fullständigt kaos, där vissa elever fick nästan en timmes resväg till sin nya skola.

Enligt lag kan vårdnadshavare välja skola åt sina barn i hela kommunen där de bor. Men om två elever önskat samma plats på en skola ska den elev som bor närmast skolan få platsen. Detta brukar man kalla för närhetsprincipen. I Göteborg programmerade man det nya systemet för att placera stadens elever utifrån denna princip.

Problemet var bara att man gav datorn felaktiga instruktioner. Man instruerade den att mäta avståndet till skolan fågelvägen. Rakt igenom Göteborg rinner en älv, så en skola som är närmast fågelvägen kan ligga ganska långt borta vad gäller faktisk resväg. Resultatet blev ett fullständigt kaos, där vissa elever fick nästan en timmes resväg till sin nya skola. Befintliga klasser splittrades och många barn som bodde nära varandra fick platser på helt olika skolor i olika delar av staden.

"Staden förnekade allt"

Charlotta Kronblad är jurist och forskare i tillämpad IT, men fick också själv uppleva skolkaoset i Göteborg. Hon berättar att när besluten skickades ut tog det inte många dagar innan föräldrar över hela Göteborg förstod att något hade gått helt fel.

– Vi upptäckte att några i klassen hade placerats i en skola på andra sidan älven – över en mil bort. Ett annat barn på samma gata hade placerats på en skola i en helt annan riktning. Så vi började snabbt misstänka att det inte var en människa som fattat de här besluten, berättar Charlotta Kronblad.

Grundskoleförvaltningen i Göteborg hade inte brytt sig om att kontrollera det nya systemets resultat, förutom ett fåtal stickprov bland placeringarna. När föräldragruppen tog kontakt förnekade förvaltningen först allt – både att något blivit fel, men också att besluten tagits automatiskt med hjälp av ett datorsystem. Det slutade med att Charlotta Kronblad stämde staden i Förvaltningsrätten.

Svårt att utkräva ansvar

Oftast har automatiserat beslutsfattande inget med artificiell intelligens att göra. Det är inte AI utan helt vanliga datorprogram som beslutar enligt förutbestämda regler. Det kan handla om att gå igenom ansökningar för bidrag utifrån en serie kriterier. Som vi såg i exemplet Göteborg kan det ändå bli fel – och då svårt för personer som drabbas att utkräva ansvar.

Ett problem är också att när det blir fel så drabbar det ofta väldigt många människor på en gång. Felen uppstår inte bara i enskilda fall, utan på systemnivå. Då blir det också extra svårt för en enskild att överklaga just sitt fall.

Holländska familjer blev ruinerade

Ett sådant exempel som boken tar upp kommer från Nederländerna. Där ville regeringen komma åt bidragsfusk och instruerade ett automatiskt system att gå igenom tidigare godkända bidrag till familjer för förskola. I det fallet använde man en mer komplicerad algoritm, som med hjälp av maskininlärning och AI kunde använda tidigare beslut som underlag för att fatta nya beslut.

Tyvärr visade det sig att systemet var lite för nitiskt och hittade fel på ett stort antal ansökningar. Oftast var felen rent formella, till exempel att man satt en namnteckning i fel ruta. Men resultatet blev att upp emot 35 000 personer blev krävda på återbetalning för bidrag som man tidigare hade fått beviljade. 

För de familjer som blev drabbade var katastrofen ett faktum. Vissa föräldrar blev skyldiga att betala tillbaka upp emot en halv miljon kronor för bidrag som myndigheterna hade betalat ut direkt till förskolan. Beräkningar har senare visat att så många som 94 procent av dessa fall krävdes på återbetalning felaktigt.

Det var landets skattemyndighet som skötte hela systemet och bidragstagare som blivit drabbade kunde inte få någon tydlig information om varför de blivit krävda på återbetalning av höga summor. Det fanns ingen person att kontakta eftersom ingen enskild person hade tagit beslutet.

Blev stämplade som bedragare i systemet

Familjernas barn fick heller inte gå kvar i förskolan, vilket gjorde att många föräldrar inte kunde behålla sina jobb, vilket i sin tur gjorde att de missade att betala amorteringarna på sina hus. Människor förlorade alltså både sina jobb och sina bostäder, blev återbetalningsskyldiga stora summor och fick heller ingen hjälp från socialtjänsten. De var ju stämplade i systemet som bedragare.

Människor förlorade sina jobb, sina bostäder, blev återbetalningsskyldiga stora summor och fick heller ingen hjälp.

För att göra det hela ännu värre drabbade skandalen främst människor med utländsk bakgrund. Systemet hade nämligen fått instruktionen att detta var en riskfaktor, något som bland annat en rapport från Amnesty International uppmärksammat.

Att reda ut felen, hantera administrationen och alla klagomål har kostat enorma summor och använde omfattande resurser. Till slut tvingades den sittande regeringen att avgå år 2021 på grund av den enorma skandalen. Fortfarande pågår rättsprocesser kring det inträffade och tusentals familjer väntar på upprättelse. Detta har bland annat SVT Nyheter tidigare skrivit om.

Vad säger lagen – vem kan bevisa att det blivit fel?

Inom EU finns lagstiftning som styr så kallade helautomatiska beslut, som företag, myndigheter eller andra organisationer använder sig av. Det kan till exempel handla om en bank som låter datorn automatiskt godkänna eller avslå en kreditansökan, eller en myndighet som tar beslut om ett bidrag. Lagen säger att medborgare ska få information om när man fattar ett sådant beslut automatiserat, och de har även rätt att bestrida beslutet och få ärendet granskat av en människa. I Sverige är det Integritetsskyddsmyndigheten som hanterar det.

Men det är fortfarande enkelt för många myndigheter att komma undan sitt ansvar när det blivit fel, menar Charlotta Kronblad. I Göteborg förnekade man att något blivit fel och vägrade att lämna ut algoritmen som man använt, eftersom den hade kunnat visa hur besluten blivit fel.

Utan algoritmen kunde Charlotta Kronblad inte bevisa att skolplaceringarna skett felaktigt. Hon förlorade därför hos Förvaltningsrätten i Göteborg och trots att hon överklagade tog man inte upp fallet igen. Bevisbördan låg på henne som privatperson, men hon hade ingen möjlighet att få inblick i hur systemet var programmerat.

Enligt Charlotta Krondal krävs det en uppdatering av hur rättssystemet fungerar. Främst handlar det om att flytta bevisbördan – det vill säga den part som har ansvaret att bevisa att något blivit fel.

– I ett fall där ett datorsystem gjort fel är det helt omöjligt för en privatperson att skaffa fram den bevisning som krävs. Bevisbördans placering är verkligen avgörande – det måste ligga på de som använder systemet att bevisa att beslutet gått rätt till.

Ska man få full inblick i alla beslut?

En vanlig kritik mot automatiserade beslut är att det är svårt för enskilda att få inblick i hur ett beslut har blivit fattat. Men man kan heller inte lösa alla problem genom att beslutsprocessen blir fullt synlig. Det menar Jacob Dexe som tidigare jobbat på forskningsinstitutet RISE och skrivit om transparensfrågor och algoritmer. 

Jacob Dexe håller med om att det måste finnas en bättre insyn i hur automatiska beslutssystem fungerar och hur man tagit ett beslut. Samtidigt är maximal transparens inte alltid önskvärt.

– Ett exempel är socialtjänstärenden, där man tycker att man fått ett felaktigt beslut. Att då kunna få se exakt hur databasen ser ut och hur man tagit tidigare beslut, det skulle underminera andras rättigheter och integritet. Det finns en massa delar av informationen som inte ska vara offentlig, säger Jacob Dexe.

Komplicerade system svåra att förstå

Samtidigt kan AI-teknik göra framtidens beslutsprocesser ännu mer komplicerade och svåra att förstå. Det kan finnas en risk att vi lägger ännu mer makt i händerna på datorsystem som de flesta inte förstår hur de fungerar. 

Vi måste vara medvetna om att AI-system kommer att göra fel.

Jacob Dexe

Enligt Jacob Dexe är det ändå möjligt att kräva insyn i hur man fattat ett beslut, bland annat genom att studera resultatet – var det rättvist jämfört med om en människa hade tagit beslutet? Men det är också viktigt att vi hittar nya processer för att ifrågasätta och överklaga de beslut som tagits automatiskt.

– Vi måste vara medvetna om att AI-system kommer att göra fel och vi måste vara förberedda på det. Det är genom dessa misstag vi lär oss hur vi ska utveckla och förbättra systemen, säger Jacob Dexe.