Skadlig kod -
Systemfel

Den 1 juli 2013 bröt sig en maskerad man in i en kvinnas hem i staden Bakersfield i Kalifornien. Förövaren band fast kvinnan och hennes barn med buntband. Sedan våldtog han kvinnan. När ett liknande brott skedde snart därefter i den lilla staden började polisen misstänka att de hade att göra med en serievåldtäktsman. Några veckor senare slog han till igen.

Förövaren bar alltid huvtröja och svart rånarluva och bröt sig in hos kvinnor medan de sov. Hans offer var kvinnor med barn. Genom att hota barnen fick han kvinnorna att i desperation göra som han ville. De lokala nyheterna började kalla mannen ”The East Side Rapist” eftersom han verkade på stadens östra sida.

Till en början stod polisen och trampade utan att komma någonstans med fallet. Utredningen fick ett genombrott då en man som körde med ett utgånget körkort stoppades i en rutintrafikkontroll. Mannen – som heter Billy Ray Johnson – hade ett knogjärn i bilen och var tidigare dömd för inbrott och kvinnomisshandel i en nära relation. Genom att spåra mannens mobiltelefon kunde han placeras i närheten av brottsplatserna för tiden vid våldtäkterna, men det var svårt att med fysiska bevis knyta honom till fallet.

Myndigheterna hittade dna på flera av brottsplatserna, bland annat blodstänk på en handduk, rester av dna på en vas och ett buntband. Men vanlig dna-analys gick inte att använda, dna-spåren var antingen för vaga eller så rörde det sig om en blandning av flera olika människors genetiska spår. Polisen vände sig då i stället till True Allele, en algoritm.

Den komplicerade algoritmen, som består av ungefär 170 000 rader kod matad med dna-data, utför vad som kallas ”probabilistic genotyping” – den anger hur troligt det är att en viss persons dna finns i en sörja av olika människors genetiska spår.

I fallet med Billie Ray Johnson kom algoritmen fram till att chansen att dna:t kom från någon annan var en på 211 kvintiljoner. Billie Ray Johnson dömdes för 24 olika brott, varav tre våldtäkter, till livstids fängelse plus 423 år utan chans till villkorlig frigivning. Algoritmen True Alleles resultat var en viktig del i bevisföringen. Åklagaren i fallet sa efter domens fall att hon var mycket nöjd med att det ”sadistiska monstret” skulle tillbringa resten av sitt liv inlåst. Men långt ifrån alla var nöjda. På andra sidan landet, i ett kontor i New York, följde oroliga ögon rättegången.

Billie Ray Johnson har erkänt en lång rad brott, över 100 inbrott bara sommaren 2013, men han säger att han aldrig har våldtagit någon. Algoritmen placerar honom dock vid brottsplatserna. Johnssons försvarsadvokat har krävt att få se på koden som binder hans klient till brotten. Men har har nekats att få se den.

Algoritmen ägs nämligen av Cybergenetics, ett privat företag som menar att den komplexa koden är en affärshemlighet. Det är koden de tjänar pengar på, enligt ett rättegångsdokument kostar licensen för att använda True Allele ungefär en halv miljon kronor. Om företaget skulle visa den för världen skulle de förlora sin unika position på marknaden. Just detta att koden, som har en sådan fatal inverkan på människors liv, är hemlig, har väckt oro. Att en företagsprodukt som ingen vet hur den fungerar får folk dömda till fängelse.

– Algoritmer är varken onda eller goda, de är verktyg och ofta effektiva sådana. Vi är inte emot dem. Men när de påverkar så viktiga beslut om människors liv, och särskilt när det är regeringen som använder dem för att ta besluten, ska offentligheten ha tillgång till dem, säger juristen Vera Eidelman.

Hon har lämnat in en överklagan i fallet ”The People of the State of California vs. Billie Ray Johnsson”. Vi träffar henne på hennes arbetsplats i American Civil Liberties Unions lokaler i en enorm skyskrapa på södra Manhattan i New York. Hon har precis fått ett nytt kontor där hon tar emot oss – det är spöklikt tomt. Hon menar att Billy Ray Johnson berövats sin konstitutionella rätt att granska och ifrågasätta bevis som läggs fram mot honom när varken han eller hans försvar får tillgång till den algoritm som fått honom dömd.

– Jag tror att en av farorna är att när människor använder ordet algoritm ”techtvättas” beslut. Plötsligt verkar de vara objektiva, ofelbara och ”sanna”. I realiteten är algoritmer bara en uppsättning instruktioner. När de programmeras – av människor – kan en oändlig rad misstag och fördomar skrivas in i dem, säger Vera Eidelman.

Det var den persiske matematikern Muhammad ibn Musa Al-Khawarizimi, som levde under 800-talet, som myntade begreppet algoritm. En algoritm är i grunden en uppsättning instruktioner som beskriver hur man genom ett bestämt antal steg löser ett problem eller gör en uträkning och har använts under tusentals år. Den första kända algoritmen för att multiplicera två tal utvecklades i Egypten redan för 4 000 år sedan. Men det var först under 1800-talet, samtidigt som maskintekniken utvecklades, som algoritmer började ta form mot att bli vad de är i dag. Ett av de viktigaste stegen stod engelsmannen George Boole för när han skapade vad som kallas boolesk algebra. Metoden löser problem genom att representera logikens två sanningsvärden sant och falskt med två siffror: 1 och 0. Det blev grunden för dagens datoriserade algoritmer. Det är också från boolesk algebra som datorvärldens kända ettor och nollor kommer ifrån.

I dag är algoritmer en del av vår vardag. De påverkar oss ständigt – vilka annonser vi ser på internet, var i ordningen vårt senaste Instagraminlägg hamnar i våra följares flöden, var vi placeras i vissa telefonköer (ju värdefullare kund du beräknas vara desto bättre placering), vilka länkar som kommer upp när du söker på Google (företagets sökalgoritm sägs nu ha petat ned receptet på Coca-Cola från att vara den hårdast bevakade företagshemligheten i världen) och matchar ihop dig med nästa person du ska bli kär i. Algoritmer hjälper till att bedöma vem som får teckna en försäkring, påverkar beslut om att bevilja eller neka lån eller försörjningsstöd och medverkar till att avgöra var poliser ska patrullera. Och som redan har nämnts: algoritmer kan hitta bevis mot brottslingar.

Minns du läkaren David Dao? Den äldre man som blodig släpades av det överbokade United-flyget 3411 i Chicago 2017. Väktare tvingade honom ur flygplanet inför en lång rad förskräckta medpassagerare. I de upprörda reaktionerna efter att händelsen blev viral frågade många om det var rasism som låg bakom beslutet att slänga ut just asiatisk-amerikanska David Dao ur flygplanet. Vem hade egentligen tagit beslutet att just han skulle lämna planet? Svaret: en algoritm.

Antagligen plockade datorn med hjälp av information om alla passagerarna fram en lista på lämpliga personer att neka att få följa med. Men exakt hur beslutet togs är inte offentliggjort. Och faktumet att en algoritm tog beslutet utesluter inte att rasism låg bakom. Algoritmer ses ofta som matematik befriade från mänskliga fördomar. Men de kan mycket väl vara rasistiska, sexistiska, fördomsfulla eller på andra sätt färgade av någon av mänsklighetens fulare sidor.

Algoritmerna väljer i sådana här specifika situationer till exempel inte förstaklassresenärer eller passagerare med hög status i bolagens frequent-flier-program. Kvar är de som reser i ekonomiklass med de billigaste biljetterna. Bekvämt nog utstätter därmed de ”objektiva” algoritmerna inte bolagen för några ekonomiska risker.

År 2016 publicerade den grävande nyhetsorganisationen Pro Publica en artikel om det amerikanska rättssystemet som för alltid förändrade debatten om algoritmer, fördomar och maskininlärning. Artikeln handlade om riskbedömning och undersökte en algoritm vid namn ”Compass”, som används vid amerikanska domstolar för att räkna ut risken att arresterade människor i framtiden ska återfalla i brottslighet. Resultatet användes av domare runt om i USA som underlag för att bestämma allt från borgen till straff. Pro Publica kunde visa att algoritmens resultat var rasistiskt. Programmet angav att individer med mörkare hudfärg hade dubbelt så hög risk att i framtiden begå nya brott. Vita individer bedömdes samtidigt ha lägre risk. Just hudfärg var en viktig parameter.

– Artikeln fick saker att explodera. The New York Times, Forbes, alla möjliga började skriva om det. Folk inom forskningsfälten tänkte ”okej det här får press nu”. Allmänheten lärde sig mer om problematiken med algoritmer, men det ledde också till att fler som studerade maskininlärning började intressera sig för rättviseaspekten, säger Berk Ustun, forskare fokuserad på maskininlärning och rättvisa på Harvard University i Boston.

När data används i algoritmer för att fatta beslut bygger de på historia. Data är historia i siffror. Det gör att det finns en risk för att de fel som redan finns i vår värld, till exempel rasism, sexism, kvinnohat, åldersdiskriminering och fördomar, byggs in i algoritmerna och till och med kan förstärkas av dem. Ibland påverkar algoritmen världen i en riktning, vilket i sin tur skapar ny skev data som matas in i igen. Resultatet blir en så kallad ”feedback loop”, där datan förstärks åt ett viss håll.

Ett exempel: I vissa städer i USA (till exempel Los Angeles) använder polisen data och algoritmer för att förutse var brott kommer att ske och gör en förebyggande placering av polispatruller. Men datan, till exempel antalet arresteringar i ett område, kan vara skev från början, på grund av att till exempel en vit poliskår driven av underliggande rasistiska motiv oftare arresterar svarta män-niskor än vita. Polispatruller skickas till svarta områden. Hela modellen kommer då att göra en redan orättvis värld ännu skevare.

Meredith Broussard jobbar på New York University. Hon gav nyligen ut boken Artificial Unintelligence: How Computers Misunderstand the World. Tidigare arbetade hon inom techvärlden som programmerare men slutade och blev journalist. När jag frågar henne varför svarar hon kort:

– Sexism.

Jag ber henne utveckla.

– Allt du har hört om techvärlden, all forskning som finns om beteenden och sociala krafter som får kvinnor och ”people of colour” att lämna de naturvetenskapliga fälten, stämmer helt, säger hon.

Ett av problemen med de algoritmer som omger oss bottnar i just det – att Silicon Valley och resten av techvärlden domineras av vita män. Homogena grupper har inte kapaciteten, närvaron och den information som behövs för att kunna lösa komplexa sociala problem, menar Meredith Broussard. Men även enkla uppgifter skapar problem. Ett exempel ur verkligheten är hur MIT-forskaren Joy Buolamwini upptäckte att face detection-program, alltså mjukvara som identifierar ansikten, hade svårt att känna igen svarta kvinnor. I ett känt experiment visade hon hur ett sådant program bara kunde lokalisera hennes eget ansikte om hon hade på sig en vit mask. En av orsakerna var att maskinerna hade matats med allt för få bilder på svarta kvinnor och således inte tränat upp sin förmåga.

I sin bok skriver Meredith Broussard om vad hon kallar ”technochauvinism” – föreställningen att teknologi är lösningen på allt och att teknologi alltid gör saker bättre.

– Datavetenskap härstammar i matematiken. Matte har under århundraden präglats av idén att matematik är det som räknas, medan sociala faktorer inte spelar någon roll. Datavetenskapen har ärvt den förutfattade meningen. Därför finns det människor inom datavetenskapen som tycker att matte- och ingenjörsbiten av techproblemen är så mycket viktigare än sociala faktorer. De bryr sig inte om sociala faktorer alls. När det synsättet blir inbäddat i teknologin får vi problem.

Meredith Broussard tror på teknologi, på data och på algoritmer. Hon använder det själv i sitt journalistiska arbete. Till exempel skrev hon kod för att hjälpa journalister att gräva i kampanjfinansiering inför presidentvalet 2016. Hon säger att det är fullt möjligt att använda algoritmer på ett positivt sätt och att det är fullt möjligt att sätta ihop välfungerande, etiskt stabila algoritmer. Men det kräver tid och eftertanke, noggrann kontroll och utförliga tester. Hon pekar på ett annat problem:

– Det finns mycket mer pengar i det snabba än i det försiktiga. Riskkapitalister blir inte exalterade av att satsa sina pengar på någon som säger ”jag ska starta ett företag och om fem år kommer vi att ha en väldigt etiskt och noggrant skriven kod”. Riskkapitalister dras till dem som säger ”vi kommer ut på marknaden om sex månader och vi kommer att göra allt som krävs för att det ska ske!” Det är ett problem som är direkt relaterat till hur kapitalismen fungerar och det är ett bevis på att den fria marknaden inte kan lösa alla problem, säger Meredith Broussard.

Forskaren Alexandra Chouldechova, som i vanliga fall håller till i Pittsburgh, har tillbringat tre månader i Microsofts byggnad vid Charles River i Cambridge som gästforskare. Vi träffar henne på en öde våning tolv. Utanför fönstren faller ett kallt höstregn ned över Boston på andra sidan floden. Hon tror starkt på algoritmer som något som kan hjälpa oss att förbättra världen, men risker finns förstås.

– Ett av mina största bekymmer med utvecklingen är att de här modellerna kräver väldigt precisa problemformuleringar, säger hon.

Hon tar exemplet med ”predictive policing” – algoritmer som förutser var brott ska begås.

– Vad är polisens mål? Att reducera brott. Men också annat. Interaktionen mellan polis och invånare, befolkningens känsla av säkerhethet och trygghet och deras tro på rättvisa, deras övertygelse om att det är berättigat att polisen överhuvudtaget finns. Det är dock väldigt svårt att kvantifiera.

En utmaning består alltså i vad som är möjligt att mäta. Det är nödvändigtvis inte det som är bäst för kollektivet. Och det är ett stort problem.

– Om man inte sätter en siffra på det finns det inte i de här systemen. Det kan vara så att det hänger tätt samman med något som man kan sätta en siffra på. Minskade brottsnivåer kanske på vissa sätt är förknippade med ökad känsla av trygghet. Men inte direkt. Kanske går faktorer med andra värden förlorade? Frågan är om det är dit vi vill som samhälle.

Går vi mot en framtid där vi, i jakt på ett perfekt samhälle bygger bort de svårdefinierade värden som gör oss just mänskliga? Kommer vi att programmera bort den mänskliga själen?

– Jag tror att det finns förutfattade meningar inbakade i din fråga – du tror att nummer är själlösa, säger Suresh Venkatasubramanian, professor på School of Computing på Utah University när jag ställer frågan till honom.

– Data är bara en lins genom vilken vi ser världen. Det är ett sätt att berätta historier om oss på, och data har eller har inte en själ lika mycket som en historia. Att studera algoritmer är ett väldigt kreativt fält och jag tror att det är rädslan för det okända som gör att sådana frågor dyker upp, säger han.

Venkatasubramanian har rätt – algoritmer är i stor utsträckning något okänt. De är oerhört komplexa strukturer som ett fåtal människor kan förstå sig på. I många fall vet inte ens de personer som har byggt algoritmerna hur de kommer fram till sina slutsatser.

Ändå har de en enorm inverkan på våra liv på oändligt många sätt. I Billy Ray Johnsons fall förändrade en algoritm allting. Jag frågar Suresh Venkatasubramanian hur han ser på framtiden.

– Vissa dagar är jag optimistisk. Det finns en aptit på diskussion, möjlighet till förändring. Andra dagar känner jag bara oro – att fördomarna, orättvisorna och problemen har varit här för länge, att det är hybris av oss att tro att vi ska kunna göra något. Att vi bara institutionaliserar det som redan skett, att vi skriker i vinden. Att ingen hör oss.