Google bestemmer, hvad vi tænker, Wall Street bestemmer, hvad vi ejer, databrokere bestemmer, hvilke muligheder vi får i livet. Men vi ved intet om, hvordan de bestemmer. Flere og flere beslutninger træffes nemlig af obskure algoritmer, som både er svære at forstå og er skjult bag ophavsrettigheder og fortrolighedsaftaler
Den amerikanske juraprofessor Frank Pasquale er aktuel med bogen The Black Box Society. Her kritiserer han et samfund, hvor vi ikke længere har lov til at spørge ind til måden, vi bliver styret på.
– Vi kender de black boxes, man leder efter, når et fly styrter ned. De indeholder data fra en meget tæt overvågning af alt, der er sket i flyet. Men black boxes er også betegnelse for mekanismer, hvor man kender input og output uden at vide, hvordan det ene bliver til det andet, siger Frank Pasquale til Prosabladet.
Nutidens samfund er ramt af begge metaforer, lyder argumentet i Frank Pasquales bog. Borgerne er som flyvemaskinen, der konstant overvåges. Når vi færdes på internettet, handler i supermarkedet eller passerer et overvågningskamera, produceres der data om vores adfærd. Hvordan disse data bruges, når de ender hos massive firmaer i it- og finanssektorerne, ved vi sjældent noget om. De ender i den anden form for black box. Resultatet er et samfund, hvor både det private og det offentlige gransker borgernes liv i mindste detalje, mens borgerne frarøves muligheden for at vende luppen. Når borgerne ikke kan få indblik i de algoritmiske regler, der strukturerer så centrale dele af livet som vores opsparinger og vores nyhedskilder, opstår der forvridninger af magten, som kan true demokratiet.
Magten over vores evne til finde
Frank Pasquale stod i en årrække som ene kritiker i vildnisset. I starten af årtusindet blev de nye søgemaskiner betragtet med uforblommet optimisme. De blev hyldet som teknologier, der skulle befri os fra gamle former for magt ved at gøre alverdens information tilgængelig og ordnet. Det handlede om hurtigst muligt at komme af med enhver lovgivning, der kunne stå i vejen for Silicon Valleys mission.
– Men jeg begyndte at indse, at søgemaskinernes store potentiale lå i deres konstante overvågning af os. Det lagde en enorm magt i hænderne på firmaerne. De folk, der havde ansvaret for at fortolke vores data, tænkte på sig selv som en slags raketvidenskabsfolk, men de havde næppe det fælles bedste for øje.
Når søgemaskinerne skal indeksere webbets sider, samler de oplysninger om brugernes adfærd for hele tiden at forbedre søgeresultaterne. Disse forbedringer er skrevet ind i algoritmer, der står hen som nogle af verdens bedst skjulte handelshemmeligheder.
– Problemet med søgemaskiner er, at folk i dag bruger søgninger i stedet for kilder. Hvor man førhen gik til avisen for at læse nyhederne, åbner man i dag for eksempel Google News. Vi ved ikke, hvordan de udvælger deres historier. De fortæller os altid, at det handler om at forbedre brugeroplevelsen. Men der er så meget plads til manipulation i maskinrummet, siger Pasquale.
Den samme logik går igen i Facebooks nyhedsfeed eller Amazons skræddersyede produktforslag. De algoritmisk ordnede oplevelser hører ikke længere kun til privatsfæren. Vi er i stigende grad afhængige af dem som infrastruktur, når vi skal finde og udvikle viden. Magten til at inkludere, ekskludere og prioritere er også magten til at bestemme, hvilke indtryk der står tilbage eller forsvinder fra offentligheden. I 2006 råbte firmaet Foundem vagt i gevær, fordi virksomheden mente sig uretfærdigt behandlet af Google. Foundem er et website, der sammenligner priser på produkter. I foråret 2006 forsvandt firmaets hjemmeside mere eller mindre fra Googles søgeresultater, og Google ville ikke forklare hvorfor. Ifølge Google handlede det som altid om at optimere søgningerne efter brugernes ønsker. Ifølge Foundem handlede det om, at Google anså virksomheden som en konkurrent og ville begrænse dens marked. På grund af hemmelighedskræmmeriet omkring algoritmerne er det svært at afgøre, hvilken part der har ret. Algoritmerne vil brugernes bedste, så de tager ikke fejl - men når de gør, har vi ikke de rette værktøjer til at undersøge det.
Finanskrisens algoritmer
Da finanskrisen ramte, sluttede flere af de tidligere optimister sig til Pasquales lejr. De opdagede, at de teknologier, man havde hyldet i Silicon Valley, mindede umiskendeligt om dem, der var med til at bringe de globale markeder i knæ.
– Som finansiel institution kunne du med henvisning til algoritmiske modeller retfærdiggøre, at du indsamlede hundreder af millioner dollars i præmier uden at beholde kapital til eventuelle tilbagebetalinger. Modellerne blev kaldt for objektive, og de sagde jo, at risikoen var minimal.
Men finanskrisen viste, at risikoen ikke var negligerbar. Den amerikanske stat var tvunget til at udbetale redningspakker i milliardstørrelsen - på skatteydernes bekostning. Skatteyderne eller staten ville dog have haft ringe chancer for at intervenere inden krisen, for algoritmerne blev holdt hemmelige af finansinstitutterne.For Frank Pasquale handler det ikke kun om, at teknologien har taget overhånd, men også om, at den bevidst bliver misbrugt. Nok sidder vi fast i edderkoppens spind, men vi glemmer også at spørge, hvem edderkoppen egentlig er. Hvilke interesser bliver tilgodeset? Algoritmerne er ifølge Pasquale det ultimative retoriske skalkeskjul for samfundsundergravende adfærd:
– De omtales som denne objektive, videnskabelige og fair måde at ordne investeringer og muligheder, men ofte dækker det blot over manipulerende adfærd hos privilegerede aktører. Det dækker over gamle, berygtede forretningsmodeller, som går ud på at lave enorme satsninger, selvom man ved, at hele gevinsten kommer til at gå til det private og tabet til skatteyderne.
Fortællingen om algoritmerne efter finanskrisen er på mange måder den omvendte af optimisternes oprindelige. Teknologier, der skulle hjælpe med at udglatte hierarkier, viste sig til tider at grave forskellene endnu tydeligere frem.
– Den historie, der så ofte fortælles, handler om det lineære fremskridt, hvor jo mere vi organiserer i kvantitative, algoritmiske systemer, jo mere fair bliver samfundet. Men i virkeligheden bliver gamle fordomme og forskelle ofte smuglet ind i algoritmerne, siger Frank Pasquale.
Et almindeligt forsvar for algoritmerne er, at nok er de ikke perfekte, men de er mindre fordomsfulde end mennesker. Det afviser Frank Pasquale ikke, men peger på, at problemet ligger et andet sted. Tidligere traf bankmedarbejdere beslutninger, som i dag varetages af algoritmer. Forskellen er, at hvis bankmedarbejderen var fordomsfuld, var han lettere at kigge efter i sømmene. Algoritmernes beslutninger gemmes derimod væk i sorte bokse og bliver gjort immune for kritik.
Et samfund man kan forstå
Situationen i dag minder ifølge Frank Pasquale om den, der fandtes i USA ved det 19. århundredes afslutning, hvor monopoler havde fået lov at løbe løbsk på det frie marked.
– Vi havde enorme mængder af magt samlet i firmaer i for eksempel jernbaneindustrien. Nogle af de store firmaer i Silicon Valley spiller i dag den samme rolle, som jernbanen gjorde i forhold til måderne, vi er forbundet på. Vi er nødt til at lovgive derefter. Det er ikke nok bare at justere kontrakter og hjælpe forbrugerne med at træffe de bedste beslutninger. Vi har behov for at være visionære og indse, at nogle af disse firmaer udøver magt på skala med staten, siger han.
På et mere generelt plan mener Pasquale, at vi skal insistere på at udvikle et mere forståeligt samfund. Det handler ikke kun om at sikre adgang til algoritmiske systemer eller om regulering af monopolerne, men også om at fastholde, at visse ting ikke kan reduceres til algoritmer.Som et eksempel på den rette tilgang nævner Pasquale den såkaldte "right to be forgotten"-kontrovers, hvor Google på europæisk jord er blevet tvunget til at fjerne krænkende indhold på privatpersoners anmodning. Her har man opnået en situation, hvor monopolet er tvunget til at behandle borgerne, så alle involverede parter kan forstå afgørelserne:
– De menneskelige beslutninger i de enkelte sager er fornuftige og velovervejede. Samtidig er det helt tydeligt, at intet forener alle sagerne, som ville kunne reducere dem til en sekvens af trin, hvilket den algoritmiske logik ellers foreskriver, konstaterer Frank Pasquale,
Succeshistorien er ifølge Frank Pasquale et eksempel på, at Europa angriber problemet mere progressivt end USA. Det samme kan siges om den måde, hvorpå EU-Kommissionen for nylig har anklaget Google for systematisk at misbruge sin markedsdominans til at skævvride konkurrencen.Men selv i Europa må vi ikke glemme, at vi har at gøre med et langsigtet problem, som er indlejret i den politiske økonomi. Globalt set er der behov for en mere socialistisk, planlægningsorienteret politik for at modvirke algoritmernes tyranni.
– I dag handler finansmarkederne om at træffe beslutninger baseret på mikrosekunder. I mellemtiden dør mennesker, fordi vi ikke gør basale ting for at planlægge vores fremtid. Vi har overladt for mange af vores beslutninger til den usynlige hånd, som i øvrigt er et klassisk black box-begreb.
Sådan en ændring kræver folkelig opbakning fra forbrugere, der ellers klandres for at være ligeglade med data, overvågning og privatliv. Hvad er oddsene for, at vi undgår et samfund af sorte bokse?
– Den tyske teoretiker Hartmut Rosa har en teori om accelerationssamfundet, hvor vi konstant bliver nødt til at arbejde hurtigere for at følge med. I sådan en verden er det en luksus at yde modstand. Jeg håber, min bog kan være med til at fortælle historien fra tabernes side og minde folk om, at det kan være deres tur næste gang.
