20.06.2019

”Vi befinder os midt i en politisk kamp med tech-giganter og digitalisering om vores samfunds fremtid, og den kamp skal have borgerne i førersædet. Det er absolut ikke let. Men at opgive at styre udviklingen er at opgive demokratisk selvbestemmelse.”

Interview af Christiern Santos Rasmussen

RÆSON: Din nye bog hedder ”Digital totalitarisme”. Hvad er det?
VESTERGAARD: Digital totalitarisme er elimineringen af menneskets spontanitet og frie vilje gennem datadrevet feedbackoptimeret adfærdskontrol, eksempelvis ved at bruge vores personlige oplysninger til at undergrave vores individuelle myndighed. Men det er en dystopi og et skræmmescenarie, som vi heldigvis er langt fra. Begrebet kan anvendes til at stille skarpt på og bekæmpe de tendenser, som trækker i den forkerte retning i dag, og bekæmpe dem, så den digitale totalitarisme vedbliver med at være en dystopi.

RÆSON: Du begynder bogen med at fortælle om det kinesiske sociale kreditsystem, der er under udvikling, og som vestlige medier har beskrevet som vejen til et digitalt diktatur. Kan du uddybe det?
VESTERGAARD: Der er ikke tale om et egentligt socialt kreditsystem endnu. Det kinesiske styre går eksperimentelt til værks og har sat gang i en lang række pilotprojekter – nogle rent statslige, andre kommercielle såsom Sesame Credit, og der er andre offentligt-private partnerskaber – så der er pt. en masse forskellige lokale sociale kreditsystemer, der indhentes erfaringer fra. Men de overordnede grundprincipper, som systemerne skal virkeliggøre, er fastsat af centralregeringen.

Det handler om at skabe incitamenter: Systemerne skal sørge for, at det altid kan betale sig for både borgere, myndigheder og virksomheder at agere tillidsværdigt og følge love, regler og normer. De tillidsværdige skal belønnes, og tillidsbryderne skal sanktioneres. Det er en form for datadrevet konsekvenspædagogik. Målsætningen er, at det aldrig skal kunne betale sig at bryde tilliden i samfundet. For at sikre dét er den overvågning, som nye digitale teknologier muliggør, essentiel. Hvis ens adfærd hele tiden er synlig, kan man ikke slippe afsted med noget, der bryder reglerne. Og i Kina er et overvågningsnetværk kaldet ”Massernes skarpe øjne” under hastig opbygning. Det kan på sigt komme til at betyde, at nærmest enhver afvigelse fra de foreskrevne regler automatisk vil blive opdaget, hvorefter hammeren falder.

RÆSON: Hvordan falder hammeren så?
VESTERGAARD: Bliver man vurderet til at være tillidsbryder, falder hammeren ved, at man bliver sortlistet. For virksomheder betyder det fx højere renter på lån, hvis man da ikke helt udelukkes fra kredit, og det kan også betyde, at man mister adgang til markedet. Oprindeligt var systemet kun tiltænkt virksomhederne pga. en række store fødevare- og miljø-skandaler, der fandt sted for nogle år siden, og som førte til et tillidsbrud. Det skulle skabe tillid på markederne og få virksomhederne til at opføre sig ordentligt. Det sikrer den kinesiske regering så ved at forbinde virksomhedernes økonomiske egeninteresse i at skabe profit med deres ageren. Det er den model for indirekte markedsregulering, hvor man skaber incitament til at agere som foreskrevet, som nu overføres til borgerne som en model for social kontrol.

For borgeren, som ender på en af de sorte lister, begrænses livsmulighederne kraftigt. Man kan ikke bestille billetter til hverken indenrigs- eller udenrigsfly eller højhastighedstog, ens børn udelukkes fra privatskoler, man kan ikke få en politisk karriere eller have tillidserhverv og ikke komme ind på dyre natklubber osv. Offentlig udskamning er også et element. Man risikerer at blive fremstillet med navn og billede på billboards på offentlige pladser. Nogle steder er de gået så langt, at hvis man er på en sort liste, ændrer telefonselskabet ens ringetone til en højlydt advarsel til andre i nærheden om, at telefonens ejer ikke er til at stole på.

 

Frygter vi det, der sker i Kina, så mener jeg også, at det er en anledning til at se på, hvilke tendenser i Vesten der trækker i samme retning, bl.a. den tiltagende datadrevne overvågning og kontrol
_______

 

RÆSON: Hvad har reaktionen på dette system været i Vesten, og hvad kan vi bruge den reaktion til?
VESTERGAARD: Reaktionen i Vesten har været at sammenligne det sociale kreditsystem med den direkte vej til en digital version af George Orwells grusomme og totalitære samfund i 1984. Virkeligheden i Kina er mere nuanceret, men det betyder absolut ikke, at der ikke er skræmmende perspektiver – for dét er der. Men frygter vi det, der sker i Kina, så mener jeg også, at det er en anledning til at se på, hvilke tendenser i Vesten der trækker i samme retning, bl.a. den tiltagende datadrevne overvågning og kontrol.

På den måde kan vi bruge fortællingen om det sociale kreditsystem som et sort spejl for udviklingen her i Vesten, så vi bliver opmærksomme på det, som trækker den gale vej, og dermed kan yde modstand. En autoritær statsmagt med ambitioner om omfattende kontrol er ikke nødvendigt for, at borgerne stilles ringere og bliver mere udsatte som resultat af de nye teknologier. Det bidrager tech-giganterne, som opererer på markedsvilkår, også i høj grad til. Nye former for social kontrol og adfærdsregulering, som vi er kritiske over for, når det sker i Kina, kan snige sig ind ad bagdøren i vores del af verden. Især hvis vi ikke er opmærksomme på det.

RÆSON: Hvordan ser du samme udvikling i Vesten?
VESTERGAARD: I det relativt uregulerede marked for personlig information i USA, kan vi se nogle af de samme konsekvenser for amerikanske borgere, som gælder for kinesiske borgere på de sorte lister. Dine private oplysninger og spor på de digitale medier kan vha. algoritmer bruges af datakøbmænd og andre markedsaktører til at rangordne dig i lister og forudsige din adfærd – ikke for kontrollens skyld, men for profit. Data og forudsigelsesalgoritmer anvendes til at vurdere, hvor meget folk er værd for forskellige virksomheder og som grundlag for at træffe profitable beslutninger. Eksempelvis vil en arbejdsgiver jo gerne ansætte folk, der giver plus på bundlinjen, og kreditorer vil gerne låne penge ud til folk, der betaler igen med renters rente. Mange arbejdsgivere i USA tjekker kreditvurderinger som en markør for pålidelighed.

Det er der som sådan ikke noget nyt i. Men med den mængde data, som nu produceres og handles, er den lovgivning, som skulle beskytte forbrugerne og borgerne, blevet dybt forældet og let at omgå. Det er blevet et vildt vesten. Og det kan skabe en kaskade af problemer for den enkelte borger. En dårlig kreditscore, der måske er baseret på fejlagtige opysninger, kan være umulig at gøre indsigelser imod. Eller det kan være, at man ikke engang ved, at de fejlagtige oplysninger cirkulerer. Den dårlige kreditscore kan nemt fastholde folk i en negativ spiral og blive til en selvopfyldende profeti. Det kan blive svært at finde et arbejde, låne til et hus eller en uddannelse, og selv det at leje en bil fordyres af den forhøjede risikopræmie. Så bliver vurderingen af personen som et højrisikoindivid en medvirkende faktor i, at vedkommende reelt bliver mere risikabel at investere i. Et lidt for frit informationsmarked kan derfor de facto begrænse livsmulighederne kraftigt for den enkelte.

Men det gælder ikke kun markedsaktører i Vesten. Noget af det, Edward Snowden afslørede, var, at de store private tech-aktører var centrale for den amerikanske stats indsamling af data. Ved at købe data, som staten ikke selv må indsamle, kunne man omgå lovgivningen. Men det er jo ligegyldigt for borgeren, om data er indsamlede eller købt – man er under alle omstændigheder blotlagt for staten og stilles dårligere i den magtbalance. Et andet eksempel er Palantir Technologies, et big-data sikkerhedsfirma, hvis forudsigelsesalgoritmer er ved at blive integreret på amerikanske politistationer for at danne base for forudsigende politiarbejde. Deres platform samler data fra forskellige databaser og skaber et billede af folks sociale netværk. Det betyder, at alene det at have en relation til en mistænkt, kan resultere i, at man ender i Palantirs systemer og politiets database. Også selvom man selv aldrig før har været mistænkt eller i kontakt med politiet. Det undergraver princippet om, at der skal være en konkret grund, før man kan blive efterforsket. Selve systemdesignet bidrager på den måde til, at traditionel overvågning af mistænkte eller vaneforbrydere bliver til masseovervågning af befolkningen.

Forudsigelsesalgoritmer er også ved at finde vej til domstolene. Det kan undergrave retssystemets gennemsigtighed og princippet om lighed for loven. For nogle år siden blev en mand ved navn Eric Loomis vurderet som højrisikoindivid af en algoritme ved navn COMPAS. Vurderingen indgik i grundlaget for at give Loomis en ubetinget seksårig dom. Da Loomis og hans advokat bad om adgang til algoritmen for at forstå dommen, fik de afslag – først af virksomheden bag COMPAS og derefter af domstolen. Algoritmen var beskyttet som forretningshemmelighed. Her har vi et tilfælde, hvor en borgers ret til gennemsigtighed i retssystemet bliver annulleret pga. en privat virksomheds interesser. Dertil kalkulerer algoritmerne ikke alene risiko ud fra, hvad man har begået, men også hvem man er. Har to personer begået samme ulovlige handling, men med to forskellige baggrunde, kan de få to ret forskellige straffe. Og så er der ikke lighed for loven længere.

 

Overordnet har udviklingen af de nye digitale teknologier stillet borgeren gradvist dårligere over for både myndigheder og virksomheder
_______

 

Overordnet har udviklingen af de nye digitale teknologier stillet borgeren gradvist dårligere over for både myndigheder og virksomheder. Man eksponeres mere, bliver nøgen og måske ligefrem gennemsigtig for virksomheder og myndigheders blik, der omvendt kan gemme sig i sorte bokse og ikke stilles til ansvar. Er viden og information lig med magt – og det er det – skaber sådan en informationsmæssig asymmetri også en asymmetri i magtforholdene i samfundet. Det tipper magtbalancen mellem den enkelte borger og virksomheder og stat til de to sidstnævntes fordel.

RÆSON: I din beskrivelse af de tendenser du ser i Vesten, bruger du i bogen begrebet New Citizen Management. Hvad er det?
VESTERGAARD: Det er en magtteknik eller en model for styring af borgerne og social kontrol, der anvender en kombination af overvågning og skabelse af incitamenter til at agere som ønsket. Det er New Public Management tilsat datadrevet overvågning; en udvikling, som udgår fra styringen af ansatte, men udbredes til adfærdsregulering af befolkningen som sådan.

Mekanismerne bag New Citizen Management går igen i både de kinesiske sociale kreditsystemer og i stigende grad i den vestlige datadrevne konkurrencestat. Den store forskel er graden af overvågning og incitamenternes styrke. Der er meget kraftigere incitamenter og langt mere overvågning i Kina end i Danmark. Men når vi for eksempel ser, at kommuners kontrolenheder presser på for at få lov til at anvende data fra mobilselskaber eller overvåge arbejdsløse gennem deres elforbrug, er det et reelt pres for at mindske afstanden mellem Kina og Danmark. Hvis vi ikke vil nærme os kinesiske tilstande, er det vigtigt, at vi har en stærk lovgivning, som bastant beskytter borgerens privatliv. En lovgivning, der klart sætter grænser for, hvor vidtrækkende overvågningen og kontrollen skal være i vores samfund.

RÆSON: Hvordan kan denne udvikling af digitale totalitære systemer være nået så vidt i det demokratiske Vesten?
VESTERGAARD: Det er jo ikke, fordi den frie vilje er genopdraget væk om lidt. Langt fra. Længere er udviklingen heller ikke nået. Men den individuelle frihed angribes af markedsaktører i tech-branchen. Der har hersket en nyliberal fortælling om, at des friere marked, des mere frihed for den enkelte – markedet som frihedens rige. Men det holder ikke til nærmere eftersyn. Den ideologiske fortælling er blind for de faktiske forhold i teknologiindistrien.

Når vi ser virksomheder bruge psykologiske indsigter og adfærdsdata mod folk for at adfærdsmodificere dem i den retning, virksomheden ønsker, så er det grundlæggende et angreb på det myndige individ og vores evne til at bestemme over os selv. Der er åbnet for nye former for tvang.

Det handler om at manipulere individer til at opføre sig på en specifik måde og at sætte den enkeltes autonomi ud af spil. Ved at lære fra spillemaskinerne i Las Vegas, der designes til at få folk til at slå deres rationelle beslutningskompetencer fra og blive ved med at trykke spin, bruger vestlige markedsaktører forudsigelsesalgoritmer, data og indsigter fra social-psykologien til at påvirke vores adfærd, så vi slår vores rationelle sans fra og fortsat bruger deres tjenester. På den måde injicerer man altså ludomanens tvangsbetonede adfærd i mennesker for profittens skyld og vender vores psykologiske sårbarheder imod os. Det er også fx kommet frem i Australien, at Facebook har reklameret overfor potentielle annoncører, at man identificerer over 6 mio. psykisk sårbare unge australiere og fundet ud af præcis, hvornår de er mest sårbare. Hvis man bruger indsamlet data og socialpsykologisk indsigt til fx at vende en teenagers følelse af utilstrækkelighed eller negative sindstilstand mod dem selv for at sælge et produkt, går man altså fra overtalelse, som altid har været en del af reklamers natur, til følelsesmanipulation, som kan sætte fornuften midlertidigt ud af kraft. Og det er et angreb mod den individuelle autonomi og frihed.

 

Der er et vedholdende pres for at slække den eksisterende lovgivning. I Danmark har vi et digitaliseringshastværk, hvor det lader til, det vigtigste er at vinde den digitale konkurrence med Kina og Silicon Valley
_______

 

Derfor er det også vigtigt at modstå fristelsen til at slippe tøjlerne og give virksomhederne helt frit spil. Der er et vedholdende pres for at slække den eksisterende lovgivning. I Danmark har vi et digitaliseringshastværk, hvor det lader til, det vigtigste er at vinde den digitale konkurrence med Kina og Silicon Valley. Danmark har jo en målsætning om at være en digital frontløber! En del af det skyldes en lidt for effektiv lobbyvirksomhed. Eksempelvis fik Google udarbejdet en rapport om digitaliseringspotentialet i Danmark, ”Digitizing Denmark”, hvor budskabet var klart: Vi har alt at vinde, hvis vi digitaliserer hurtigt, og hvis ikke vi gør det, mister vi det hele til Kina og kan se frem til en fremtid i armod. Den ser ud til at have haft en effekt i det politiske ledelseslag. En interessant pointe, som nævnes i rapporten, er, at lovgivningen ikke må tillades at sætte hindring for den økonomiske og samfundsmæssige udvikling.

Det er en interessant måde at se på politik på. For jeg vil mene, at det er et fremskridt, når vi laver lovgivning, der beskytter borgernes privatliv og selvbestemmelse i en digital tidsalder. Det er vigtigt at huske, at vores samfund ikke kun er bedre end de fleste pga. økonomisk vækst og teknologi, men også takket være politiske fremskridt – demokratiet, retsstaten, borgerrettigheder og den slags. Så vi skal passe på, at vi ikke udhuler de politiske fremskridt for det teknologiske fremskridts skyld.

RÆSON: Begrebet myndighed er også knyttet til oplysning – det vil sige, at hvis individet er oplyst, er det i stand til at bestemme over sig selv. Men det kræver både adgang og evnen til at overskue information. Kan vores myndighed – i den digitale tidsalders overflod af information – klare sig uden aktører som Google, der organiserer, overskueliggør og tilgængeliggør information?
VESTERGAARD: Det handler ikke om at storme maskinerne. Vi skal jo bruge teknologierne og de muligheder, de giver os, og vi er selvfølgelig afhængige af en form for informationssortering. Men der eksisterer nogle usunde forretningsmodeller, og virksomhederne er fuldstændigt uigennemsigtige. Det er ikke heldigt, når de sidder på så stor en del af vores informationsmæssige infrastruktur. Det handler om at finde opdatere spillereglerne for, hvordan det skal foregå, og hvad man må gøre med personlig information og data.

RÆSON: I din bog slutter du af med at diskutere mulighederne for en digital grundlov. Hvorfor har vi brug for sådan en, og hvad skal indgå i den?
VESTERGAARD: Motivationen bag den digitale grundlov er erkendelsen af det konstante pres fra tech-virksomheder for at slække på den eksisterende lovgivning. Mener vi, at den myndige borger er fundamentet for et frit og demokratisk samfund, så skal vi holde fast i, at det er borgeren, som skal stå med den lange ende af magtens strå. Men det enkelte individ er blevet mere transparant, overvåget og kontrolleret i dag, og dermed er magtforholdet mellem individ og myndigheder eller virksomheder blevet skævvredet.

Det enkelte individ skal have grundlæggende rettigheder, som sikrer privatlivets fred, fastholder lighed for loven og lige muligheder på både markeder og hos myndigheder. Modsat skal virksomheder og myndigheder kontrolleres mere, og der skal være et krav om gennemsigtighed. Det gælder om at genfinde og realisere de forhåbninger om individets frigørelse og demokratisering som digitaliseringen medbragte i 00’erne. Det er jo det, vi skal tilbage til, så vi kan sikre, at den digitale udvikling kommer til borgerens fordel, og at vores selvbestemmelse kommer først – ikke statens eller virksomhedernes interesser i social orden og profit.

 

Det enkelte individ skal have grundlæggende rettigheder, som sikrer privatlivets fred, fastholder lighed for loven og lige muligheder på både markeder og hos myndigheder. Modsat skal virksomheder og myndigheder kontrolleres mere
_______

 

RÆSON: GDPR blev anset for at være en milepæl på dette område. Men mange websites kan nu ikke tilgås, uden at det kræves at man”friviligt” opgiver sin data. Har det gjort os myndige, eller har det bare gjort tvangen tydelig?
VESTERGAARD: Viden er det første skridt. Det, at folk bliver opmærksomme på, at det ikke er gratis at bruge internettet, og det, at de indgår i en byttehandel om tjenester og data, er vigtigt i sig selv. Men situationen løses ikke alene på det individuelle plan. Problemet er, at man også overvældes af en overflod af information. Skal du side og læse alle ”terms and agreements” igennem, så har du ikke tid til så meget andet – i hvertfald ikke at passe dit arbejde eller familie. Den digitale overvågning og dens potentielle skadevirkninger kræver politiske løsninger.

RÆSON: Facebook forventer at betale 5 mia. i bøder til den amerikanske stat i 2019, og EU-Kommissionen har udskrevet historisk store bøder til Google. Men sådanne økonomiske sanktioner lader fortsat til at være peanuts i deres regnskab. Hvordan kan en digital grundlov sanktionere så store aktører?
VESTERGAARD: Jeg tror ikke på, at det er for sent, og at toget allerede er kørt. Men det er ikke en let opgave. Når det gælder regulering af markedet og af virkomshederne – og altså ikke social kontrol af befolkningen – kan vi måske med fordel lade os inspirere af grundprincippet i den kinesiske model: Det handler om at knytte virksomhedernes økonomiske egeninteresse til deres ageren, så det kun kan betale sig at opføre sig nogenlunde etisk. Jeg har ikke en færdig opskrift i skuffen. Der skal også jurister, teknologikyndige og andre på banen. Det handler ikke om at få lukket ned for techgiganterne, men at få tømmerne på de her virksomheder og tage demokratisk kontrol.

RÆSON: Et af argumenterne mod, at Danmark skal gå først med sådan en lovgivning, er vores beskedne størrelse på det digitale marked. Hvem skal indføre denne lov?
VESTERGAARD: Dansk lovgivning kan selvfølgelig ikke diktere hele verden. Men vi kan gå forrest! Vi kan inspirere andre ved at være et digitalt foregangsland i stedet for en hovedløs digital frontløber. Det er vi bare ikke nu. Ser vi på implementeringen af GDPR, så har vi i Danmark været fodslæbere, og vi er for eksempel blevet ved med at logge borgeres data i modstrid med domme fra EU. Vi skal passe på med at falde for nødvendighedsfortællingen om, at det er umuligt at gøre noget. Vi befinder os midt i en politisk kamp om vores samfunds fremtid, og den kamp skal have borgerne i førersædet. Det er absolut ikke let. Men at opgive at styre udviklingen er at opgive demokratisk selvbestemmelse. ■

 

Vi befinder os midt i en politisk kamp om vores samfunds fremtid, og den kamp skal have borgerne i førersædet. Det er absolut ikke let. Men at opgive at styre udviklingen er at opgive demokratisk selvbestemmelse
_______

Apropos denne artikel:

Lars Struwe: Vance lægger vægten på sikkerhed og frygten for Kina. Om vi kan lide det eller ej – og han har ret

Hvem er vi, hvis vi ikke er venner med amerikanerne? Mikkel Vedby med Jarl Cordua i Lille Land, Hvorhen

Can Dündar: Tyrkiet er på vej mod et fuldt diktatur. Erdoğan ved nemlig, at Europa er villig til at ofre dets værdier for sikkerhed

Grace Blakeley: Der er brug for en genopbygning af den massepolitik, der tillader almindelige mennesker at øve indflydelse på vores økonomiske og politiske institutioner 

Flemming Splidsboel i RÆSONs kommende trykte nummer: Hvad vi mister, hvis Ukraine taber

Øjvind Hesselager: Sådan mistede vi Grønland