04.01.2017

Interview af Andreas Terp (fra RÆSON28).

Da vækkeurene ringede i Europa onsdag den 9. november, fik de fleste sig noget af en overraskelse. I USA havde målingerne aldrig været i tvivl om en Clintonsejr. Hos anerkendte RealClearPolitics, der laver et aggregeret indeks af alle de store målinger, havde Trump kun været i spidsen en enkelt gang, små tre uger før valget. Også i flere delstater tog målingerne fejl. I Missouri var der en forskel mellem målinger og resultat på 10 pct., og i Wisconsin stod Clinton til at vinde med 6 pct. – i stedet tabte hun med 1 pct. Selv en af de mest anerkendte amerikanske meningsmålingsnørder, Nate Silver, som ellers plejer at ramme ganske præcist, skød forbi trods et relativt konservativt estimat på 75 pct. sandsynlighed for Clintonsejr. Det var ikke første gang, at meningsmålingerne ramte så spektakulært ved siden af. I Danmark så vi ved sidste valg Dansk Folkeparti blive markant større, end målingerne havde forventet. I Storbritannien så eksperterne måbende til, da vælgerne stemte dem ud af EU. RÆSON har talt med professor Peter Kurrild-Klitgaard, professor Rune Stubager og ph.d.-stipendiat Martin Vinæs Larsen.

RÆSON: Peter Kurrild-Klitgaard, professor i statskundskab, Københavns Universitet, når nu meningsmålingerne har ramt så forkert både ved valget i Danmark, ved Brexit og senest ved valget i USA, var det så ikke bedre, at vi helt droppede den slags målinger?

KURRILD-KLITGAARD: Jeg mener, at præmissen for spørgsmålet er forkert. Målingerne tog ikke fejl. Hvis vi starter ved folkeafstemningen i Storbritannien, så ramte ca. ¾ af de målinger, der blev taget i de sidste dage op til afstemningen, rigtigt inden for den statiske usikkerhed. Det, Brexit-målingerne viste, var, at det ville blive tæt, og det blev det. Det samme så vi i USA. De nationale målinger var jo ganske gode. De viste, at Clinton ville få flest stemmer, og det fik hun. I forhold til valgresultatet ramte de målinger også inden for den statistiske usikkerhed og havde ikke en større fejlmargin, end man så i fx 2012 eller normalt ser.

I forhold til Dansk Folkepartis overraskende valgresultat, så var det noget, jeg kiggede ret indgående på ved den lejlighed. Hvis man tager gennemsnittet af meningsmålingerne op til valget 2015, så havde de jo stort set alle partier korrekte – bortset fra DF. Så der var ét parti, der var undervurderet i målingen, men her var forskellen jo ikke engang så stor. Det var jo ikke 10 procentpoint eller lignende, det drejede sig om. Der var en systematisk tendens til at undervurdere DF, men det var ud fra en rimelig fejlmargin. Så der er ikke noget galt med meningsmålinger. I al fald ikke systematisk og generelt.

Der, hvor der er nogle fejl i forbindelse med USA-valget, og der, hvor folk bliver overraskede, er, når man går ned og kigger på delstatsmålingerne og lægger det sammen med valgmandsstemmer. Der var der en række svingstater, hvor Clinton lå til en snæver sejr og endte med at tabe til Trump. Men i de fleste af de seks stater, som der var tale om, var forskellen inden for den statistiske usikkerhed – ikke alle enkeltmålinger, men gennemsnitligt.

Der synes dog at have været en systematisk relativ undervurdering af Trump i nogle af de her specifikke delstater. Det var ikke, fordi han fik mange stemmer. Han fik ikke flere stemmer end Romney og McCain gjorde henholdsvis i 2012 og 2008. Det var derimod Clinton, der i sidste ende fik færre stemmer, end Obama gjorde de pågældende år. Det tyder på, at nogle af de lokale delstatsmålinger har været dårlige. Mange meningsmålingsfirmaer gør det, at de prøver at vægte de svar, de får, således at de minder mest muligt om deres antagelser om vælgerkorpsets sammensætning. Og der kan man gætte på, at de måske har overvurderet, hvor mange unge og hvor mange minoritetsvælgere der ville være. Så der er nogle enkelte delstater – svingstater – hvor målingerne ramte meget og systematisk forkert, men i det store billede var de ret få, og de var inden for den statistiske usikkerhed.

RÆSON: Det, der synes at være delmængden for de her målinger, er, at der er én bestemt gruppe, de ikke opfanger – hvide mænd uden videregående uddannelse. Hvorfor har man så svært ved at måle på dem?

KURRILD-KLITGAARD: Der spreder sig en myte om, at der er nogle vælgere, der lyver, når de bliver spurgt. Dem har man kaldt ’Shy Tories’ og ’Shy Trump Voters’, og herhjemme siger vi det om DF’s vælgere. Der er stort set ingen forskning, der peger på, at det skulle være rigtigt. Men der er adskillige andre logiske forklaringer.

En af mulighederne er, at de pågældende vælgergrupper simpelthen kommer ud og stemmer i større omfang end ventet. Det er svært for meningsmålingsfirmaer at finde ud af, hvor motiveret en bestemt vælger eller en bestemt vælgergruppe er. Altså hvor sandsynligt det er, at de faktisk kommer ud og stemmer. Specielt i lande, hvor valgdeltagelsen er lav, er meningsmålingsfirmaets vurdering af, om vælgeren faktisk kommer ned og stemmer, vigtig. Ellers får man et fejlskøn. Jeg gætter på, at de, der var modstandere af britisk EU-medlemsskab, var mere tændte end dem, der var på remain-siden. Og jeg gætter på det samme med DF’s vælgere ved sidste valg, men vi ved det ikke. Mange af de her ting er meget svære at bevise efterfølgende, fordi det ville kræve, at man er i stand til at observere vælgerne, mens de stemmer.

RÆSON: I Frankrig er de begyndt at snakke om at vægte tilslutningen til Front National anderledes – skal vi bare konsekvent smide nogle ekstra procent oveni, når vi måler på højrefløjen?

KURRILD-KLITGAARD: Hvis det skal gøres ordentligt, så skal man have et estimat af, hvor stor fejlen er, inden man gør det. Og det er jo ikke helt ligetil. Uanset hvordan man gør det, så er det ikke videnskab – det er i bedste fald håndværk. Så de resultater, man får, er ikke sikkerheden selv.

Kan vi fortsat bruge meningsmålinger?
Der er ikke noget, der tyder på, at fejlene i meningsmålingerne har været større de senere år, end de ellers har været. RealClearPolitics’ opgørelse af deres egne målinger fra det amerikanske valg viser, at differencen mellem målinger og resultat faktisk var mindre i 2016 end ved valget i 2012. Heller ikke når man kigger på svingstaterne, er der noget nyt under solen: Valgene 2016 og 2012 havde lige så præcise målinger.

Så hvorfor var man så sikre på, at Clinton ville vinde, at Storbritannien ville blive i EU, og at DF ikke ville blive så store? Professor Rune Stubager peger på, at selvom meningsmålingerne er gode nok, så bruger medierne dem for rundhåndet og for ukritisk.

RÆSON: Rune Stubager, professor i statskundskab, Aarhus Universitet, er det forsvarligt at bruge meningsmålinger i medierne, når der er så stor usikkerhed forbundet med dem?

STUBAGER: Så længe man husker, at der er usikkerheder forbundet med dem, så er det jo godt nok. Men de her data, som målingerne kommer med, er ikke mejslet i sten, og når der kommer så mange målinger over en kort periode, som ikke viser de samme resultater, så er det jo en understregning af, at den enkelte måling ikke er sandhed. Hvis man har en sund kritisk tilgang til det, så kan det da være udmærkede oplysninger, og sker der klare bevægelser, så vil målingerne typisk også opfange dem – fx at DF har tabt tilslutning siden sagen om EU-midler. Så de kan bruges til at give et praj om, hvordan vælgerhavet ser ud. Men man skal passe på med at bruge dem for bogstaveligt og tolke på små ændringer måned for måned, for det er typisk ikke signifikant. Så man skal være opmærksom på, at der kan være problemer med dem, men det er jo problemer, som meningsmålingsinstitutterne arbejder på at løse. Det bedste i den forbindelse ville være, hvis meningsmålingsinstitutterne lagde deres forskellige metoder frem, så vi havde mulighed for at undersøge, hvordan de kommer frem til de specifikke tal. Det ville give os en langt bedre viden om, hvor sikre vi kan være på dem.

RÆSON: Flere debattører har foreslået, at man helt bør holde op med at bruge meningsmålinger i medierne. Tror du, det vil ske?

STUBAGER: Nej, lad os nu se. Det er jo billig journalistik, der kan laves på baggrund af dem, og der kan blive en del artikler ud af sådan en. Det er medierne, der skal vurdere, hvad de vil bringe. Jeg vil fortsat læse de målinger, der kommer frem, men jeg tager dem ikke som udtryk for den endegyldige sandhed. Men det ville muligvis være fint nok, hvis der blev bragt lidt færre, end det lige nu er tilfældet. Der er nok en udfordring for medierne med at få ’dét med småt’ med. De har problemer med at huske, at der er en statistisk usikkerhed, da den ødelægger mange af de historier, de gerne vil skrive. Vi kan i den forbindelse heller ikke nødvendigvis bruge enkelte målinger til så meget. Det er mere interessant at se på tendensen på tværs af flere målinger.

Journalister vil utrolig gerne have, at man kommenterer på en ny måling med et stort udsving, men hvis der ikke er sket noget specifikt, der får den måling til at give mening, så er det ikke noget, vi nødvendigvis kan stole på. Jeg har muligheden for at lade være med at kommentere på dem, men mediehusene er jo gift med diverse meningsmålingsinstitutter og laver selvfølgelig journalistik ud fra dem. Det er jo det, deres redaktør har betalt for. Og det kan stramme konklusionerne og give et misvisende billede.

RÆSON: Martin Vinæs Larsen, ph.d.-stipendiat, Københavns Universitet, hvordan forstår og bruger man meningsmålinger bedst muligt?

VINÆS LARSEN: Problemet er, at mennesker er dårlige til at forstå sandsynligheder. Når Nate Silver fra FiveThirtyEight siger, at der er 75 pct. chance for, at Clinton bliver præsident, så tror alle, at det nærmest er sikkert. Men ting, der kun sker med 25 pct. sandsynlighed, sker altså ret ofte. Der er ca. 75 pct. chance for at score på straffespark i fodbold, men det gør det jo ikke umuligt, at man brænder. Kigger vi på Brexit og USA, så har målingerne sagt, at det ville blive tæt, og det blev det. Men fordi medierne, eksperterne og meningsdannerne mener, at det er usandsynligt, at Trump vinder, eller Storbritannien forlader EU, så bliver det til umuligheder i den offentlige debat.

Vi skal være bedre til at kommunikere, at meningsmålinger er et usikkert værktøj, men de er bestemt ikke ubrugelige. Vi kan ikke med garanti vurdere fremtiden med dem, men de kan give et godt praj om, hvad vi skal satse på. Hvis jeg var en politisk lobbyist, og målinger sagde, at der var 75 pct. chance for, at Clinton ville vinde, så ville jeg 75 pct. af tiden forberede mig på en Clintonregering og 25 pct. af tiden på en Trumpregering. Men det har man ikke gjort. Og specielt ikke i forhold til Brexit. Selvom der var næsten 50 pct. chance for, at det ville blive Leave, har regeringen ikke lavet en plan for, hvad man ville gøre i det tilfælde. Dét er i hvert fald ikke målingernes skyld.

ILLUSTRATION: Hillary Clinton dagen efter nederlaget til Donald Trump, november 2016 [foto: Matt Rourke/AP/Polfoto]

Andreas Terp (f. 1992) er kandidatstuderende i analytisk journalistik. Han har en bachelor i statskundskab fra Københavns Universitet og en bachelor i filosofi fra Københavns Universitet og Université Paris-Sorbonne.