I februar glødede en offentlig debat mellem analyseinstituttet Megafon og en række forskere fra Statskundskab. Her blev der samtidigt åbnet op for en diskussion af forholdet mellem god videnskabelig praksis og markedets behov for hurtige analyser. Er konkurrence og kvantitativ forskning en kombination, vi bør være bekymrede for?
Af Katrine Bundgaard Schow Madsen
Den 28. januar 2016 befandt den politiske kommentator og tidligere minister Hans Engell sig i studiet hos TV2-News. Han bar sine karakteristiske runde briller og var iført et gråt jakkesæt, som han havde sammensat med et stribet slips med gule og blå farver. Bag ved ham lyste der en grafik med Christiansborg op, og han talte med sin vanelige patos om det politiske klima. At Hans Engell befandt sig i studiet var ikke noget unormalt. Han havde været en velbenyttet politisk kommentator, siden han meldte sig ud af det Konservative Folkeparti i 2000. Årsagen var derimod lidt speciel.
Tidligere samme dag havde analyseinstituttet Megafon frigivet en meningsmåling, som virksomheden havde foretaget for TV2 og Politiken. Målingen viste, at Socialdemokraternes opbakning var gået tilbage med 7 procentpoint i forhold til Folketingsvalget for under et år siden. Den viste samtidig, at en væsentlig årsag til tilbagegangen var de adspurgte danskeres utilfredshed med Socialdemokraternes flygtningepolitik. To dage før havde Socialdemokraterne, med undtagelse af et par enkelte oprørske folketingsmedlemmer, været med til at vedtage den omstridte ’smykkelov’. For Hans Engell lå tolkningen lige til højrebenet: De socialdemokratiske kernevælgere var utilfredse og var begyndt at hoppe til Alternativet.
Mens store dele af Mediedanmark faldt på halen over at komme først med BREAKING-bannere og dommedagsprognoser, var der også dem, som mente, at en så stor tilbagegang for det største oppositionsparti var utrolig i ordets bogstaveligste forstand. I Politikens digitale avisspalter udspillede der sig de følgende dage et forholdsvist civiliseret skænderi med offentligheden som tilskuer. Forskere fra Københavns Universitet kritiserede åbent Megafons analyse og betvivlede dens metodiske korrekthed. Samtidigt kritiserede de analyseinstituttet for at være for lukket. Megafon forsvarede sig med, at deres ekstreme måling ramte ned i en tilsvarene ekstrem folkestemning skabt af en opsigtsvækkende asyllov.
Hvad sker der, hvis målinger er forkerte?
Hvorvidt Megafons analyse var korrekt eller ej, er ikke nødvendigvis det væsentligste ved denne diskussion. Hvis målingen var rigtig, så bidrog den til den politiske diskussion om asylpolitikken. Men hvis målingen nu var forkert, er det så et problem? Eller betyder det ikke noget, da de fleste alligevel har glemt det om en uge?
Det måske mest ekstreme eksempel på, hvor store konsekvenser der kan være ved forkert brug af kvantitativ målinger, udspillede sig for øjnene af nationen og rullende kameraer på valgdagen for kommunalvalget i 19. november 2013, da Epinions exitpolls fik daværende statsminister Helle Thorning-Schmidt til fejlagtigt at undskylde for et dårligt valg.
Mens eksemplet med Epinions exitpolls er ekstremt og tenderende til det komiske, viste et arbejdspapir, som Center for Valg og Partier på Statskundskab offentliggjorde i foråret 2014, at meningsmålinger ikke bare er ligegyldige tal. Centeret, som blandet andet er drevet af Kasper Møller Hansen og tidligere nævnte Martin Vinæs, havde foretaget en undersøgelse, der viste, at vælgere ændrer deres stemmer efter, hvordan meningsmålinger ser ud og særligt efter, hvilke partier som går frem. Ud fra et foucauldiansk synspunkt kan meningsmålinger derfor udgøre en art vidensmagt, som kan påvirke vælgernes beslutning, selvom de måske ikke er klar over det.
Afgørende for den politiske dagsorden
Netop fordi meningsmålinger ikke er ligegyldige, ser Martin Vinæs det som en vigtig opgave for forskere i samfundsvidenskabelig metode at stille spørgsmålstegn ved undersøgelser, som måske – eller måske ikke – er metodisk usikre.
”Meningsmålinger har en konsekvens for vælgerne, og de kan samtidigt være styrende for den politiske diskurs og være med til at sætte en politisk dagsorden,” fortæller han, da MED ANDRE ORD møder ham på hans kontor på Institut for Statskundskab. Han har tidligere offentligt kritiseret andre analyseinstitutter som Epinion og YouGov, og i takt med, at meningsmålinger er blevet en integreret del af nyhedsbilledet, mener han, at udviklingen er en dobbeltsidet gevinst. På den ene side er der større sandsynlighed for at få mere korrekte målinger, når der er flere af dem, og måleinstrumenterne er bedre. Omvendt er der større sandsynlighed for, at offentligheden møder målinger, som er mere ekstreme.
”Medierne vil i højere grad også kunne bruge de målinger, som passer til deres historie, og til den virkelighed, som de gerne vil se,” forklarer Martin Vinæs.
Når Martin Vinæs finder det vigtigt at stille spørgsmålstegn ved meningsmålingerne, kan det samtidigt også have noget at gøre med, at der inden for analysebranchen ikke er nogle direkte branchekrav eller kontrolinstans. Hvert enkelt institut sætter i høj grad selv standarden for sine metoder, og hvor meget information der er offentligt tilgængeligt om dem. Så hvordan kan man være sikker på, at en undersøgelse eller en meningsmåling er udviklet metodisk korrekt?
Den metodiske ’black box’
Et af de kritikpunkter, som analyseinstituttet Megafon fik skudt i skoene af forsker Martin Vinæs, var netop manglen på åbenhed om metode og praksis. Transparens er som bekendt en vigtig grundpille i enhver form for forskning, da gennemsigtighed sikrer muligheden for kritisk gennemgang af fremgangsmåden. Så hvordan kan man bedrive samfundsvidenskabelig forskning uden det?
MED ANDRE ORD møder Megafons administrerende direktør Asger H. Nielsen på analyseinstituttets kontor på Frederiksberg. Ifølge Asger Nielsen må offentligheden og en forsker som Martin Vinæs acceptere, at en stor analysevirksomhed som Megafon ikke deler fuldstændig ud af deres metodiske fremgangsmåde, da der ifølge ham derved er mulighed for, at andre firmaer vil foretage ”en dårligere udgave af Megafons arbejde”.
”Vi er klar på at have åbne, metodemæssige diskussioner, men vi har en ’black box’, som vi ikke ønsker at dele med nogen,”, fortæller han og understreger, at han på ingen måde ser Megafon som en lukket virksomhed, men at den samtidig må tage hensyn til det konkurrenceprægede marked.
”Hvis vi sagde præcis, hvad vi gjorde, ville det svare til, at man ville have en Michelin-kok til at afsløre en opskrift,” afslutter han.
Når det er markedshensynet, som er den afgørende faktor for, at et analyseinstitut vælger ikke at offentliggøre al deres data, hvordan kan man så være sikker på, at der netop ikke er snydt på vægten, sådan som blandt andre Martin Vinæs stillede spørgsmålstegn ved?
”Vi er det, der hedder ISO-certificerede, og vi er et af de mest brugte analyseinstitutter,” fortæller han og fremhæver, at når Megafon leverer analyser både til store medievirksomheder som Politiken og TV2 samt mange andre kommercielle kunder, så viser det, at der er tillid til Megafons fremgangsmetoder.
Udbud og efterspørgsel
Når Asger H. Nielsen beskriver et konkurrencepræget marked, er det på ingen måde taget ud af det blå.
Epinion, Megafon, Gallup, YouGov, Voxmeter og Greens er blot nogle af de virksomheder, der udgør det danske landskab af analyse- og målingsinstitutter, og som i princippet konkurrerer om det samme marked inden for både politiske og kommercielle analyser.
Christian Stjer, administrerende direktør i den konkurrerende analysevirksomhed, Voxmeter, kan ligesom den administrerende direktør for Megafon nikke genkendende til det hårde marked. Han oplever eksempelvis, at det har fået nogle analysevirksomheder til at gøre brug af såkaldt selvtilmelding. Det består typisk i, at der er et banner eller en art pop-up reklame på en hjemmeside, hvor internetbrugeren har mulighed for at deltage i en undersøgelse. Metodisk kan der være en række problematikker med denne fremgangsmåde: Det er svært at vide, hvem disse brugere er; man kan i princippet svare flere gang på én undersøgelse; og der kan være en bias i ikke blot, hvem der svarer, men også hvem der befinder sig på de pågældende hjemmesider. Omvendt kan de sikre et stort antal respondenter, og det er muligt at indsamle en stor mængde data på kort tid. Kommercielt kan det derfor være en række fordele ved denne metode, men der kan omvendt stilles spørgsmålstegn ved den metodiske og forskningsmæssige integritet.
Problemet er ifølge Christian Stjer ikke så meget, at visse analyseinstitutter føler sig ’fristede’ til at bruge denne metode, som han beskriver det, men derimod den manglende åbenhed om det.
”Den manglende åbenhed gør, at det er svært at forholde sig kritisk til de analyser, som bliver lavet på denne metode, og det er især et problem, når journalister bruger dem uden at vide, hvad der ligger bag,” siger han.
Samme standard, samme kvalitet?
Når der er så mange analyseinstitutter at vælge fra og så få branchekrav til virksomhederne, så giver det god mening, at Megafon vælger at fremhæve virksomhedens ISO certificering, som også står nævnt flere steder på firmaets hjemmeside. Men er denne certificering nok i sig selv?
Ud over Megafon er det kun Gallup af de danske analysevirksomheder, som har en ISO certificering. ISO certificeringen foretages af den amerikanske International Organization for Standardization – en verdensomspændende og indflydelsesrig standardiseringsorganisation. Den certificering, som Asger H. Nielsen gør opmærksom på, er den såkaldte ISO 20252, som er specifik for markedsanalysevirksomheder og indeholder en række minimumskrav til analyseinstitutter. Men er det så ikke det branchespecifikke kvalitetskrav, som både Voxmeter og Martin Vinæs taler om, der én gang for alle kan sikre, at der er ens krav for analysevirksomhederne og kan sikre ens metodiske standarder?
Noget tyder dog på, at det ikke er så enkelt.
Selvom Megafon og Gallup begge har denne ISO-certificering, betyder det ikke, at de har ens definition af, hvad god metode er. Som nævnt er ’selvtilmelding’ en kontroversiel metode inden for samfundsvidenskabelig analyse, og Megafon slår også fast over for MED ANDRE ORD, at de ikke accepterer denne metode. Omvendt kan det læses på Gallups hjemmeside under fanen ’Online Panel kvalitet’, at analysevirksomheden også rekrutterer respondenter via forskellige online-kanaler såsom internetbannere, altså selvtilmelding. Selvom ISO 20252 certificeringen givetvis er en vigtig indikator for kvalitet, betyder det dog ikke, at analysevirksomhederne, som har denne mærkning, også har samme metodiske standarder. Og hvilken chance har man så som borger, vælger eller politiker for at gennemskue, hvordan de tal, der florerer i et TV-show med Hans Engell, er blevet til?
Hvad er mediernes rolle?
For langt de fleste borgere kan debatten om ISO’er, selvtilmelding og validitet virke ganske uvedkommende. Kvantitativ metode er svært, det er teknisk, og det egner sig ikke til hurtige artikler i frokostpausen. Omvendt er de politiske analyser, som eksempelvis Hans Engell fremfører i TV2 News, en uundgåelig faktor i den politiske diskussion anno 2016. Når det både er medierne, som efterspørger og anvender politiske undersøgelser, hvad er så deres ansvar for at sikre analyserne både er udført korrekt og ikke mindst formidlet og tolket korrekt i deres spalter?
Per Michael Jespersen, cand.scient.pol og debatredaktør på Politiken, står for Politikens samarbejde med Megafon, som han understreger, han har stor tillid til: ”Det er oftest dem, som rammer mest rigtigt med deres målinger”, fortæller han i et telefoninterview med MED ANDRE ORD. Det bør respekteres, mener han, at Megafon ikke kan operere helt åbent med deres metode. Han er samtidigt bevidst om, at medierne har et ansvar for deres brug af målinger, hvilket også er grunden til, at Politiken vælger at trykke både Martin Vinæs’ og Megafons kritiske indlæg.
”Alternativet er, at man skal holde den viden om samfundet tilbage, men det, synes jeg, heller er optimalt”.
Der er dog ingen indikatorer på, at brugen af meningsmålinger skulle være nedadgående. Per Michael Jespersen fortæller, at især internettet er grunden til, at det er blevet billigere, hurtigere og nemme at foretage meningsmålinger, og at antallet af dem er steget de sidste 10 år.
At meningsmålinger er en fast del af det politiske landskab betyder sandsynligvis også, at det langt fra er sidste gang, at der bliver stillet spørgsmålstegn ved en måling. Men er det et problem, at kun en lille del af befolkningen besidder den metodiske viden, der tillader dem at være kritiske, mens meningsmålingerne skaber den politiske virkelighed for mange andre?