Når menings­må­linger blir feil: – Svært alvorlig

Tirsdag denne uka publiserte Avisa Nidaros en oppsiktsvekkende meningsmåling fra Arbeiderparti-bastionen Trondheim. Tallene, som kom fra byrået InFact, viste at Høyre fikk dobbelt så stor oppslutning som Arbeiderpartiet. Ap har styrt byen siden 2003.

Men noe skurret. Få timer senere trakk avisen saken. Tallene viste seg å være helt feil.

Daglig leder i InFact, Lars Helander, gikk raskt ut og tok ansvar for feilen.

Dette var andre gangen på kort tid at Helander måtte ut og beklage. Så sent som fredag forrige uke måtte flere medier med NRK i spissen trekke tall fra en Vestfold-måling gjort av InFact, som også inneholdt betydelige feil.

Da hadde byrået målt en Høyre-tilbakegang på 8,8 prosentpoeng, sagt at borgerlig side hadde mistet flertall i fylket, og at Industri- og næringspartiet (INP) lå på vippen – noe som viste seg å ikke stemme.

– Skyldes feil i vektingen

Ifølge Helander skyldes feilene gal vekting av tallene i målingen.

Les mer om vekting lenger ned i artikkelen!

– Det var en menneskelig feil og det beklager vi. Vi tar dette veldig alvorlig, uttalte InFact-sjefen til Journalisten.

Også NRK tok saken svært alvorlig:

– Det skal ikke skje. Man legger til grunn at tall fra et meningsmålingsinstitutt skal være kvalitetssikret, men vi beklager på det sterkeste å ha publisert noe som ikke er riktig, sa nyhetssjef Richard Aune til fagbladet Journalisten.

NRK har i ettertid meldt at de ikke vil publisere flere meningsmålinger fra InFact før det er gjort en ny gjennomgang. Det samme sier flere andre medier.

Feil på feil

Heller ikke dette var første gang medier har opplevd trøbbel med InFacts målinger. Avisen Kristiansand måtte avbryte en meningsmåling nylig fordi respondentene ikke fikk til å velge partiet de ville stemme på, skriver Fædrelandsvennen.

Ålesund-baserte Sunnmørsposten opplevde også feil tidligere i år. Da hadde InFact glemt at Ålesund skulle splittes fra Haram, slik at målingen om høstens valg ble feil. Feilen gjorde at Sunnmørsposten skrev at Høyre og Frp lå an til rent flertall, noe som ikke var riktig.

VG på sin side droppet InFact som samarbeidspartner allerede i 2018, etter at byrået hadde fått kritikk for å måle feil i forkant av stortingsvalget 2017.

En samling av ulike meningsmålinger, basert på data fra Poll of polls, finner du på polls.faktisk.no.

– Svært alvorlig

– Det er svært alvorlig når meningsmålinger blir feil, og det kan få stor betydning rett før et valg.

Det sier Johannes Bergh som er forskningsleder og leder av Stortingsvalgundersøkelsen ved Institutt for samfunnsforskning.

– Det kan blant annet føre til at de partiene som ser ut til å tape, mister piffen og blir demotivert av dårlige målinger, sier han.

Bergh forklarer at feil ved meningsmålinger fører til at innbyggere og politikere kan få galt inntrykk av hva som er den faktiske situasjonen i den aktuelle kommunen.

– Det kan gi feil informasjon om partienes styrkeforhold, og det er problematisk, sier han.

Sjeldent med dramatiske endringer

Bergh sier at dramatiske endringer ved meningsmålinger, burde vært oppdaget.

– Driver man med meningsmålinger, burde man skjønne at dramatiske målinger kan være feil. Dramatiske endringer skjer sjeldent. Velgere endrer ikke holdninger eller preferanser så raskt. Det skjer gradvis over tid, sier han.

Lars Helander i InFact sier til Faktisk.no at feilene helt klart skulle vært oppdaget.

– Vi kjører desidert flest målinger av byråene i Norge. Vi skulle oppdaget dette, men det skjedde dessverre ikke, grunnet høyt arbeidspress, sier Helander.

InFact har nå satt i gang et arbeid for å sjekke om det også kan være feil i andre målinger. Til Faktisk.no forteller Helander at det så langt ikke er funnet flere feil enn dem som allerede er kjent.

Påvirker mediedekningen

Meningsmålingene påvirker også mediedekningen, forklarer forskningsleder Johannes Bergh.

– Det kan komme saker som kan være til fordel for noen, og ulempe for andre. Det er viktig at målingene er så korrekte som mulig, slik at innbyggerne får så korrekt informasjon som mulig, sier han.

Meningsmålinger utgjør nemlig en stor del av medienes dekning av politikk, ifølge Bergh.

– I en undersøkelse vi gjorde i 2021, fant vi at ti prosent av mediedekningen handlet om nettopp meningsmålinger og det politiske spillet, sier han.

Det kan også hende at noen velger å stemme på parti som ligger godt an i en meningsmåling.

– Det er snakk om veldig små marginer, og vi har ikke dokumentert at velgere lar seg påvirke direkte av dette, sier han.

Mye som spiller inn

InFact bruker en telefonrobot når de kontakter folk. Også dette kan ha betydning for målingene som gjøres.

– Folk kan bli lei av mange oppringninger. Det faktum at det også er en robot i andre enden, og ikke et menneske, kan ha noe å si. Det kan svekke folks tillit til meningsmålingene. Tilbøyeligheten til å svare kan bli mindre over tid, sier Johannes Bergh.

Det er også slik at de som allerede er interessert i politikk, er de som oftest svarer, ifølge Bergh.

– Alle meningsmålinger sliter med å få et representativt utvalg. De som er mest opptatt av politikk, er også mest tilbøyelige til å svare når de blir kontaktet av analysebyråer, sier han.

Lars Helander i InFact er enig i at det å bruke telefonroboter kan slå dårlig ut.

– Det er nok lettere for respondentene å legge på uten å svare når det ikke er et menneske i andre enden.

Samtidig har InFact flere positive erfaringer med å bruke telefonroboter, forteller Helander.

– Vi treffer i større grad unge, som ikke er vant til å snakke i telefonen. I tillegg går det raskere enn et vanlig intervju.

Helander legger også vekt på at telefonroboter kan gjøre at man slipper unna det man kaller intervjueffekt.

– Ikke alle føler seg komfortabel med å svare helt ærlig til en annen på telefonen når de blir spurt om personlige ting. Da kan det være lettere å svare ærlig når man taster svarene inn til en robot, sier Helander.

Hvordan kunne feilene skje?

Helander i InFact forklarer de to seneste feilene med at det har skjedd menneskelige feil i forbindelse med vektingen av svarene. Hva betyr det?

Veldig enkelt forklart betyr vekting at meningsmålerne justerer svarene de får inn etter hvem som deltar, sånn at resultatet skal representere hele befolkningen bedre.

Det kan også forklares litt mindre enkelt:

• En meningsmåling er en undersøkelse som gjøres for å finne ut hvordan en gruppe mennesker stiller seg til ett eller flere spørsmål – i dette tilfellet hvilket parti de vil stemme på. Men man kan rett og slett ikke ringe alle stemmeberettigede i hele Norge og spørre hvilket parti de ville stemt på hvis det var valg i morgen.
• Derfor spør byråene et utvalg mennesker. Utvalget skal gjenspeile hele populasjonen, altså alle de stemmeberettigede. Utvalgene består gjerne av rundt 1000 spurte personer.
• Men: Det er ikke mulig å trekke et tilfeldig utvalg med den samme sammensetningen som resten av befolkningen. Det vil si at en resultatene fra en utvalgsundersøkelse aldri vil kunne speile befolkningen helt. For politiske meningsmålinger er det vanlig å bøte på dette ved å vekte, eller veie, svarene som kommer inn.
• Svarene kan bli vektet for å gjenspeile for eksempel geografi, alder, inntektsnivå og utdanningsnivå i den stemmeberettigede befolkningen. Hvis eldre velgere er underrepresentert i utvalget, vil svarene som er gitt av de eldre velgerne bli tillagt litt større betydning, slik at resultatet bedre representerer populasjonen. Populasjon betyr i dette tilfellet alle med stemmerett i Norge.
• Byråene vekter også etter tidligere valg: Hvis det viser seg at bare tre prosent av utvalget sier de stemte på partiet Venstre ved forrige valg, mens partiet faktisk fikk 5,5 prosent oppslutning, vil hvert svar avgitt av de tidligere Venstre-velgerne i utvalget bli tillagt litt større betydning.
• Slik vekting er ikke noen eksakt vitenskap. De spurte kan svare feil når de blir spurt om hvem de har stemt på tidligere, enten fordi de har glemt det, blander sammen ulike valg, eller fordi de av andre årsaker oppgir et annet parti.
• Byråene justerer for dette, men metodene de bruker kan gi ulike resultater. Det var altså i dette arbeidet at InFact bommet grovt.

Ingen eksakt vitenskap

Er det også andre ting man må vite om meningsmålinger? Ja!

Målingene er upresise

Alle meningsmålinger har feilmarginer, selv om de er utført helt etter boka. Feilmarginene sier noe om påliteligheten til tallene. En vanlig feilmargin for et parti i et partibarometer ligger mellom en og tre prosent. En tommelfingerregel er jo større parti, jo større feilmargin. Dette gjelder imidlertid bare opp til en oppslutning på 50 prosent. Deretter synker feilmarginen.

Det betyr at hvis Høyre måles til 22,5 prosent oppslutning med en feilmargin på 2,5 prosentpoeng, er de egentlig antatt å ligge et sted mellom 20 og 25 prosent.

Målingene kan bomme helt

I meningsmålinger er det vanlig å regne med et konfidensintervall, altså en sannsynlighetsgrad, på 95 prosent.

Det betyr at det er 95 prosent sjanse for at den faktiske oppslutningen per parti ligger et sted innenfor feilmarginen. Målinger treffer altså virkeligheten 19 av 20 ganger, innenfor et oppgitt slingringsmonn. I 1 av 20 tilfeller bommer målingen, statistisk sett.

Feilmarginen blir mindre jo større utvalget er.

Utvalgsskjevhet kan ødelegge

Når man setter sammen et utvalg prøver man å gjøre det så representativt som mulig. Det er for eksempel dumt å spørre bare lærere eller bare sykepleiere når man skal sjekke hva en hel populasjon vil stemme ved valget. Men noen ganger er skjevhetene vanskeligere å unngå.

Hvis man samler inn svar via internett kan man ekskludere folk som ikke mestrer ny teknologi. Bruker man telefon kan man ekskludere alle dem som er for travelt opptatt til å svare akkurat når byrået ringer. Bruker man et vanskelig språk i spørsmålsstillingen kan man risikere at innbyggere med annet morsmål ikke svarer.

Vektingen prøver å korrigere for skjevheter, men det er ikke alltid lett å se skjevhetene man må korrigere for. Et eksempel på dette fikk vi i 2016, da meningsmålingene sa at det var fra 70 til 99 prosent sikkert av Hillary Clinton ble USAs første kvinnelige president. Det viste seg som kjent å bli en enorm bommert. Forskere og byråer er fremdeles ikke helt enige om hva som gikk galt.