Hvor godt traff egentlig målingene og tallknu­serne?

Meningsmålinger har vært en sentral del av årets valgkampdekning. I etterkant av de to seneste amerikanske presidentvalgene, mente mange at meningsmålingene ikke hadde truffet godt nok.

I denne artikkelen skal vi se nærmere på hvor godt våre hjemlige meningsmålinger har truffet. Vi skal også se nærmere på hvor godt prediksjonene til Estimite og Norsk Regnesentral traff.

Meningsmålinger og valgresultatet

Først skal vi sammenligne snittet av målingene like før valget (én ukes glidende snitt) med valgresultatet. For å finne snittet av de siste målingene har Faktisk.no brukt vårt eget partibarometer, som henter data fra Poll of polls. Faktisk partibarometer (polls.faktisk.no) kan bygges inn av alle som måtte ønske det på sine egne nettsider.

Når denne artikkelen publiseres, har alle stemmene gått gjennom en foreløpig opptelling, mens 99,8 prosent av stemmene er gjennom kontrolltellingen. Du kan lese mer om opptellingen på Valgdirektoratets nettsider.

Slik ser valgresultatet ut sammenlignet med snittet av målingene den siste uken før valget:

Som grafikken viser, er ikke forskjellene store mellom snittet av målingene og det endelige valgresultatet. Forskjellen er størst for SV og Ap. Ap gjør det 2 prosentpoeng bedre enn målingene tilsa, mens SV gjør det 1,5 prosentpoeng dårligere.

I snitt er den absolutte forskjellen mellom valgresultatet og målingene på 0,73 prosentpoeng per parti.

Faktisk.no har valgt å runde av valgresultatet til nærmeste desimal i denne artikkelen. Det er fordi både Estimite og Norsk Regnesentrals prediksjoner også er oppgitt med én desimal.

Tallknuseren og valgresultatet

Jørgen Bølstad er førsteamanuensis i statsvitenskap ved Universitetet i Oslo (UiO), og står bak meningsmålingsprosjektet Estimite.

Estimite samler opp meningsmålinger via Poll of polls, og benytter en prediksjonsmodell som estimerer valgresultatet basert på nye og gamle målinger, såvel som tidligere valgresultater.

Slik klarte Estimite seg sammenlignet med det faktiske valgresultatet, når vi ser på oppslutning i prosent:

I likhet med snittet av målingene, er Estimites avvik også størst for Ap og SV, med henholdsvis 1,6 og 1,4 prosentpoeng. Også her ligger Ap for lavt, mens SV ligger for høyt.

Estimite traff litt bedre enn snittet av de seneste målingene. I snitt «bommet» modellen med 0,69 prosentpoeng per parti.

Det er verdt å merke seg at Estimite rapporterer feilmarginer. SV var det eneste partiet som (marginalt) havnet utenfor denne marginen. SVs predikerte oppslutning var oppgitt som et intervall fra 7,7 til 10,1 prosent.

Valgresultatet for partiet ser ut til å ende på 7,6 prosent.

Slik klarte Estimite seg sammenlignet med det faktiske valgresultatet, når vi ser på antall mandater:

Her er det mest dramatiske utslaget at MDG akkurat havnet under sperregrensen. I snitt bommet modellen med 1,5 mandater per parti.

Regnesentralen og valgresultatet

Norsk Regnesentral gjorde også prediksjoner om valgresultatet på vegne av Aftenposten. Aftenposten har skrevet mer om hvordan deres modell fungerer i denne artikkelen.

Slik ser den siste beregningen før valget ut sammenlignet med valgresultatet:

Også her ble SV spådd for høyt (1,1 prosentpoeng), mens Ap ble spådd for lavt (1,3 prosentpoeng).

Når det gjelder oppslutning kom Norsk Regnesentral nærmest valgresultatet, med et gjennomsnittlig avvik på 0,57 prosentpoeng per parti i forhold til valgresultatet.

Slik klarte Norsk Regnesentral seg, når vi ser på antall mandater:

Mens Norsk Regnesentral traff best på oppslutningen i prosent, var det Estimite som traff best på antall mandater. I snitt bommet Norsk Regnesentral med 2,2 mandater, mot Estimites 1,5 mandater.

Hovedbildet er at det er jevnt mellom de to modellene, og det gir neppe mening å kåre én av modellene til den beste, kun basert på ett valg.

Ikke overrasket over resultatet

Forsker Bølstad er ikke overrasket over at ett av partiene endte med en oppslutning utenfor feilmarginen.

– Jeg anga 90 prosents prediksjonsintervaller, som vil si at man over tid må regne med at et parti havner utenfor intervallet i 10 prosent av tilfellene. Når ett av ti partier i dette valget havner omtrent 0,1 prosentpoeng utenfor intervallet, vil jeg si at nivået på usikkerheten i prediksjonene er ganske riktig, sier Bølstad til Faktisk.no.

Det er flere ting som det må tas høyde for, når det lages modeller som forsøker å «spå» fremtiden. Når du sammenligner siste prediksjon som ble gjort før valget, med valgresultatet, dreier det seg mest om hvor godt målingene treffer og hvor skjeve de eventuelt er, forklarer Bølstad.

– Jeg har forsøkt å estimere skjevhetene til instituttene, og det har nok forbedret resultatene litt. Men det blir aldri helt perfekt, sier han.

Justerer partier opp og ned

Under årets valg ble Ap tippet for lavt og SV for høyt, både på snittet av målingene, av Estimite og Norsk Regnesentral. Bølstad forteller at disse utslagene trolig skyldes en kombinasjon av systematiske og tilfeldige mønstre. Et systematisk mønster innebærer at et bestemt parti generelt overvurderes eller undervurderes på målingene.

– Hver gang det er betydelige avvik, blir det et spørsmål om det er noe man kunne fanget opp eller ikke. Jeg forsøker å estimere de systematiske skjevhetene, og det gjør også Norsk Regnesentral, så vidt jeg forstår, sier Bølstad til Faktisk.no.

Flere tvilsomme aktører i USA

Etter de amerikanske presidentvalgene i 2016 og 2020 ble upålitelige meningsmålinger mye diskutert. I Norge har ikke dette preget diskusjonen på samme måte. Bølstad tror datakvaliteten kan være bedre i Norge, kanskje som følge av at flere folk svarer meningsmålerne.

– Jeg tror også vi har færre meningsmålingsinstitutter som holder lav kvalitet. En del institutter i USA har velkjente skjevheter, og noen gjennomfører undersøkelser som er tvilsomme. I Norge er de fleste instituttene pålitelige, og gjør en god jobb, sier han.

I USA er det også mange delstatsmålinger som trekker ned kvaliteten.

– Det er et mønster i USA at målinger på nasjonalt nivå holder høyere kvalitet enn målinger på delstatsnivå. Vi ser noe av samme i Norge også. Jeg har valgt bare å bruke nasjonale målinger. Det blir ryddigere å modellere, og jeg har inntrykk av at resultatene blir bedre, sier Bølstad.