En kommentar om meningsmålinger og feilkilder

Norge er et land der mennesker har penger å rutte med. Hver måned kommer det sju-åtte meningsmålinger som viser partisympatier foran neste stortingsvalg (i tillegg til de avisene som bestiller meningsmålinger til kommune- og fylkestingsvalget eller lokale målinger til stortingsvalget). En illvillig sjel kunne tenkt at noen av de summene som avisene blar opp for å få meningsmålinger, kunne vært bedre spendert på annen journalistikk. I mai i år (2014), tre år og fire måneder før neste stortingsvalg, kom det hele ti målinger, for eksempel. Som om de skulle påvirke utgangen av 2017 års valg. Men det er selvfølgelig en vurdering redaksjonene selv får foreta seg.

Jeg har gått igjennom målingene de første seks månedene i år – totalt har det kommet 50 meningsmålinger. Én av dem angir ikke antall spurte (noe som gjør det umulig å regne ut feilkilder, en stor svikt i mine øyne).

Et mål på resultater av statistikk (for det er det meningsmålinger er i bunn og grunn, statistikk) er svarsprosent. Et annet er om resultatene er statistisk signifikante, altså over eller under feilmarginen. I 24 av de 49 målingene fra januar til juni skjedde det signifikante endringer for minst ett parti. Tre av disse 24 igjen var det «Andre partier» som hadde signifikante endringer, men MDG hadde det ikke (noe som betyr at det var Pensjonistpartiet, Kystpartiet ++ som hadde stor oppgang eller nedgang). Totalt er det altså i 21 tilfeller som man med sikkerhet kan si at et av dagens stortingspartier eller Rødt har gått opp eller ned i oppslutning. I de andre tilfellene (25 målinger) er det faktisk umulig å si. Det er altså omlag halvparten av alle målinger (50 %).

April var en spesiell måned. Vanligvis viser rundt halvparten av målingene signifikante forskjeller, men i april 2014 var det bare én måling – Opinion for ANB – som viste endringer. Det var attpåtil en oppgang for MDG (Ipsos for Dagbladet viste en klar nedgang for Andre partier, men det går ikke å regne ut hvordan det gikk for MDG). Hvordan skrev så media om disse målingene, der en i praksis ikke kan si stort om endringene fra mars?

«Velgerne straffer Senterpartiet ved å sende dem under sperregrensen«, skrev NRK. Sp fikk 3,9 % (-0,8), men feilmarginen var 1,2 %. Nedgangen på 0,8 % var altså ikke statistisk sikker, og i praksis kunne Sp havnet mellom 2,7 og 5,0 %. Likevel den bombastiske overskriften (som får sette premisset for artikkelen, selv om hovedfokus var på den relevante og pågående lederstriden i partiet). I TV2s artikkel som beskrev deres meningsmåling, fikk Ap og Jens Stoltenberg spørsmål om velgerflukt og om usikkerheten hos velgerne, fordi partiet for første gang på flere måneder ikke fikk oppgang, men nedgang (-2,2 %). Feilmarginen var 3,0 %. Statistisk sett er dette ikke en klar tilbakegang, selv om dette sies i artikkelen. Aftenposten skrev at «Audun Lysbakken ser 2-tallet«, selv om oppslutningen på 2,9 % hadde en feilmargin på 1,0 % (og derfor lett kunne vært på 3-tallet, som måneden før). Det som derimot er sant, er at det var statistisk sikkert at SV på Aftenpostens måling ville havnet under sperregrensen. På grunn av feilmarginene skjer det ikke så ofte, men det ble ikke nevnt i artikkelen med ett ord.

Også VG («Høyres verste måling siden 2011«, der for øvrig InFact selv sier at tallene er innenfor feilmarginen, men dette ikke gjenspeiles i innledningen) og Vårt Land spiller på opp- og nedganger som ikke er statistisk sikre (selv om VL har en klart mer nøktern tilnærming til målingen og heller fremhever partilojalitet). Dagbladet hadde ikke nettsak på sin meningsmåling – som ikke er veldig overraskende ettersom det ikke var mulig å hente noen nyhetsverdige opp- eller nedganger fra undersøkelsen, med unntak for «Andre partier». Opinions måling ble gjort for et nyhetsbyrå – som resulterte i en rekke mindre artikler som stort sett bare listet opp de faktiske tallene (dóg uten å nevne at bare MDG hadde en klar opp- eller nedgang over feilmarginen). Det er en mer lavmælt måte å rapportere på som kanskje ikke er så ueffen.

Nå er dette bare et utvalg av nettsaker som aviser og mediehus har gjort på meningsmålinger uten noen statistisk signifikans. Felles er at de politikerne som blir spurt, ofte svarer og blir sitert på at «det svinger mye», eller «det går opp og ned». Som oversikten over har vist, stemmer det. De har rett. Dels svinger det mye, og dels er ikke alltid påstandene forankret i statistikken. For rapportering rundt de største partiene er alltid feilmarginen en utfordring, men like fullt en realitet. Når tallene for Ap og Høyre har en feilmargin på ca 3 prosent, blir normalt bare unntaksvis resultatene så sterke at man kan si at opp- eller nedgangen var klar fra en måned til en annen.

Gjennom nettsteder som pollofpolls.no har borgerne i større grad fått muligheten til å regne seg frem til snittet av målingene over en bestemt tidsperiode (gjerne en hel måned). Her kan en si at et rent gjennomsnitt ikke nødvendigvis heller sier alt om hvordan det går for partiene – f.eks. kan en få mer kunnskap (eller mindre sensasjonalisme) ved å sammenligne standardavviket. Men da går vi dypt inn i statistikken. Det er i det minste bedre enn partier som gjerne trekker frem enkeltresultater med sideformuleringer som «vi er i vinden» eller noe lignende. Det kan godt hende at fremgangen er statistisk sikker, men hjelper lite hvis alle andre byråer rapporterer om andre, og gjerne dårligere tall.

I andre land er antall meningsmålinger pr. måned færre – og i land som Storbritannia (som ironisk nok har mange målinger selv om valgsystemet faktisk ikke bryr seg det spor om hvor mange som stemmer Labour eller Tories på landsnivå) og Tyskland rapporterer en bare hele tall fra målingene, ikke desimaler. Tre målinger (5.1, 5.3 og 4.9) rapporteres da bare som 5 %. Det illustrerer kanskje bedre at små endringer ikke trenger å bety noe som helst.

Ikke alle velgere vet hvordan statistikk fungerer eller er klar over at en undersøkelse har feilkilder. Sjelden fremheves dette også av nyhetsmediene (hvor mange ganger hører vi f.eks. om feilmarginen når media rapporterer om nei-til-Oslo-OL-undersøkelser, eller svarsprosenten i egne eller andres undersøkelser [som her]), som heller fokuserer på helt andre ting. Jeg skjønner at media gjerne vil bruke spalte- eller eterplass på sine egne undersøkelser. De betaler jo tross alt byråer for å gjøre disse meningsmålingene. Men «oppgang-nedgang-journalistikken» burde heller baseres på statistisk sikre, klare trender fremfor formuleringer som ved nærmere øyensyn viser seg å ikke holde vann. I verste fall kan det bidra til at politikere treffer kortsiktige avgjørelser for ikke å havne bakpå i en verden av tall som enkelt gjøres til folkets endelige og ugjenkallelige dom.

Advertisements

1 kommentar

Filed under Journalistikk, Mediekritikk, Uncategorized

One response to “En kommentar om meningsmålinger og feilkilder

  1. Arne M.

    God artikkel! Men når det står at «det var statistisk sikkert at SV på Aftenpostens måling ville havnet under sperregrensen», så savner jeg en definisjon på ‘statistisk sikkert’. Det er vel alltid usikkerhet knyttet til å representere oppslutning fra et begrenset utvalg. Hvor ofte vil en påstand om at noe er ‘statistisk sikkert’ være feil?

Legg igjen en kommentar

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut / Endre )

Twitter picture

Du kommenterer med bruk av din Twitter konto. Logg ut / Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut / Endre )

Google+ photo

Du kommenterer med bruk av din Google+ konto. Logg ut / Endre )

Kobler til %s