Ikke så klart flertall mot OL likevel

Mer mediekritikk i statistikkens tegn nå. «Stor Nordlys-måling: Bare tre av ti sier ja til OL i Oslo», skrev Nordlys 8. august. Nå vil den pirkete leser innvende at en spørreundersøkelse med 1011 svar kanskje ikke er veldig «stor» – på størrelse med en gjennomsnittlig norsk stortingsvalg-meningsmåling. Men det er ikke det viktige.

«Nei over hele landet», er en av overskriftene. «Befolkningen over hele landet sier nei til OL». Grunnen er at InFact, som laget undersøkelsen, har brutt ned tallene både i ulike aldersgrupper og ulike regioner i Norge (og ulike velgergrupper). I Oslo og på Østlandet for øvrig er nei-andelen på eksakt 50,0 %. I et tidligere innlegg i juli skrev jeg om feilmarginer og hvordan medier glemmer å sjekke feilmarginene før de hopper til sine konklusjoner (interessant nok med det retoriske spørsmålet «hvor mange ganger hører vi f.eks. om feilmarginen når media rapporterer om nei-til-Oslo-OL-undersøkelser»). Nordlys er her et eksempel på at feilmarginen spøker når det er andre ting enn stortingsvalg man måler.

Med 1011 svar er feilmarginen +/- 3,0 prosent. Det gjelder altså når en regner sammen alle aldersgruppene og regionene i landet. Når man begynner å dele inn, derimot, synker utvalget man spør i, og risikoen for tilfeldige feil øker. Da øker selvfølgelig feilmarginen i takt med dette. Hvis vi forutsetter at undersøkelsen er helt representativ, og antall spurte i Oslo er omtrent som andelen norske innbyggere som bor i Oslo, får vi ca 125 svar.* Da er feilmarginen på 95 %-nivå (som er den normale feilmarginen som angis i spørreundersøkelser) hele +/- 8,8 %. I Østlandet for øvrig ligger utvalget på 267 svar.** Da blir feilmarginen +/- 6 %. Det skulle da bety at det er sikkert at mellom 41,2 og 58,8 % i Oslo sier nei til OL. Er det nei-flertall? Nei. I Østlandet for øvrig er det sikkert at nei-siden står på mellom 44 og 56 %. Heller ikke her er det sikkert nei-flertall.

Dessuten har ja-siden i Oslo 44,4 % i målingen. Medregnet feilmarginen står ja-siden sikkert på mellom 35,6 og 53,2 %. Det er altså ikke en gang sikkert at nei-siden er størst i Oslo (og selv om alle de spurte bodde i Oslo ville ikke dette vært sikkert). Likevel skriver bl.a. Østlandssendingen dette her. VG og Dagbladet hang seg også på og rapporterte ukritisk om innholdet i målingen, og NTB gjenga den uten å nevne feilmarginen.

Dagen etter kom Nordlys med et stort oppslag om at ungdommen sier nei. «Ungdommen sier for første gang nei til OL i Oslo: – Dette er overraskende for oss». Dette får også sette premisset for artikkelen og spørsmålene til Oslo 2022. Hva er så problemet? Også her snakker vi om en undergruppe i målingen, med høyere feilmargin enn +/- 3,0 %. I SSBs «Dette er Norge 2014» er det en befolkningspyramide der 20-24- og 25-29-åringer er ca 13-14 % av befolkningen. Tar en med 18- og 19-åringer burde tallet ligge på ca 16-17 %. Hvis 18-29-åringene er 16-17 % av de spurte hos InFact burde feilmarginen være på noe under +/- 7 %.

41,6 % av de unge svarte ja til OL. 45,9 % svarte nei. Legger en på en feilmargin på 7 % blir det da 95 % sikkert at mellom 35 og 48 % sier ja, og mellom 39 og 53 % sier nei. Det er et ganske betydelig overlapp, så det er heller ikke «et klart flertall blant unge» som Nordlys skriver. Det er alt annet enn klart. VGs dekning var klart størst, med kritiske spørsmål til NIF og spørsmål med utgangspunkt i at tallene var sikre («Hva tenker dere om at flere ungdommer er mot Oslo-OL enn for?»). Også Frps Mazyar Keshvari kommenterer tallene og bruker dem som argument mot Oslo-OL. Og igjen: Selv om alle de spurte i undersøkelsen skulle være under 29 år, ville det ikke vært statistisk sikkert at flere ungdommer sa nei enn ja.

På Nordlys’ debattsider skrev Torkild Emberland en kommentar om debatten rundt asylmottak og moské i Alta. «Det finnes tre typer løgner. Hvite løgner, svarte løgner og statistikk.» Indeed. Jeg vil ikke beskylde Nordlys for noe som helst. Rent bortsett fra at de ikke greide å få dreis på de tilfeldige feilene i undersøkelsen (selv . Og NTB og VG for ikke selv å ha stilt kritiske spørsmål (særlig VG som lagde en egen vri på historien). Dóg bare en i rekken av tilfeldige feil fra mediene i beskrivelsen av spørreundersøkelser og statistikk.

* InFact har ikke sluppet råtall, så en må nesten bare gjøre antagelser (basert på SSBs befolkningstall for 1. januar 2014). Men poenget står seg likevel.

** «Østlandet for øvrig» har jeg tolket som Østfold, Akershus, Hedmark, Oppland, Buskerud, Vestfold og Telemark. (og hvis regionen egentlig er mindre, er også utvalget mindre og feilmarginen desto større)

Advertisements

Legg igjen en kommentar

Filed under Journalistikk, Mediekritikk, Uncategorized

Legg igjen en kommentar

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut / Endre )

Twitter picture

Du kommenterer med bruk av din Twitter konto. Logg ut / Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut / Endre )

Google+ photo

Du kommenterer med bruk av din Google+ konto. Logg ut / Endre )

Kobler til %s