Valgmåling og forvirring

1. september skriver VG:

Jens Stoltenberg øyner håp om fire nye år etter fersk VG-måling:Høyre går tilbake – Frp fortsetter å gå fremDagens måling er den høyeste oppslutningen Ap har hatt på VGs målinger siden november 2012.Det vil si at Arbeiderpartiets oppslutning er på 30 prosent, mens Høyres oppslutning ligger på 25,6 prosent.

I kappløpet om velgerne tar Arbeiderpartiet et byks på Høyre viser søndagens VG-måling. Ap går frem hele to prosentpoeng, mens Høyre går tilbake 1,6 prosent.

Dagen før skrev Dagbladet:

Verste rødgrønne måling siden mars
Ap-innspurten har stoppet opp.

Så hva skal vi tro? Blir det kanskje likevel en rødgrønn regjering? Har oppslutningen om AP virkelig bykset fram to prosentpoeng på et døgn. For det kan da ikke være tilfeldig? Riktignok skriver InFact som utfører målingen for VG at feilmarginen er maksimalt 1,9 prosent, men her er det snakk om et byks på to prosent, så da må det være et politisk jordskred. Eller er det meningsmålerne til den ene eller andre som er for dårlige?

Men en dag senere, 2. september, er det tilbake til det gamle. Nå har Høyre tatt igjen det tapte og mer til. Kan det virkelig være slik at folks meninger skifter så raskt? Nei det gjør det ikke. Det har å gjøre med statistisk usikkerhet.

Statistisk usikkerhet
En meningsmåling et forsøk på finne ut hva en stor gruppe mennesker mener ved å spørre et lite utvalg. Her ligger flere feilkilder. For å ta et enkelt eksempel:

Hvis du kaster mynt og krone en rekke ganger, får du ikke mynt og krone like mange ganger, selv om sannsynligheten for det ene eller det andre er 50%. Men jo flere ganger du kaster, jo nærmere kommer du 50% krone og 50% mynt. Tilsvarende, hvis du spør 100 tilfeldige mennesker hva de kommer til å stemme, er det lite trolig at den prosentvise fordelingen er i nærheten av det som blir valgresultatet. Øker du antallet til 1000 kommer du noe nærmere, men det kommer ikke til å stemme helt. Og spør du 1000 andre kommer du ikke til å få samme svar.

Det VG’s meningsmåler gjør er å spørre 2000 mennesker, og så vekte svarene ut fra andre opplysninger for å korrigere for forskjeller mellom de 2000 og gjennomsnittet av befolkningen. Neste dag spørres 2000 nye, og det er helt utenkelig at like mange da svarer at de stemmer Høyre (eller et annet parti) som i den første undersøkelsen. Den eneste måten å få en 100% riktig måling av hva en befolkning mener er å spørre alle. Men da bortfaller hensikten med meningsmålingen

Standardavvik
Usikkerheten kan beskrives med det som kalles standardavvik. Det er det gjennomsnittlige avviket for de enkelte målingene fra gjennomsnittet for alle målingene. Siden VG har publisert målinger siden 20. august er det mulig å beregne det, og få en sannsynlig variasjon fra måling til måling. Det er vanlig å bruke dette til å angi en øvre og nedre grense for hva som er normalt. Bare hvis en måling faller utenfor har det noen mening å si at nå har det5e partiet fremgang eller tilbakegang.

Det er vanlig ved vitenskapelige undersøkelser å angi øvre og nedre grense for tallene hvor det 95% sannsynlighet for at meningsmålingen vil ligge. Bare hvis et resultat faller utenfor gir det noen mening å si at det er noen signifikant forskjell. Å begynne å snakke om valgskred og «byks»på grunnlag av en enkeltmåling ville bare gi mening hvis forskjellen falt utenfor dette intervallet.

For å holde oss til de to partiene Ap og Høyre, så er intervallene på VG’s måling pr. i dag:
Ap mellom 27,1% og 30,2%
Høyre mellom 26,2% og 30,9%

Det er i alle fall meningsløst å begynne å komme med dypsindige kommentarer basert på en forandring på en brøkdel av en prosent fra en måling til en annen. Nedenfor har jeg laget en graf som viser høyeste og laveste måling i VG’s barometer i tidsrommet 20. august til 2, september, sammen med øvre og nedre konfidensintervall.

Valgmålinger i VG
Meningsmålinger i VG

Det finnes også andre valgbarometere. TV2 har et barometer fra dag til dag som er basert på 8-10 forskjellige målinger. Det er altså basert på at langt flere personer er spurt. For sammenligningens skyld har jeg også laget en tilsvarende graf. Som man ser her er konfidensintervallene trangere enn i målingene i VG

Valgmålinger i TV2. Gjennomsnitt av mange forskjellige målinger.
Valgmålinger i TV2. Gjennomsnitt av mange forskjellige målinger.

For de matematisk interesserte
Ved den type måling det her er snakk om kan standardavviket teoretisk beregnes ut fra formelen:
SA=ROT(p*(1-p)/n), der SA er standardavviket, ROT er kvadratroten, p er sannsynligheten for å finne en person som stemmer partiet (p=0,3 hvis 30% stemmer partiet), og n er antall personer som er spurt (f. eks. n=2000). Og 95% konfidensintervall er området mellom p+1,95*SA og p-1,95*SA.

2 thoughts on “Valgmåling og forvirring

  1. Betyr dette at det egentlig bare er Fremskrittspartiet på VGs måling av de tre største partiene som har hatt en oppgang som er større enn usikkerheten i målingen? Både A og H holder seg innenfor standardavvikene mens FrP har toppnotering over øvre grense og bunn-notering over nedre grense for konfidensintervallet?

  2. Skal vi se på oppgang/nedgang bør vi se på trend over noe tid. Øvre og nedre konfidensinterval er bare en angivelse av hvor 95% av målingene befinner seg dersom et ikke er noen trend. Man kan altså vente at hver 20. måling ligger over eller under, uten at det egentlig betyr noen forandring i oppslutningen. Og mitt poeng her er at det er nærmest bare journalisisk spaltefyll å komme med dypsindige kommentarer basert på enkeltmålinger som ligger godt innefor konfidensintervallet.
    Så vidt jeg kan se er det bare Frp som har hatt en statistisk signifikant økning på på målingene i VG, og MDG som har hatt en signifikant reduksjon. For de andre er det ingen signifikant trend.

    Nå når fasiten begunner å komme ser jeg at nesten alle partiene foreløpig ligger innefor konfidensintervallet på mitt regneark. Det er faktisk bare Ap som ligger ørlite over øvre grense, og MDG som ligger under nedre grense i følge prognosen kl 23.

    Jeg merket meg forresten at da NRK presenterte sin siste måling fredag understreket de store feilmarginene når deg gjaldt forholdet mellom Høyre og Ap. Min umiddelbare reaksjon var at «jøss, de må ha lest det jeg skrev på Dyadebloggen». Men det er vel mer sannsynlig at de hadde snakket med ansvarig for målingene.

Legg igjen en kommentar

Fyll inn i feltene under, eller klikk på et ikon for å logge inn:

WordPress.com-logo

Du kommenterer med bruk av din WordPress.com konto. Logg ut / Endre )

Twitter picture

Du kommenterer med bruk av din Twitter konto. Logg ut / Endre )

Facebookbilde

Du kommenterer med bruk av din Facebook konto. Logg ut / Endre )

Google+ photo

Du kommenterer med bruk av din Google+ konto. Logg ut / Endre )

Kobler til %s