Her på AmerikanskPolitikk.no har vi benyttet oss av meningsmålingsgjennomsnitt gjennom hele valgkampen, framfor å stole på enkeltmålinger. Hvor treffsikre var egentlig disse, og hva med resten av målingene?
Ukas politiske karikatur beskriver følelsen mange sitter igjen med etter at valgkampen nå er over. Mange av oss har sjekket meningsmålinger hver dag i flere måneder, men nå er det altså over. Noen har taklet tomrommet med å se framover mot 2016, mens andre har gravd seg ned i valgdagsmålingene.
Nate Silver (New York Times / Five Thirty Eight) har som vanlig brukt tiden på tall og analyser. Han har blant tatt for seg de ulike meningsmålingsbyråene for å se hvem som traff best, og hvem som traff dårligst, noe jeg kommer tilbake til. Hans egen modell, som i stor grad bygger på vekting og gjennomsnitt av delstatsmålinger, predikerte riktig utfall i 50 av 50 delstater.*
Gjennomsnitt av delstatsmålingene
Delstatsgjennomsnittene på RealClearPolitics.com (RCP) og Pollster.com, som vi har skrevet mye om i løpet av de siste månedene, stemte med utfallet i 49 av 50 stater. De bommet begge på Florida, der Romney lå foran. Vi kan uansett slå fast at delstatsgjennomsnittene ga en god pekepinn på det endelige valgutfallet.
Tallene fra RCP og Pollster pekte i retning av et valgmannskart med 303 valgmenn til Obama, og 235 til Romney. Silvers modell pekte i retning av 313 til Obama, og 225 til Romney. Sam Wangs «Votomatic» Obama endte opp med 332, Romney 206.
Men hvilke delstatgjennomsnitt var mest nøyaktige? Nedenfor ser du en oversikt av valgresultatet i ni av de såkalte vippestatene, delstatsgjennomsnittene på valgdagen, og avvikene mellom det endelige resultatet og delstatsgjennomsnittene. Jeg har tatt med Nate Silvers «projected vote share», selv om disse tallene også er justert for andre faktorer enn gjennomsnitt av målinger:
Avvikene i rødt i kolonnene lengst til høyre markerer at målingene var bedre for Romney enn det endelige valgresultatet, mens blått tilsvarer det samme for Obama. Det kommer tydelig fram at Obama gjorde det bedre på valgdagen enn målingene skulle tilsi.
Gjennomsnittene av avvikene viser at vippestatsmålingene til både RCP og Pollster «bommet» med mer enn 2 % i snitt, mens Pollster (2,24 %) var noe mer nøyaktig enn RCP (2,6 %). 538-modellen til Nate Silver traff best av disse tre, med et gjennomsnittlig avvik på 1,58 %. Sett under ett var avvikene minst i North Carolina (0,66 %), og størst i New Hampshire (3,16 %).
Gjennomsnitt av de nasjonale målingene
Hva med de nasjonale målingene? Det endelige valgresultatet viste at Obama vant 50,5 % av stemmene, mot Romneys 47,9 %.
RCP sitt gjennomsnitt av de nasjonale meningsmålingene viste på forhånd 48,8 % til Obama, og 48,1 % til Romney. Gjennomsnittet «undervurderte» Obamas stemmer med 1,7 %, og «overvurderte» Romneys med 0,2 %.
Pollster sitt gjennomsnitt av de nasjonale meningsmålingene viste på forhånd 48,2 % til Obama, og 46,7 % til Romney. Gjennomsnittet «undervurderte» Obamas stemmer med 2,3 %, og Romneys med 1,2 %.
Og Nate Silvers 538-modell? Den viste på forhånd 50,8 % til Obama, og 48,3 % til Romney. Modellen «overvurderte» dermed Obamas støtte med kun 0,3 %, og Romneys med kun 0,4 %.
Vurdering av målingene som lå til grunn for gjennomsnittene
Som jeg nevnte i introduksjonen har Nate Silver brukt de siste dagene på å analysere hvor nøyaktig de ulike meningsmålingsbyråene var i innspurten. Silver tok for seg målinger av «likely voters.»
Analysen viser en tendens i målingene i favør Romney (eventualt at målingene ikke fikk med seg en sving i retning Obama i innspurten), noe som gjenspeiles i tabellen overfor. Analysen byr i tillegg på noen interessante funn når det gjelder de ulike byråenes metodologi.
Internettmålingene traff best, med et gjennomsnittlig avvik på 2,1 %, etterfulgt av telefonintervjuer, med et gjennomsnittlig avvik på 3,5 %.
Automatiske telefonoppringringer – såkalte «robocalls» – gjorde det dårligst, med et gjennomnsnittlig avvik på hele 5 %. De automatiske oppringningene har ikke lov til å ringe mobiltelefoner, noe som er med på å forklare hvorfor de gjorde det så dårlig.
Silvers analyser viser for øvrig at Gallup, som gjennomførte telefonintervjuer (inkludert oppringninger til mobiltelefoner), var en av de dårligste i klassen, med et gjennomsnittlig avvik på 7,2 %.
Internettmålingene til Google Consumer Surveys var en av de beste i klassen, med et gjennomsnittlig avvik på kun 1,6 %.
Det er mulig metodelitteraturen på statsvitenskap trenger en liten oppdatering. Det stod iallefall ikke mye fordelaktig om internettmålinger på metodepensum ved Universitetet i Oslo høsten 2008. Men siden den tid har det skjedd mye.
* Silvers «Now-cast» og «Projected vote share» for Florida viste begge dødt løp og 50-50 sjanse for begge kandidatene, men valgmannskartet på nettsiden hadde Florida farget lyseblått, med en 50,3 % margin til Obama.
