Mielipidemittaukset pettivät taas

... jos odotti, että vuosien 2016 ja 2020 tulokset muuttivat kaiken.

Tämä artikkeli on julkaistu alun perin 2. joulukuuta 2022.

Voikohan tässä enää uskoa mihinkään, kysyy huolestunut patsas kalifornialaisessa museossa.

Mielipidemittaaminen, eli niin sanottu pollaaminen on puhuttanut jokaista Yhdysvaltojen politiikkaa seurannutta vuoden 2016 vaalituloksen jälkeen. Tässä postauksessa:

• Kuvailen havaitsemaani ilmapiiriä, jossa välivaalien 2022 ennusteita punnittiin etukäteen;

• Kerron, kuinka jotkin mielipidemittaajat korjasivat metodejaan selkeästi liikaa;

• Näytän, kuinka pahasti tänä vuonna mentiin metsään.

Olosuhteet, eli Vilhelm Junnila ja muut gallup-kieltäjät

Välivaalien alla seurasin perussuomalaisen puolueen tilaisuutta, jossa käytiin läpi marraskuun vaalipäivän ennakkoasetelmia. Striimissä näkyi sinänsä viihdyttävä väittely dosentti Markku Ruotsilan ja tutkija Maria Lindénin välillä vaalikieltäjistä, mutta tämän postauksen kannalta oleellista on kansanedustaja Vilhelm Junnilan (ps) esitys.

Junnila kävi läpi tilanteita eri vaa’ankieliosavaltioissa. Analyysissaan hän tunnisti oikein esimerkiksi Mehmet Ozin ja Herschel Walkerin heikkoudet ehdokkaina. Lukujen valossa Junnila meni kuitenkin pahasti metsään. Pennsylvanian, Georgian ja Nevadan piti olla melkoisen mahdollisia voittoja demokraateille. New Hampshireen Junnila povasi republikaaniyllätystä.

Eikä ihme. Vuosina 2016 ja 2020 suhteellisen hyvällä osumatarkkuudella mielipiteitä mitannut Trafalgar Group sai mittauksistaan jatkuvasti parempia tuloksia republikaaneille kuin esimerkiksi The New York Times / Siena College.

Junnila käytti sanaa historiallinen. Kuinka historiallisesti Trafalgar on ollut enemmän oikeassa kuin muut. Kuinka historiallisesti mielipidemittaajat ovat aliarvioineet republikaaneja painotuksissaan.

Kutsun Junnilan kaltaisia henkilöitä gallup-kieltäjiksi. Kyse ei missään nimessä ole siitä, että tyhmät suomalaiset oikeistolaiset jotenkin keulisivat USA-politiikka-analyyseissaan. Kyse on suuremmasta joukosta, joka on menettänyt uskonsa mielipidemittausten uskottavuuteen kaksien vaalien (2016 ja 2020) perusteella. Yksiä näkyvimpiä kommentaattoreita tässä genressä ovat Pod Save American vetäjät, jotka ovat siis superliberaaleja presidentti Barack Obaman entisiä avustajia.

Gallup-kieltäjät eivät usko(neet), että mielipidemittaukset kertovat todellista kuvaa Yhdysvaltalaisen politiikan tilasta. Pollit ovat rikki, kaikki meni, paitsi jos ne jotain kertovat, niin vahvasti republikaaneja aliarvioiden.

Mitä tehtiin?

Vuoden 2016 jälkeisissä analyyseissa huomattiin, että mielipidemittaajat eivät huomioineet koulutustasoa riittävästi. Donald Trumpin vaalivoittoa pidettiin Keskilännen huono-osaisen väestön kapinana, vaikka äänestyskäyttäytyminen korreloi hyvin vähän tulojen kanssa.

Kuuden vuoden takainen oppitunti kertoi, että koulutustaso määrää paljon sitä, kumpaa pääpuoluetta yhdysvaltalaiset vaaleissa äänestävät. Muutoksia tehtiin, ja vuoden 2018 välivaalit menivät pollstereilta paljon paremmin.

Vuonna 2020 kaikki repesi taas, eikä kukaan tiedä miksi. Kuten NYT:n Nate Cohn kirjoittaa, paras arvaus oli, että Trumpin republikaanit eivät vain vastaa kyselijöille yhtä aktiivisesti kuin demokraatit.

Metodeihin tehtiin muutoksia vaalisyklin 2020–2022 aikana. Esimerkiksi Real Clear Politics (RCP) teki oman mielipidemittausten keskiarvon lisäksi painotetun keskiarvon, joka oli järjestään republikaanipainotteinen.

Jonkinlaisia republikaanipainotuksia teki iso osa mielipidemittaajista. Olihan vuosina 2016 ja 2020 republikaaneja aliarvioitu, ja pahasti.

NYT/Siena teki fiksauksia myös, mutta tavalla, joka yrittää haarukoida äänestäjiä, joita on hankala saada vastaamaan.

Se “isompi Nate”, eli Fivethirtyeightin päätoimittaja Nate Silver on Fivethirtyeightin Politics-podcastissa useasti puhunut siitä, kuinka “tieteellisen” metodin takana vaikuttaa ryhmäpaine. Eli jos mielipidemittauksesta saatu tulos poikkeaa valtavirrasta (ns. outlier-tulos), mielipidemittaajalla on tapana muokata painotuksia niin, että ne vastaavat “yleistä käsitystä” mielipidemittausten tilasta.

Silver tietää mistä puhuu. Pyysihän hän anteeksi sitä, että Fivethirtyeightin malli mokasi Trumpin presidenttiehdokkuuden suhteen vuonna 2016.

Lopputulos oli näissä vaaleissa kuitenkin se, että republikaaneille annettiin “hiljaista lisää” vaalianalyyseissa, sillä niin oli ennenkin tapahtunut.

Pieleen meni – taas

Metsäänhän se meni. Ei vuosien 2016 tai 2020 republikaaneja aliarvioineella tavalla, vaan tällä kertaa aliarvioitiin demokraatteja.

Yksittäisillä mielipidemittaajilla, kuten Trafalgarilla, tapahtui aivan uskomattomia huteja. Mielenkiintoisempaa kuitenkin on edellä mainittu RCP, jota itsekin olen käyttänyt Fivethirtyeightin rinnalla. Jatkossa todennäköisesti en.

Taulukossa RCP:n painotettu mielipidemittausten keskiarvo ja Fivethirtyeightin mielipidemittausten keskiarvo keskeisissä vaa’ankieliosavaltioissa vuoden 2022 välivaaleissa. 0–1 prosentin virhe vihreällä, 1–3 prosentin keltaisella, 3–5 vaaleanpunaisella, 5–10 punaisella ja yli 10 tummanpunaisella.

Yllä nähdään, kuinka pahasti RCP missasi välivaaleissa senaatin kohdalla. Kyse ei ole pelkästään prosenteista, sillä RCP ennusti Pennsylvanian, Nevadan, Arizonan ja Georgian vaalien voittajat väärin. Washingtonin kohdalla mittavirhe oli painotetussa keskiarvossa törkeän suuri, lähes 12 prosenttiyksikköä. Georgiaa ja Nevadaa lukuun ottamatta virheet olivat suuria, 4–5 prosenttiyksikköä ja ylikin.

Fivethirtyeightin mielipidemittausten keskiarvo oli paljon lähempänä totuutta, joskaan ei tarkka sekään. Vertailua vaikeuttaa se, että Fivethirtyeightin varsinainen pihvi on vaaliennuste, jossa mielipidemittaukset ovat vain yksi palanen.

Mutta.

Tämän tarinan opetuksen ei pitäisi olla se, miltä firmalta saadaan oikea ennuste vaalituloksesta. Kyllä, NYT/Siena sai Pennsylvanian ja Nevadan tulokset lähes täsmälleen oikein, ja Arizona sekä Georgiakin menivät verrokkeja paremmin. Ensi kerralla tilanne voi olla toinen. Tutkimuskohde, eli yhdysvaltalainen yhteiskunta muuttuu vauhdilla.

Mieluummin kannattaa katsoa laajalla rintamalla, mitä mielipidemittaajien konsensus sanoo. Mitä vaalienaikaisessa poliittisessa tilanteessa yleensä tapahtuu. Mikä on presidentin kannatus. Mitkä ovat asiakysymykset. Tuleeko joltain paras argumentti siitä, miksi mielipidemittaus näyttää kuin se näyttää. Ei luottaa kvasi-historiallisiinseikkoihin.

Siksi pidän Fivethirtyeightin vaaliennusteesta. Siihen lasketaan mukaan politiikan perusprinsiippejä, talouslukuja ja muita makkarantekoaineita. Ulos ei syljetä 100–0-ennustusta, vaan epävarmuutta sisältävä todennäköisyyslukema. Todennäköisesti käy tapahtuma X, mutta Y on mahdollinen, koska hullumpiakin asioita on tapahtunut.

Niin kuin Yhdysvaltojen politiikassa aina.