Con l’arrivo dei risultati definitivi, è tempo di fare un bilancio sulla precisione dei sondaggi dei Caucus in Iowa.

Consideriamo ovviamente il voto popolare e in particolare la prima votazione con i maggiori otto candidati in gioco, che ha visto Sanders prevalere su Buttigieg e gli altri contendenti.
Come sono andati in generale? Alcuni bene, alcuni male. In generale non una grande performance.
Abbiamo considerato 15 sondaggi di 15 istituti diversi, pubblicati nelle ultime settimane (nel grafico tutti i sondaggi con tutti i dati). Intanto balza subito all’occhio un dato: nessuna rilevazione ha azzeccato l’ordine finale dei maggiori candidati (Sanders-Buttigieg-Warren-Biden-Klobuchar).
È pur vero, a parziale discolpa, che sono arrivati in cinque racchiusi in 12 punti e che la distanza tra un candidato e l’altro è stata minima, quindi bastava poco per invertire l’uno con l’altro, considerando i margini di errore. Inoltre i Caucus, col loro meccanismo contorto, non erano facilmente inquadrabili all’interno di un normale sondaggio.
Guardiamo ora il risultato specifico dei principali candidati, con il risultato finale e la media dei 15 sondaggi considerati (abbiamo normalizzato i numeri al netto di indecisi e candidati piccoli):
Bernie Sanders: risultato 24,70%, media 23,06%
Le case sondaggistiche sono state abbastanza accurate nel rilevare il consenso del senatore del Vermont. Soprattutto nelle ultimissime rilevazioni, quasi tutti gli hanno correttamente assegnato la prima posizione finale.
Pete Buttigieg: risultato 21,30%, media 18,31%
L’ex sindaco di South Bend è stato un po’ sottovalutato nelle ultime settimane: dopo il boom di novembre-dicembre, sembrava fosse calato inesorabilmente, ma nei Caucus ha preso più di quanto quasi tutti gli ultimi sondaggi gli assegnassero.
Elizabeth Warren: risultato 18,50%, media 17,43%
Anche il risultato della media della senatrice del Massachusetts si è avvicinato abbastanza a quello finale, come per Sanders. Da notare comunque come ben 11 rilevazioni su 15 l’abbiano sottostimata (tanto o poco).
Joe Biden: risultato 14,90%, media 20,79%
L’ex vicepresidente ha segnato la débâcle dei sondaggisti: 15 su 15 l’hanno sovrastimato. Sebbene le ultime rilevazioni lasciassero presagire un calo, nessuno lo aveva previsto di tali proporzioni. Quasi 6 punti in più in media (tanto!) rispetto al 15% che ha effettivamente preso. Solo in due avevano previsto il quarto posto finale.
Amy Klobuchar: risultato 12,70%, media 10,52%
Un po’ sottostimata la senatrice del Minnesota. Gli istituti di ricerca hanno correttamente rilevato una sua crescita nel corso della campagna elettorale, ma non si pensava che potesse addirittura tallonare Biden.
Guardando invece alla bravura dei vari sondaggisti, abbiamo stilato due classifiche in base agli errori: una “classica” in base all’errore medio su ogni singolo candidato, una “rielaborata” tenendo conto dell’errore relativo, secondo il principio che una grossa sovrastima/sottostima di un piccolo candidato è più grave di una sovrastima/sottostima di un grande candidato. Nel grafico ci sono entrambe le classifiche complete.
Nella classifica “classica” di base, la miglior performance va a Civiqs/Iowa State University, con un errore totale dell’11,14% (0.11). In media un errore di 1.4 punti per candidato.
Al secondo posto il celebre sondaggio Selzer effettuato 26 giorni prima del voto (quello successivo non è stato pubblicato e noi non lo consideriamo, sebbene sia stato parzialmente rilasciato successivamente): errore 0.17, 2.14 punti per candidato. Gradino più basso del podio per Change Research, con un errore di 0.18, 2.26 punti per candidato.
La classifica “rielaborata” da noi vede invece al primo posto sempre Civiqs/ISU, con un errore di 0.15. Al secondo posto il rinomato Siena College, con un errore di 0.19. Terzo e quarto posto per Change Research e Selzer, con un errore di 0.20.
In generale, possiamo dire che gli istituti più quotati come Selzer e Siena College si sono comportati bene, con le sorprese Civiqs, Change Research e Data for Progress.
Altri istituti conosciuti non hanno invece brillato per niente. Parliamo di Emerson College (0.25/0.27) che il giorno prima del voto dava Biden secondo al 21%, di YouGov (0.31/0.29) che tre giorni prima dava l’ex vicepresidente al 27% (quasi il doppio di quello che ha preso), di Monmouth University (0.26/0.30) con Biden al 24,5% e della disastrosa Suffolk University (0.32/0.35) con Biden a +8 su Sanders.
Tra i sondaggi più orripilanti entrano di diritto anche i meno conosciuti Morningside College e Neighbourhood Research.
METODOLOGIA:
Tutti i dati dei sondaggi riportati nel post e nel grafico sono stati normalizzati per togliere il dato degli indecisi e dei candidati minori (Patrick, Bennet, Delaney e altri).
L’errore “classico” è dato dalla somma dei valori assoluti della differenza tra risultato e sondaggio per ogni candidato.
L’errore “rielaborato” secondo il nostro stimatore utilizza una funzione di verosimiglianza [Sondaggio*ln(sondaggio/risultato)] per ogni candidato, per poi prendere il valore assoluto e sommare tutto.
