In Wisconsin i sondaggi hanno sbagliato perché prevedevano un elettorato troppo giovane

I sondaggi finali delle primarie democratiche per il governatore del Wisconsin davano Francesca Hong avanti di 22 punti su David Crowley, che cinque giorni dopo ha vinto per mezzo punto, 39,8% a 39,3%. G. Elliott Morris ha rianalizzato i dati grezzi di uno degli istituti che erano sul campo e ha trovato tre cause dell'errore, quasi tutte correggibili.

L'istituto è State Navigate, una organizzazione non profit che nelle elezioni per governatore di Virginia e New Jersey del 2025 era stata la più precisa di tutte. Morris aveva costruito per loro il programma di ponderazione dei sondaggi e in cambio ha ottenuto i dati grezzi da analizzare pubblicamente, senza mostrare i risultati all'istituto prima di pubblicarli. A fine luglio la loro rilevazione dava Hong al 44% e Crowley al 15%. In quella di agosto, con le interviste chiuse il 6, Hong era ancora al 44% e Crowley al 22%. Un errore di 22 punti sul margine non è normale nemmeno per una primaria, dove l'errore medio di un sondaggio per il Senato o per il governatore è di circa 13 punti.

Il problema non sta nel trattamento dei dati. Rifacendo i conti sui file grezzi con gli stessi parametri usati dall'istituto, Morris riproduce quasi esattamente i numeri pubblicati. L'errore sta in quello a cui il sondaggio è stato ponderato. Ogni sondaggio corregge il campione raccolto per farlo somigliare all'elettorato che i ricercatori si aspettano alle urne: se tra gli intervistati ci sono troppi giovani, il loro peso viene ridotto. Se però il modello di elettorato è sbagliato, la correzione allontana il risultato dalla realtà invece di avvicinarlo.

L'anagrafe elettorale del Wisconsin, il registro pubblico che negli Stati Uniti tiene traccia di chi è iscritto a votare e a quali elezioni ha partecipato, descrive un elettorato delle primarie composto per il 52-53% da persone dai 65 anni in su e per il 2-3% da under 30. Il campione di luglio era per il 36% di over 65 e per il 17% di under 30, cioè metà anziano e otto volte più giovane dell'elettorato che voleva misurare.

Chaz Nuttycombe, direttore di State Navigate, ha spiegato a Morris di avere costruito i parametri partendo dall'anagrafe, calcolando etnia, istruzione, area geografica, età, genere e tipo di iscrizione di chi aveva votato alle primarie precedenti in Wisconsin. Poi ha corretto quei valori sulla base delle primarie più recenti del 2025 e del 2026. La correzione ha alzato la quota di giovani, portandola al 9% di 18-29enni nel sondaggio contro il 2% dell'anagrafe. I pesi hanno quindi cambiato pochissimo il campione, perché gli intervistati somigliavano già ai parametri scelti.

Gli altri istituti hanno lavorato in due fasi: prima hanno reso il campione rappresentativo di tutti gli elettori registrati del Wisconsin, poi hanno lasciato che fossero gli intervistati a dire se sarebbero andati a votare alle primarie democratiche, a quelle repubblicane o a nessuna delle due. La precisione dipendeva così dal fatto che chi si autoselezionava fosse rappresentativo di chi poi vota davvero. Gli elettori che hanno risposto erano troppo giovani e troppo di sinistra.

Ripesando le due rilevazioni sull'anagrafe elettorale, per partito, età, etnia, sesso e istruzione, l'errore sul margine di agosto scende da 24 punti a circa 14. Nei numeri pubblicati da State Navigate il 17% degli intervistati si definiva socialista democratico e un altro 43% progressista, molto progressista o estremamente progressista. Anche dopo aver riportato età, etnia, sesso, istruzione e partito ai valori dell'anagrafe, il campione restava composto per il 38% da elettori che si dicono "molto liberal". Fissando quella quota al 25% registrato nelle primarie del 2016 dai sondaggi all'uscita dai seggi, l'errore sul margine crolla. Aggiungendo ai parametri anche il reddito si scende a circa 3 punti.

Nessuna fonte ufficiale dice però quanti elettori "molto liberal" ci siano davvero in uno Stato, ed è il motivo per cui i sondaggisti evitano di ponderare per ideologia: senza un dato di riferimento la scelta resta arbitraria e rischia di sembrare un modo per aggiustare il risultato. Morris propone di pubblicare più stime alternative, ciascuna con un'ipotesi diversa sulla composizione ideologica dell'elettorato.

La rimonta di Crowley è la seconda causa dell'errore e riguarda quello che è successo dopo la chiusura delle interviste. La rilevazione di agosto ha reintervistato 633 delle persone già sentite a luglio, riconoscendole una per una grazie a un codice dell'anagrafe elettorale. Tra loro il vantaggio di Hong è sceso di circa 7 punti in dieci giorni, da 33,6 a 27,1, quando mancavano ancora cinque giorni al voto. Morris stima che Crowley guadagnasse circa due terzi di punto al giorno nelle ultime settimane e che la corsa si sia spostata di 6-10 punti in suo favore dopo l'uscita degli ultimi sondaggi.

Mandela Barnes si è ritirato tra le due rilevazioni e i suoi elettori sono andati per il 25% a Crowley e per il 19% a Hong, con un altro 14% a Kelda Roys. Gli indecisi che nel frattempo avevano scelto si sono divisi per il 40% su Crowley, per il 40% su altri candidati e solo per il 20% su Hong. Il 6 agosto quasi la metà di loro era ancora senza una preferenza, con la parte moderata dell'elettorato che si è compattata soltanto nel giorno del voto. Distribuendo gli indecisi del sondaggio di agosto secondo gli stessi flussi, la corsa diventa un pareggio: Hong 34,4 e Crowley 34,3, contro un margine reale di mezzo punto.

La terza causa è chi ai sondaggi non risponde. Forzando la rilevazione di agosto a riprodurre il risultato vero, la composizione del campione cambia poco, con gli over 65 che salgono dal 43% al 46% e chi si definisce "molto liberal" che scende dal 41% al 36%. La distorsione non stava quindi nel mix demografico ma dentro ogni gruppo, perché anche gli elettori anziani e moderati che hanno risposto erano più favorevoli a Hong di quelli che sono andati davvero a votare. Tra i 1.284 intervistati di luglio il 51,2% dei sostenitori di Hong ha risposto anche alla seconda intervista, esattamente come il 51,2% di quelli di Crowley.

Applicando un metodo statistico pubblicato nel 2019 sul Journal of the Royal Statistical Society da Rebecca Andridge, Brady West e Rod Little, che simula come cambierebbero i risultati se la scelta di rispondere dipendesse in parte dal voto stesso, Morris stima che la mancata risposta abbia gonfiato Hong di 0-5 punti, circa un decimo dello scarto tra sondaggi e urne. Il resto è la somma di parametri sbagliati e movimento tardivo.

L'anagrafe del Wisconsin è piena di dati mancanti o sbagliati e l'età è la variabile più problematica. Nel documento metodologico State Navigate ha scritto che "molti elettori del Wisconsin hanno come anno di nascita il 1800 e noi non crediamo nei vampiri". Si tratta in genere di iscritti recenti e molto giovani. Circa la metà di quelli intervistati con quell'anno di nascita ha detto di avere tra i 18 e i 29 anni. Rifacendo i calcoli con ipotesi via via più aggressive su quanti di questi elettori siano davvero giovani, il vantaggio finale di Hong passa da 2,4 punti a 8,4 punti man mano che sale la quota di under 30, perché i giovani che hanno risposto a quel sondaggio erano quasi tutti suoi elettori.

Morris lascia quattro indicazioni ai sondaggisti: ponderare i sondaggi sulle primarie usando i dati dell'anagrafe su chi alle primarie ha votato davvero, restare sul campo fino all'ultimo fine settimana, verificare quanto i risultati cambiano al variare delle ipotesi sull'ideologia (in Wisconsin valgono circa 11 punti di margine) e trasformare l'analisi della mancata risposta in un controllo di routine prima della pubblicazione. Ripesati con i parametri corretti, quei sondaggi sbagliano più o meno quanto il sondaggio medio di una primaria.