Seleziona una pagina

Brexit, Trump e Referendum hanno messo sotto la lente d’ingrandimento l’affidabilità dei metodi predittivi. Mi sono rivolto allora ad un sociologo affermato e autorevole, per una riflessione sullo stato dell’arte di questi strumenti tanto usati e troppo poco conosciuti.  Giorgio De Carlo, direttore scientifico dell’Istituto di Ricerca Quaeris mi ha proposto questa analisi davvero interessante:Alla vigilia del referendum mi ero già preparato una appassionata lettera per contraddire le lamentazioni circa quello che prevedevo sarebbe stato il disastroso esito dei sondaggi.Invece, visti gli esiti, devo scriverne quasi un peana.
Quasi, perché sbagliare il risultato in questo caso sarebbe significato chiudere baracca e burattini e fare qualche altro mestiere. L’esito della consultazione non poteva permettere sondaggi con risultati diversi dalla larga vittoria del NO. Il fatto è che, in linea generale, le tecniche e metodologie usate nello studio di questo referendum sono le stesse usate per la Brexit e per le elezioni USA. La differenza sta nei risultati finali delle consultazioni. Brexit (52% leave, 48% remain) e elezioni USA (48% Clinton, 47% Trump al voto popolare) si sono concluse con scarti piccoli, e in questo caso i risultati dei sondaggi sono stati molto sensibili agli errori campionari, mentre il dato macroscopico del referendum non poteva non essere rilevato anche considerando grandi errori campionari. Come nota di cronaca, a volere essere pignoli, i sondaggi USA che hanno dato vincente tra la popolazione americana Hillary Clinton, sono stati precisi. La Clinton alla fine ha realmente sconfitto di circa 2 milioni di voti Donald Trump al voto popolare,l’unico rilevabile dai sondaggi, che però non contava, essendo stati decisivi i Grandi Elettori, secondo il sistema elettorale americano complesso e talvolta contraddittorio. Tornando al nostro referendum italiano, i sondaggi pubblicati hanno tutti dato vincente il NO con uno scarto medio rispetto al SI di 8 – 10 punti, contro i 20 punti effettivi, e quindi possiamo dire che hanno identificato la tendenza, ma non azzeccato perfettamente il risultato. Comunque questi risultati riconciliano i sondaggisti con i vari commentatori e mette a tacere, almeno per un po’, tutte le idiozie che sono state scritte nei giorni successivi a Brexit e elezioni USA: il fatto che i sondaggi falliscano perché le interviste sono fatte sui telefoni fissi, che la gente mente deliberatamente, che le rilevazioni sono effettuate su campioni troppo piccoli, che le domande sono poste male, che gli intervistatori non sono professionali, e chi più ne ha più ne metta. La affermazione corretta è che nessuna di queste obbiezioni è applicabile agli istituti di ricerca seri, che tali problemi sono noti da decenni e che da decenni si lavora per correggere e mitigare questi effetti. Da anni ormai si usano le interviste mixed mode utilizzando sia il telefono fisso, che i cellulari, che le mail, che i social network. Questo allo scopo di garantire una platea il più possibile rappresentativa della popolazione, dai giovani che utilizzano quasi esclusivamente il cellulare connesso alla rete, agli over 60 che invece spesso sono ancora più facilmente raggiungibili al telefono fisso. Da sempre i sondaggi seri vengono testati prima di essere somministrati e comprendono di volta in volta domande aperte e domande “civetta”, che permettono di stanare i mentitori (la cui percentuale è tuttavia bassissima e irrilevante). Da una vita il mantra di un sondaggista è “garbage in, garbage out”, significando che la qualità di un sondaggio nasce da un attento lavoro sulla qualità di raccolta del dato, intervista ed intervistatore in primis. Utilizzo l’aggettivo serio definendo un sondaggio perché a lungo sono stati usati, e lo saranno ancora, come beceri strumenti di marketing elettorale, con alterni successi. Nel secolo scorso si abusava di sondaggi falsi o pilotati, nel tentativo di realizzare il mito della “profezia che si autoadempie”. Oppure furono a lungo utilizzati in modo fraudolento allo scopo alternativamente di sfruttare gli effetti bandwagon (o effetto carrozzone per cui  le persone votano quello che vota la maggioranza) e underdog (per cui il perdente, o candidato in difficoltà, suscita empatia e viene votato). Tali tecniche funzionarono all’inizio, ma alla lunga tale pratica ha fortunatamente perso la sua efficacia ed anzi ora è diventata una pratica squalificante e negativa (mi viene in mente immediatamente la aspra campagna inutile di molti media americani, NYT in primis, contro Donald Trump, con l’abuso di sondaggi e di commenti fortemente denigratori verso il candidato). Normalmente diffido di un sondaggio pubblicato, a maggior ragione dopo le elezioni USA, e mi chiedo sempre: cui prodest? A chi giova pubblicare un sondaggio e perché? Se sono il candidato è del tutto inutile che pubblichi dati se non per cercare di sfruttare gli effetti di cui sopra (ormai in generale deboli ed inefficaci). Oltretutto condivido con tutti una parte di dati costosi che posso usare meglio per fini strategici. Se sono un media che li pubblica, guardo prima il nome della testata e già mi do una risposta. In linea generale penso che vengano pubblicati esiti coerenti, o piegati, alla sua linea editoriale, che portano acqua al suo mulino, anche in presenza di evidenze diverse (rivedi la vicenda NYT – Trump). Insomma i sondaggi seri, strategici, utili per la definizione delle campagne politiche, sono come i peccati: si fanno ma non si dicono. Essi sono mirati, costruiti su specifiche porzioni di popolazione o di territorio. Diffido dei sondaggi caratterizzati da campioni di 500 intervistati a livello nazionale, cosa che si vede spesso e che mi induce a risparmiare il tempo di leggere esiti e commenti. Da sempre sono alla ricerca continua di strumenti innovativi e precisi per lo studio dell’opinione pubblica, alternativi, o meglio complementari alla raccolta di informazioni attraverso interviste, tecnica che non potrà a lungo essere trascurata. Una metodologia interessante in questo caso è quella del Prediction Market, che ha grande successo ed applicazione nei paesi anglosassoni e nessuna in Italia. Il concetto che guida il Prediction Market è completamente diverso da quello del sondaggio tradizionale. Si basa sul concetto del gioco in borsa. Viene posta una domanda specifica e le modalità di risposta sono l’equivalente di titoli da comprare o vendere. La schermata riportata sopra evidenzia il campo di azione specifico per il tema referendario. Avendo a disposizione 10.000 crediti virtuali di partenza, ciascun “giocatore” potrà puntare una somma a suo piacimento, e per tutte le volte che vuole, a favore o contro la probabilità che un evento accada, e così tutti gli altri giocatori. L’interazione tra tutti i giocatori e tutte le puntate che vengono compiute permette di ottenere, secondo il concetto di “intelligenza collettiva”, un risultato che è normalmente migliore e più raffinato di qualsiasi sondaggio tradizionale. Ogni volta il valore del titolo viene aggiornato e tale valore rappresenta la percentuale di voto. Nella schermata si vede che il mercato all’inizio aveva scommesso molto per la vittoria del SI, ma con il tempo si è progressivamente spostato. Alle 22:49:17 del 4 dicembre, abbiamo ottenuto la valutazione di un SI compreso tra il 35 – 40% ed un NO compreso tra il 60 – 65%, risultati molto più vicini al reale di qualsiasi sondaggio io abbia visto pubblicato.

LINKOGRAFIA

Il sito di Quaeris