F. Maggini, "Statistica e scenari", 2015

Statistica, scenari calcolabili e utopie immaginifiche

Filomena Maggino[1]

“questo ‘telefono’ ha troppi difetti per poter essere preso seriamente in considerazione come strumento di comunicazione. Questo dispositivo è quindi naturalmente di nessun valore per noi”

Western Union – Nota interna (1876)

La statistica si occupa – tra le altre cose – di individuare regolarità nelle informazioni rilevate (dati). Tali regolarità possono essere osservate in termini di tendenze, quando un certo fenomeno è osservato nel tempo, oppure di relazioni, quando si osservano convergenze e divergenze regolari tra i fenomeni osservati.

L’osservazione di regolarità consente di ipotizzare interpretazioni e spiegazioni. Coerentemente con tale conoscenza acquisita, che può essere formalizzata in un modello, è possibile ipotizzare come il fenomeno sotto osservazione si presenterà nel futuro. In altre parole, i modelli danno la possibilità di formulare previsioni (o proiezioni) ed eventualmente di prendere decisioni (al fine di influenzare l’andamento di determinati eventi).

E’ possibile definire diversi approcci alla definizione dei modelli di previsione:

-                  dall’osservazione del passato alla previsione del futuro,

-                  dall’osservazione di una parte alla stima del tutto,

-                  dalla definizione di un’ipotesi alla verifica del suo adattamento alla realtà osservata (dati).

L’applicazione di tali modelli conduce ad una decisione statistica che è sempre formulata in termini probabilistici. In altre parole, la previsione statistica ha sempre una componente di incertezza valutata ed espressa attraverso un valore di probabilità.

1.    Dalla osservazione del passato alla previsione del futuro

Semplificando, una previsione statistica che utilizza un modello è formulata nel modo seguente: “se nel passato dopo il verificarsi dell’evento A si è verificato l’evento B, allora possiamo dire che quando si ripresenterà lo stesso evento A si verificherà l’evento B”.

La validità di questo ragionamento dipende da:

(a)                 quante volte nel passato dopo l’evento A si è verificato l’evento B,

(b)                come sono stati definiti e osservati l’evento A e l’evento B,

(c)                 se esiste una sequenza temporale nel verificarsi degli eventi (prima A e poi B) valida anche nel futuro.

(a)

Il numero delle volte in cui, in determinate condizioni, nel passato l’evento B si è verificato consente di capire anche quanto tale evento è possibile nel futuro, in altre parole costituisce la probabilità di quell’evento. Quindi, la probabilità dell’evento B è associata alla frequenza dell’evento B nel passato in relazione al modello definito. Tale probabilità può assumere valori diversi nell’intervallo che va da 0 a 1. Dato che parliamo di eventi che comunque sono incerti, i valori estremi definiscono tale intervallo ma non ne sono compresi.

Tale probabilità costituisce la precisione/accuratezza del modello mentre il suo reciproco costituisce l’errore/incertezza del modello stesso.

La domanda a questo punto è: stabilito che nessuna previsione produce un valore di probabilità di 0 o di 1, qual è il livello di errore/incertezza che ci consente di fare una previsione accurata?

Ho fatto tante volte questa domanda ai miei studenti che si avvicinano per la prima volta a questi temi. La prima reazione è quasi sempre la stessa: basterà che il modello suggerisca una probabilità di almeno 0.51 per poter dire tranquillamente che l’evento B è molto probabile. Questa riflessione, dettata da semplice buonsenso, sembra essere adottata in diverse situazioni. Infatti, se andiamo ad osservare un qualsiasi sito web dedicato a previsioni meteorologiche notiamo (nei casi più documentati) che il simbolo di un determinato evento atmosferico, per esempio “pioggia”, viene indicato proprio quando la probabilità di tale evento supera 0.50.

Agli studenti faccio notare che tale criterio porta con sé e introduce nel ragionamento una componente che presenta il livello di incertezza talmente alto da ritenersi in molti casi intollerabile (nel precedente esempio, quando l’evento B è considerato probabile a 0.51 sussiste una probabilità che non si verifichi di 0.49).

Dopo queste osservazioni, le reazioni degli studenti cambiano radicalmente.

Di fatto, la responsabilità dell’individuazione del limite è definita nell’ambito in cui tale responsabilità è adottata e alla decisione che conseguentemente viene presa. E’ evidente che la decisione “prendere o no l’ombrello” è molto diversa da quella di “adottare o non adottare un certo farmaco”.

Non dimenticherò mai la sorpresa che mi colse quando una (non più giovanissima) studentessa al termine di un esame (brillantemente superato) mi confessò candidamente che lo studio della statistica le aveva consentito di essere felicemente madre. Non esitò a darmi una spiegazione del perché (la mia curiosità si era fatta davvero alta): accortasi di aspettare un bambino decise di affrontare il test dell’amniocentesi che consente, tra l’altro di valutare l’assetto cromosomico fetale (per es. malattie legate al cromosoma X). Il risultato riportato dai medici non era molto incoraggiante per la futura mamma che volle però vedere l’intero referto che riportava il risultato in termini probabilistici. Non ricordo esattamente quale fosse la probabilità riportata e associata ad una malformazione. Lei, ricordando quanto discusso a lezione, pensò: “se esiste la probabilità del 60% che il bambino abbia una menomazione vuol dire che esiste una probabilità del 40% che non la abbia!” Portò avanti la gravidanza, accettando quello che secondo i medici era un rischio molto alto. Il bambino nacque, completamente sano.

(b)

Al di là del numero di volte in cui sono stati osservati insieme, il modello potrebbe essere completamente scorretto se gli eventi A e B non sono stati definiti e osservati in modo corretto ed esaustivo. L’evento B potrebbe infatti essersi verificato non in quanto si è verificato l’evento A ma in quanto entrambi dipendono da un terzo evento C.

A questo riguardo, spesso viene citato il seguente esempio: osservando i dati relativi a tanti incendi si è osservato che all’aumentare del numero dei pompieri utilizzati, aumenta anche l’ammontare dei danni. Se il modello osservativo e interpretativo è valido, allora potremmo formulare una previsione del tipo “se il numero dei pompieri sarà alto, l’ammontare dei danni sarà ugualmente alto”, cui potrà seguire una decisione del tipo “è meglio inviare pochi pompieri per evitare l’aumento dei danni”.

La nostra esperienza del mondo reale ci consente di considerare la formulazione del modello errata e la decisione che ne seguirebbe rovinosa, conducendo, di fatti, ad un aumento dell’ammontare dei danni. L’osservazione della realtà, infatti, ci suggerisce che entrambi gli eventi A e B dipendono da un terzo evento C che è “dimensione dell’incendio”.

(c)

Purtroppo le previsioni statistiche fatte in queste condizioni si rivelano difficili essenzialmente per due motivi: (i) non sappiamo se il modello descrive davvero e al meglio la realtà; (ii) anche nel caso in cui il modello è esaustivo, non sappiamo se il modello sarà valido anche nel futuro.

Il secondo motivo è particolarmente delicato e sensibile. Infatti, le previsioni fatte attraverso un modello assumono un altro importante ragionamento: le condizioni in cui abbiamo osservato gli eventi nel passato (e che hanno consentito di definire il modello) continueranno ad essere valide anche nel presente e nel futuro.

2.    Dalla osservazione di una parte alla stima del tutto

La rilevanza della definizione di un modello è presente anche quando l’obiettivo non è tanto quello di prevedere il futuro, ma quello di stimare una situazione generale (detta tecnicamente “popolazione”) dall’osservazione di parte di esso (“campione”).

Facciamo un esempio: i sondaggi (anche quelli elettorali). La percentuale di soggetti intervistati che hanno riferito di preferire un certo partito corrisponde a quella che si sarebbe ottenuta nel caso avessimo avuto la possibilità di intervistare tutta la popolazione? Intuitivamente la nostra risposta è “no”. Dal punto di vista statistico la risposta è “sì, più o meno un certo errore”.

In questo caso, la definizione del modello è finalizzata alla determinazione della accuratezza/incertezza dell’attribuzione al “tutto” (popolazione) del risultato ottenuto in una “parte” (campione).

Tralasciamo tutte le questioni teoriche relative alla costruzione del modello matematico che consente la definizione della fiducia (confidenza) che possiamo attribuire al risultato ottenuto sul campione. Ci basta però sapere che esse comprendono anche riflessioni riguardanti

-         il modo in cui è stato definito il campione,

-         la dimensione del campione (ovvero, quanto è grande la nostra esperienza),

-         la variabilità della popolazione (ovvero, quanto è molteplice e complesso l’universo di interesse),

-         la sicurezza desiderata nell’individuare il corrispondente valore per tutta la popolazione (livello di confidenza/fiducia).

Per poter procedere con la stima è necessario garantire a tutti i membri della popolazione, la stessa possibilità di entrare a far parte del campione.

Il livello di fiducia (e, conseguentemente, il livello di incertezza) dipende dalla dimensione del campione e dalla variabilità della popolazione (a loro volta intimamente legate tra di loro). Infatti, volendo ottenere un basso errore di previsione (alto livello di fiducia), è necessario avere un campione molto ampio. In presenza di una popolazione con un’alta variabilità (complessità), volendo conservare lo stesso livello di errore, il campione dovrà aumentare la sua dimensione in modo esponenziale.

Un campione di dimensione ridotta rispetto ad una popolazione molto complessa insieme ad un livello di fiducia alto, produrranno una incertezza (errore) molto grande. Tale incertezza si può concretizzare con la definizione di un intervallo, stabilito dal valore osservato nel campione (per esempio, una percentuale), entro il quale sarà possibile (livello di confidenza) osservare il valore della popolazione.

Relativamente ad un certo campione (con una propria dimensione) e ad una certa popolazione (con una propria complessità), stabilito un certo livello di confidenza – per esempio 95% – è possibile calcolare l’intervallo (interpretabile come dimensione della rete di cui abbiamo bisogno per pescare il valore della popolazione). Riprendendo l’esempio iniziale, potremmo, infatti, verificare che “il partito X ha ottenuto nel campione una percentuale di preferenze del 20% più o meno 3”. Ciò vuol dire che, la percentuale di quel partito per tutta la popolazione ricadrà tra 17 e 23 con una probabilità del 95%.

Supponiamo di ripetere la rilevazione a distanza di una settimana e di ottenere per lo stesso partito X una percentuale di preferenza del 18% e di ottenere lo stesso intervallo di confidenza (±3). Possiamo affermare che il partito ha osservato una flessione di preferenze? Nel campione, sicuramente sì, ma non necessariamente nella popolazione! Infatti, i due intervalli di confidenza sono rispettivamente “17-23” e “15-21”. Come è facile osservare, i due intervalli presentano una parte in comune (17-21) che difficilmente ci consente di commentare i risultati ottenuti nelle due rilevazioni in termini di aumento/stabilità/diminuzione.

In altre parole, l’ammontare osservato della diminuzione del valore della percentuale di preferenza, è minore dell’intervallo di confidenza.

Se riflettiamo bene, un tale ragionamento non è solo alla base della ricerca sociale ma anche della ricerca medica (si pensi a tale proposito ad alcune procedure diagnostiche come le biopsie).

3.    Dalla definizione di un’ipotesi alla sua verifica

L’osservazione (più o meno parziale) di un certo fenomeno della realtà può condurre alla definizione di una ipotesi rispetto a quel fenomeno. L’obiettivo in questo caso è quello di verificare se tale ipotesi formulata è casuale oppure se essa descrive una situazione presente nella realtà.

Il buonsenso vuole che per poter verificare tale ipotesi è necessario produrre delle prove. A questo punto, la domanda è: quante prove occorre produrre per poter affermare che il modello è verificato? In teoria, infinite. Per questo, un processo di verifica che richiede di produrre prove non solo è poco pratico ma potrebbe non condurci ad alcuna verifica. Karl Popper rivoluzionò tale ragionamento introducendo il cosiddetto “principio di falsificazione” secondo il quale una teoria è valida solo se è possibile falsificarla. Applicato all’ambito delle previsioni statistiche ciò vuol dire che non occorre dimostrare che l’ipotesi X è vera, basterà dimostrare che la sua ipotesi contraria non-X è falsa.

Ma quando l’ipotesi X (ovvero, quanto osservato) può essere accettata in modo significativo? La decisione finale anche in questo caso è tipicamente statistica: l’ipotesi X è accettata quando l’ipotesi non-X si verifica un numero talmente basso di volte da ritenersi poco probabile e quindi non vera.

Detto in altre parole, l’ipotesi X è accettata con un certo livello di rischio corrispondente alla probabilità che l’ipotesi non-X, nelle medesime condizioni, si è verificata nel passato.

Qual è il livello minimo di rischio (statisticamente definito “significatività”)? Questa è un’altra domanda che faccio spesso agli studenti. Anche in questo caso, i valori si sprecano, ma abbastanza velocemente tutti giungono alla stessa conclusione: basso, molto basso, da 1 a 5%, non di più (livello di significatività).

Le considerazioni fatte in precedenza (dimensione del campione, corretta osservazione dei fenomeni, permanenza della relazione tra i fenomeni anche nel futuro, …) valgono anche in relazione alla verifica delle ipotesi.

4.    Ma, allora, come ci si deve porre davanti alle previsioni?

Comprendere il ragionamento statistico alla base della definizione di molte previsioni e proiezioni consente di dare loro il giusto peso e la corretta interpretazione.

Da quanto detto appare chiaro come sia importante, nel definire possibili scene future, la “modellazione” delle conoscenze (sia in termini di esperienza che di teoria) sul fenomeno di interesse.

Facciamo un esempio.

Nel 1988, uno studio dell’Intelligence Unit dell’Economist (EIU) mirava ad individuare il migliore Paese in cui nascere. Tale studio, basandosi sull’analisi di un gruppo di indicatori che descrivono le migliori opportunità (determinanti) per una vita sana, sicura e prospera negli anni a venire, aveva prodotto alla fine una classifica (una di quelle cose che appassionano tanto i lettori, poco gli statistici) tra tutti i Paesi del mondo. Al primo posto c’erano gli Stati Uniti, seguiti dalla Francia, la Germania (Occidentale) e l’Italia.

La classifica, in pratica si basava su indicatori osservati nel 1988 e li “proiettava” al 2013 attraverso un modello molto semplice (qualcosa del tipo “se oggi stiamo bene, staremo bene anche nel 2013”). Questo vuol dire che se il modello fosse valido, gli stessi indicatori osservati oggi dovrebbero confermare le proiezioni (ovvero il modello) e la graduatoria di allora dovrebbe riprodursi anche oggi, più o meno un certo errore.

Lo studio è stato ripetuto quest’anno. La proiezione pone al primo posto la Svizzera e subito dopo l’Australia, la Norvegia e la Svezia mentre i primi quattro Paesi della precedente graduatoria sono risultati essere rispettivamente al 16°, 26°, 16° (parimerito) e al 21°.

Nell’articolo[2] che riporta i risultati di tale studio si fa presente che lo studio si basa su “indicatori statisticamente significativi”. Ma, siamo sicuri che la scelta degli indicatori sia quella giusta?

Infatti, il risultato può essere letto in un altro modo: chi nel 1988 avesse scelto di far nascere il proprio figlio nel primo Paese in graduatoria avrebbe fatto crescere un figlio in un Paese che avrebbe (come i dati attuali dimostrano) di fatto diminuito la sua qualità (o almeno la sua qualità sarebbe stata superata da quella di altri Paesi).

Naturalmente, la scelta degli indicatori e le relazioni che presentano tra loro (indicatori di input, di output, di outcome, drivers, …) è determinante. Individuare gli indicatori giusti per delineare e descrivere un certa fenomeno non è facile. Ancora più difficile è utilizzare gli indicatori per definire scenari futuri. Tale difficoltà è bene descritta in una frase, citata nello stesso articolo e ripresa dal film “Il terzo uomo”, espressa dal personaggio interpretato da Orson Welles e che dice “l’Italia per 30 anni ha avuto guerre, terrore e omicidi sotto i Borgia ma in quel periodo ha prodotto Michelangelo, Leonardo Da Vinci e il Rinascimento; la Svizzera ha avuto 500 anni di pace ed è riuscita a produrre solo l’orologio a cucù”.

La credibilità/riuscita delle previsioni dipende molto dalla capacità di individuare quegli elementi che caratterizzano una certa realtà e che consentono di modellarne la complessità.

Di fatto, il livello di conoscenza e la complessità della realtà possono rendere vani, o per lo meno ostacolati, gli sforzi per poter formulare delle predizioni attendibili, a causa di molti elementi, quali

-                  la sovra-stima del cambiamento in termini di tendenze, cadenza e andamento,

-                  la sotto-stima dell’impatto che qualsiasi cambiamento ha sulla realtà,

-                  la sovra-stima delle esperienze passate,

-                  la presenza di sistemi causali complessi,

-                  la presenza di casi particolari non esportabili/proiettabili.

Ecco perché, per affrontare il delicato tema della previsione, è necessario definire approcci diversi che, in modo più realistico, invece di prevedere, rappresentino degli esercizi che consentano di ottenere una visione di multipli futuri possibili, utilizzando un processo iterativo e l’opinione di esperti diversi. E’ questo l’approccio detto di “analisi di scenari” che consente di superare i limiti delle tradizionali previsioni in presenza di alta incertezza, di eventi poco probabili (ma con grande impatto) e di differenze di opinione e di visione.

L’analisi di scenari prevede le seguenti fasi:

-                  identificazione dei fattori critici e dei fattori esterni (sociali, tecnologici, economici, ambientali, politici)

-                  identificazione di futuri alternativi (previsioni)

-                  sviluppo delle strategie (decisioni)

L’identificazione dei fattori critici rappresenta il momento decisivo per una definizione degli scenari ammissibili.

Il pericolo è comunque quello di lanciarsi nella definizione di scenari che, più che verosimili (uno dei concetti base per la previsione statistica), risultino essere utopie frutto di desideri e immagini desiderabili (utopie immaginifiche, appunto): un esercizio che, pur se poco utile a fini previsionali, potrebbe comunque risultare molto accattivante dal punto di vista editoriale!

- . - . - . - .

A conclusione di questo breve scritto, vorrei riprendere quella che secondo me è la più calzante definizione di “statistica”, fatta da uno degli studenti partecipanti al concorso indetto dall’ISTAT in occasione della prima Giornata Mondiale della Statistica (20/10/2010): la statistica è la sorella maggiore della matematica: è troppo saggia per dare tutto per certo (http://www.istat.it/it/archivio/16448).

Tale definizione ci esorta alla costante adozione della cautela nel leggere e interpretare il risultato prodotto da una previsione / proiezione statistica.

Il ricercatore consapevole si pone però dubbi anche quando la previsione si rivela corretta. Il dubbio può essere espresso come segue: esistono previsioni che si auto-realizzano? In questo caso, si passa dalla previsione alla profezia che si auto-determina (self-fulfilling prophecy). Prendiamo un esempio: la diffusione dei risultati di un sondaggio attraverso i media influenza la sua “realizzazione”?

Ma questa … è tutta un’altra storia …

---

[1] * Professore di Statistica Sociale presso l’Università di Firenze. I suoi principali interessi di ricerca riguardano i dati statistici con particolare riferimento alla loro produzione (assessment dei dati soggettivi), alla loro analisi (approcci multivariati, modelli

di scaling e costruzione di indicatori compositi) e alla loro presentazione (definizione di modelli di valutazione della qualità della comunicazione dei risultati statistici). È autore di numerose pubblicazioni su tali temi. È presidente della International Society for Quality-of-Life Studies (ISQOLS) e dell’Associazione Italiana per gli Studi sulla Qualità della Vita (AIQUAV), è componente del Global Project Research Network on Measuring the Progress, ospitato presso l’OCSE e della Commissione Scientifica per la Misura del Benessere (progetto BES) istituita presso l’ISTAT..

[2] http://www.forexinfo.it/Miglior-posto-in-cui-nascere-nel

  http://www.economist.com/news/21566430-where-be-born-2013-lottery-life