Il consiglio più diffuso per chi vuole iniziare con i dati è scegliere lo strumento: Excel, SQL, Python, un corso di dashboard. È un consiglio che ignora il risultato sperimentale più importante di questo campo.
Nel 2018 Raphael Silberzahn e Eric Uhlmann hanno pubblicato, su Advances in Methods and Practices in Psychological Science, un esperimento che vale la pena raccontare per esteso. Hanno dato a 29 gruppi di ricerca indipendenti, 61 analisti in totale, lo stesso dataset e la stessa domanda: gli arbitri di calcio danno più cartellini rossi ai giocatori con la pelle più scura?
I risultati:
- 20 gruppi hanno trovato un effetto statisticamente significativo, 9 no.
- Le stime dell’effetto andavano da circa 0,89 (nessun effetto, o leggermente inverso) a 2,93 (effetto forte).
- I gruppi usavano ventuno strategie analitiche differenti, tutte difendibili.
- Nemmeno la revisione tra pari fra i gruppi ha fatto convergere le risposte.
Stesso dato, stessa domanda, risposta diversa. Non per incompetenza: erano tutti ricercatori qualificati, e ogni scelta presa isolatamente era ragionevole.
Non è un caso isolato
Nel 2020 Rotem Botvinik-Nezer e colleghi hanno replicato lo stesso disegno su un terreno molto più tecnico, pubblicando su Nature: 70 gruppi indipendenti hanno analizzato lo stesso dataset di risonanza magnetica funzionale, testando nove ipotesi predefinite. Nessuna coppia di gruppi ha usato la stessa pipeline. Per la maggior parte delle ipotesi, le conclusioni dei gruppi erano in disaccordo tra loro.
Il fenomeno ha un nome: gradi di libertà del ricercatore. Joseph Simmons, Leif Nelson e Uri Simonsohn lo hanno dimostrato nel 2011 su Psychological Science, con un articolo intitolato provocatoriamente False-Positive Psychology. Mostravano, con simulazioni e con un esperimento reale, che se un analista si concede scelte flessibili (quando fermare la raccolta, quali variabili di controllo includere, quali osservazioni escludere) la probabilità di trovare un risultato “significativo” per puro caso sale ben oltre il 5% dichiarato. Con quattro decisioni flessibili combinate arrivavano sopra il 60%.
Il rischio nell’analisi dei dati non è sbagliare un calcolo. È fare una sequenza di scelte tutte ragionevoli che porta a una conclusione sbagliata.
Il grafico che ti mente, dimostrato
Nel 1973 Francis Anscombe costruì quattro dataset con medie, varianze, correlazione e retta di regressione praticamente identiche, e aspetti completamente diversi una volta disegnati: uno lineare, uno curvo, uno con un solo valore anomalo che comanda tutto.
Justin Matejka e George Fitzmaurice hanno esteso l’idea nel 2017, in un articolo presentato alla conferenza CHI: hanno costruito algoritmicamente famiglie di dataset con le stesse statistiche descrittive fino a due decimali, uno dei quali disegna un dinosauro. Il messaggio è lo stesso di Anscombe, con una dimostrazione più difficile da ignorare: le statistiche riassuntive da sole non ti dicono che forma ha il dato.
C’è poi il caso più famoso di conclusione invertita dall’aggregazione. Nel 1975 Peter Bickel, Eugene Hammel e William O’Connell pubblicarono su Science l’analisi delle ammissioni al dottorato di Berkeley: nell’aggregato le donne venivano ammesse a un tasso più basso, il che sembrava discriminazione. Guardando dipartimento per dipartimento, la maggior parte dei dipartimenti ammetteva le donne a un tasso uguale o superiore. Le donne facevano domanda in numero maggiore ai dipartimenti con tassi di ammissione più bassi per tutti. È il paradosso di Simpson, e non è una curiosità: è la ragione per cui una media aziendale può dire il contrario di ogni sua componente.
Cosa vuol dire allora “essere bravi con i dati”
Dalle tre evidenze sopra si ricava una definizione utilizzabile, e non riguarda lo strumento:
| Competenza | Cosa protegge |
|---|---|
| Definire la domanda prima di aprire il file | Dai gradi di libertà del ricercatore |
| Guardare la distribuzione, non solo la media | Dal quartetto di Anscombe |
| Disaggregare per sottogruppi | Dal paradosso di Simpson |
| Dichiarare in anticipo le scelte analitiche | Dal p-hacking involontario |
| Conoscere la provenienza del dato | Dagli errori di misura a monte |
Nessuna di queste richiede saper programmare. Tutte cambiano l’esito più di qualsiasi libreria.
Sulla parte di rappresentazione c’è un’evidenza sperimentale spesso ignorata: William Cleveland e Robert McGill misurarono nel 1984, sul Journal of the American Statistical Association, quanto accuratamente le persone leggono le diverse codifiche grafiche. La posizione su una scala comune, cioè quello che fa un grafico a barre, viene letta molto più accuratamente di angoli e aree, che è ciò che fa un grafico a torta. Il consiglio “non usare le torte” non è questione di gusto: è un risultato misurato.
Quattro abitudini prima di toccare i numeri
- Scrivi la domanda prima di aprire il dataset. Una frase, con il criterio di risposta. È la difesa più economica contro i gradi di libertà.
- Guarda sempre la forma, non solo il riassunto. Un istogramma e una dispersione prima di ogni media. Anscombe è del 1973 e viene ancora ignorato.
- Disaggrega. Se il dato aggregato dice qualcosa di sorprendente, spezzalo per sottogruppi prima di crederci.
- Impara SQL prima di Python. La maggior parte del lavoro reale è selezionare, filtrare e aggregare, e SQL fa esattamente quello con una settimana di studio.
- Impara a leggere un intervallo di confidenza. Sapere quanto è incerta una stima conta più che saperla calcolare.
- Usa l’IA come assistente di sintassi, non di giudizio. Genera bene la query, non decide se la domanda ha senso. Ne ho scritto in come usare ChatGPT sul lavoro.
- Presenta l’incertezza, non nasconderla. Chi consegna un numero senza margine consegna una decisione mascherata da misura. Vale anche per come si dà un feedback.
Cosa ne penso: la domanda va scritta prima di aprire il file
Penso che l’errore più costoso che vedo non sia tecnico ma di sequenza: si apre il file, si guardano i numeri, e la domanda si forma dopo. Da lì in poi qualsiasi analisi è una ricerca di conferma, anche in buona fede. L’esperimento dei 29 team dice esattamente questo: quando la strada è aperta, l’analista la percorre in modo coerente con le proprie aspettative senza accorgersene.
Ho anche l’impressione che i corsi introduttivi abbiano l’ordine sbagliato. Insegnano prima gli strumenti e poi, se avanza tempo, l’interpretazione. Ma lo strumento sbagliato produce un errore visibile; l’interpretazione sbagliata produce un errore che nessuno nota e che finisce in una decisione.
Non ho uno studio che lo provi, ma ci credo: la competenza che paga di più in azienda non è saper costruire il modello, è saper spiegare a chi decide perché un numero non risponde alla domanda che si sta facendo.
Domande frequenti
Devo imparare Python? Non per iniziare. SQL e un buon foglio di calcolo coprono la maggior parte del lavoro analitico aziendale. Python serve quando i volumi o la ripetitività lo richiedono.
Excel è ancora sufficiente? Per analisi fino a qualche centinaia di migliaia di righe, sì. Il limite di Excel non è la potenza, è la tracciabilità: è difficile ricostruire quali scelte hai fatto, che è precisamente il problema dei 29 team.
Quanto tempo ci vuole per essere operativi? Per SQL di base e lettura corretta dei grafici, poche settimane di pratica regolare. Per il giudizio analitico, molto di più: è una competenza che si costruisce sugli errori commessi.
L’IA rende inutile imparare l’analisi? Rende più veloce la parte esecutiva e non tocca la parte di giudizio. Anzi, abbassando il costo di produrre analisi aumenta il valore di saper distinguere quelle buone. Su questo ho scritto in pensiero critico.
È vero che l’80% del tempo è pulizia dei dati? È una cifra ripetuta ovunque senza una fonte solida. Le rilevazioni professionali disponibili danno numeri più bassi, intorno al 40-45%. Resta la parte più lunga del lavoro, ma l’80% è un dato senza padre.
Fonti
- Silberzahn, R., Uhlmann, E. L., et al. (2018). Many Analysts, One Data Set: Making Transparent How Variations in Analytic Choices Affect Results. Advances in Methods and Practices in Psychological Science, 1(3), 337-356. L’esperimento dei 29 gruppi.
- Botvinik-Nezer, R., et al. (2020). Variability in the Analysis of a Single Neuroimaging Dataset by Many Teams. Nature, 582, 84-88. La replica su 70 gruppi.
- Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant. Psychological Science, 22(11), 1359-1366. I gradi di libertà del ricercatore.
- Anscombe, F. J. (1973). Graphs in Statistical Analysis. The American Statistician, 27(1), 17-21. Il quartetto.
- Matejka, J., & Fitzmaurice, G. (2017). Same Stats, Different Graphs. Proceedings of the CHI Conference on Human Factors in Computing Systems, 1290-1294. La generazione algoritmica di dataset con identiche statistiche.
- Bickel, P. J., Hammel, E. A., & O’Connell, J. W. (1975). Sex Bias in Graduate Admissions: Data from Berkeley. Science, 187(4175), 398-404. Il paradosso di Simpson nel caso più noto.
- Cleveland, W. S., & McGill, R. (1984). Graphical Perception: Theory, Experimentation, and Application to the Development of Graphical Methods. Journal of the American Statistical Association, 79(387), 531-554. Le codifiche grafiche lette con più accuratezza.
- Gelman, A., & Loken, E. (2013). The Garden of Forking Paths. Working paper, Columbia University. Perché il problema esiste anche senza intenzione di barare.
- Ioannidis, J. P. A. (2005). Why Most Published Research Findings Are False. PLoS Medicine, 2(8), e124. Il quadro generale su flessibilità analitica e affidabilità dei risultati.
- Wasserstein, R. L., & Lazar, N. A. (2016). The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2), 129-133. La posizione ufficiale sull’uso e abuso della significatività.
Questo articolo è stato scritto seguendo il processo descritto in come scriviamo. Se trovi un dato riportato male, scrivimi: lo correggo e lo segnalo in fondo all’articolo.



