Vai al contenuto
Indietro

Data analysis: 29 team, gli stessi dati, risposte diverse

Illustrazione di grafici e dati analizzati su una dashboard

Il consiglio più diffuso per chi vuole iniziare con i dati è scegliere lo strumento: Excel, SQL, Python, un corso di dashboard. È un consiglio che ignora il risultato sperimentale più importante di questo campo.

Nel 2018 Raphael Silberzahn e Eric Uhlmann hanno pubblicato, su Advances in Methods and Practices in Psychological Science, un esperimento che vale la pena raccontare per esteso. Hanno dato a 29 gruppi di ricerca indipendenti, 61 analisti in totale, lo stesso dataset e la stessa domanda: gli arbitri di calcio danno più cartellini rossi ai giocatori con la pelle più scura?

I risultati:

Stesso dato, stessa domanda, risposta diversa. Non per incompetenza: erano tutti ricercatori qualificati, e ogni scelta presa isolatamente era ragionevole.

Non è un caso isolato

Nel 2020 Rotem Botvinik-Nezer e colleghi hanno replicato lo stesso disegno su un terreno molto più tecnico, pubblicando su Nature: 70 gruppi indipendenti hanno analizzato lo stesso dataset di risonanza magnetica funzionale, testando nove ipotesi predefinite. Nessuna coppia di gruppi ha usato la stessa pipeline. Per la maggior parte delle ipotesi, le conclusioni dei gruppi erano in disaccordo tra loro.

Il fenomeno ha un nome: gradi di libertà del ricercatore. Joseph Simmons, Leif Nelson e Uri Simonsohn lo hanno dimostrato nel 2011 su Psychological Science, con un articolo intitolato provocatoriamente False-Positive Psychology. Mostravano, con simulazioni e con un esperimento reale, che se un analista si concede scelte flessibili (quando fermare la raccolta, quali variabili di controllo includere, quali osservazioni escludere) la probabilità di trovare un risultato “significativo” per puro caso sale ben oltre il 5% dichiarato. Con quattro decisioni flessibili combinate arrivavano sopra il 60%.

Il rischio nell’analisi dei dati non è sbagliare un calcolo. È fare una sequenza di scelte tutte ragionevoli che porta a una conclusione sbagliata.

Il grafico che ti mente, dimostrato

Nel 1973 Francis Anscombe costruì quattro dataset con medie, varianze, correlazione e retta di regressione praticamente identiche, e aspetti completamente diversi una volta disegnati: uno lineare, uno curvo, uno con un solo valore anomalo che comanda tutto.

Justin Matejka e George Fitzmaurice hanno esteso l’idea nel 2017, in un articolo presentato alla conferenza CHI: hanno costruito algoritmicamente famiglie di dataset con le stesse statistiche descrittive fino a due decimali, uno dei quali disegna un dinosauro. Il messaggio è lo stesso di Anscombe, con una dimostrazione più difficile da ignorare: le statistiche riassuntive da sole non ti dicono che forma ha il dato.

C’è poi il caso più famoso di conclusione invertita dall’aggregazione. Nel 1975 Peter Bickel, Eugene Hammel e William O’Connell pubblicarono su Science l’analisi delle ammissioni al dottorato di Berkeley: nell’aggregato le donne venivano ammesse a un tasso più basso, il che sembrava discriminazione. Guardando dipartimento per dipartimento, la maggior parte dei dipartimenti ammetteva le donne a un tasso uguale o superiore. Le donne facevano domanda in numero maggiore ai dipartimenti con tassi di ammissione più bassi per tutti. È il paradosso di Simpson, e non è una curiosità: è la ragione per cui una media aziendale può dire il contrario di ogni sua componente.

Cosa vuol dire allora “essere bravi con i dati”

Dalle tre evidenze sopra si ricava una definizione utilizzabile, e non riguarda lo strumento:

CompetenzaCosa protegge
Definire la domanda prima di aprire il fileDai gradi di libertà del ricercatore
Guardare la distribuzione, non solo la mediaDal quartetto di Anscombe
Disaggregare per sottogruppiDal paradosso di Simpson
Dichiarare in anticipo le scelte analiticheDal p-hacking involontario
Conoscere la provenienza del datoDagli errori di misura a monte

Nessuna di queste richiede saper programmare. Tutte cambiano l’esito più di qualsiasi libreria.

Sulla parte di rappresentazione c’è un’evidenza sperimentale spesso ignorata: William Cleveland e Robert McGill misurarono nel 1984, sul Journal of the American Statistical Association, quanto accuratamente le persone leggono le diverse codifiche grafiche. La posizione su una scala comune, cioè quello che fa un grafico a barre, viene letta molto più accuratamente di angoli e aree, che è ciò che fa un grafico a torta. Il consiglio “non usare le torte” non è questione di gusto: è un risultato misurato.

Quattro abitudini prima di toccare i numeri

  1. Scrivi la domanda prima di aprire il dataset. Una frase, con il criterio di risposta. È la difesa più economica contro i gradi di libertà.
  2. Guarda sempre la forma, non solo il riassunto. Un istogramma e una dispersione prima di ogni media. Anscombe è del 1973 e viene ancora ignorato.
  3. Disaggrega. Se il dato aggregato dice qualcosa di sorprendente, spezzalo per sottogruppi prima di crederci.
  4. Impara SQL prima di Python. La maggior parte del lavoro reale è selezionare, filtrare e aggregare, e SQL fa esattamente quello con una settimana di studio.
  5. Impara a leggere un intervallo di confidenza. Sapere quanto è incerta una stima conta più che saperla calcolare.
  6. Usa l’IA come assistente di sintassi, non di giudizio. Genera bene la query, non decide se la domanda ha senso. Ne ho scritto in come usare ChatGPT sul lavoro.
  7. Presenta l’incertezza, non nasconderla. Chi consegna un numero senza margine consegna una decisione mascherata da misura. Vale anche per come si dà un feedback.

Cosa ne penso: la domanda va scritta prima di aprire il file

Penso che l’errore più costoso che vedo non sia tecnico ma di sequenza: si apre il file, si guardano i numeri, e la domanda si forma dopo. Da lì in poi qualsiasi analisi è una ricerca di conferma, anche in buona fede. L’esperimento dei 29 team dice esattamente questo: quando la strada è aperta, l’analista la percorre in modo coerente con le proprie aspettative senza accorgersene.

Ho anche l’impressione che i corsi introduttivi abbiano l’ordine sbagliato. Insegnano prima gli strumenti e poi, se avanza tempo, l’interpretazione. Ma lo strumento sbagliato produce un errore visibile; l’interpretazione sbagliata produce un errore che nessuno nota e che finisce in una decisione.

Non ho uno studio che lo provi, ma ci credo: la competenza che paga di più in azienda non è saper costruire il modello, è saper spiegare a chi decide perché un numero non risponde alla domanda che si sta facendo.

Domande frequenti

Devo imparare Python? Non per iniziare. SQL e un buon foglio di calcolo coprono la maggior parte del lavoro analitico aziendale. Python serve quando i volumi o la ripetitività lo richiedono.

Excel è ancora sufficiente? Per analisi fino a qualche centinaia di migliaia di righe, sì. Il limite di Excel non è la potenza, è la tracciabilità: è difficile ricostruire quali scelte hai fatto, che è precisamente il problema dei 29 team.

Quanto tempo ci vuole per essere operativi? Per SQL di base e lettura corretta dei grafici, poche settimane di pratica regolare. Per il giudizio analitico, molto di più: è una competenza che si costruisce sugli errori commessi.

L’IA rende inutile imparare l’analisi? Rende più veloce la parte esecutiva e non tocca la parte di giudizio. Anzi, abbassando il costo di produrre analisi aumenta il valore di saper distinguere quelle buone. Su questo ho scritto in pensiero critico.

È vero che l’80% del tempo è pulizia dei dati? È una cifra ripetuta ovunque senza una fonte solida. Le rilevazioni professionali disponibili danno numeri più bassi, intorno al 40-45%. Resta la parte più lunga del lavoro, ma l’80% è un dato senza padre.

Fonti

Questo articolo è stato scritto seguendo il processo descritto in come scriviamo. Se trovi un dato riportato male, scrivimi: lo correggo e lo segnalo in fondo all’articolo.

Fondatore di UpSkillLab, con un Master in Digital Marketing all'Università degli Studi di Firenze. Ogni articolo parte da fonti pubbliche citate nel testo ed è redatto con l'assistenza di strumenti di intelligenza artificiale, sotto la mia revisione e responsabilità editoriale: nessun contenuto comprato, niente pubblicato senza controllo umano. Leggi il metodo editoriale oppure segnalami un errore.


Condividi questo articolo:

Vedi tutti gli articoli di Competenze & Skill

Articolo precedente
Strumenti AI gratis: il costo vero non è nel prezzo
Articolo successivo
Hard e soft skills: l'85% non ha una fonte, e la domanda è mal posta