Nel 2025 il gruppo di ricerca METR ha fatto un esperimento che nessuno si aspettava andasse così. Ha preso 16 sviluppatori open source con anni di esperienza sui loro stessi progetti, ha assegnato loro 246 compiti reali, e ne ha sorteggiati alcuni da svolgere con strumenti AI e altri senza.
Prima di iniziare, gli sviluppatori stimavano che l’AI li avrebbe resi circa il 24% più veloci. Alla fine, misurando i tempi effettivi, erano stati il 19% più lenti con l’AI che senza. E qui c’è la parte che conta: a lavoro finito continuavano a credere di essere andati circa il 20% più veloci.
Non avevano solo sbagliato la previsione. Avevano sbagliato il ricordo.
Cosa fa davvero un modello generativo
Prima dei numeri, il meccanismo, perché serve a capire il resto.
Un modello linguistico non cerca informazioni e non ragiona su un archivio. Predice il pezzo di testo successivo, dato tutto quello che è venuto prima. L’architettura che rende la cosa praticabile su larga scala è il transformer, descritto da Vaswani e colleghi nel 2017 in un articolo che si chiama, con una certa sfacciataggine, Attention Is All You Need. Il meccanismo di attenzione permette al modello di pesare quali parti del contesto contano per la parola successiva.
Nel 2020 Kaplan e colleghi hanno mostrato che le prestazioni di questi modelli seguono leggi di scala regolari: crescono in modo prevedibile con dati, parametri e potenza di calcolo. È la ragione economica per cui l’industria ha speso quello che ha speso.
Da qui discende la caratteristica più fraintesa. Il modello produce la continuazione più plausibile, non quella vera. Emily Bender e colleghe, nel 2021, hanno usato l’immagine dei pappagalli stocastici: sistemi che ricuciono sequenze linguistiche viste in addestramento senza alcun accesso al significato. L’immagine è stata contestata, ma il punto tecnico regge. Plausibilità e verità sono due criteri diversi, e il modello ottimizza il primo.
Nel 2025 un gruppo di ricercatori OpenAI ha aggiunto un tassello: le allucinazioni non sono solo un limite dell’architettura, sono anche incentivate dal modo in cui i modelli vengono valutati. Se un benchmark dà un punto per la risposta esatta e zero sia per l’errore sia per “non lo so”, allora tirare a indovinare è la strategia ottimale. Abbiamo addestrato sistemi a non dire mai di non sapere.
I numeri veri, e perché sono così diversi tra loro
Ci sono ormai diversi esperimenti randomizzati seri. Tutti trovano effetti positivi. Ma la dimensione varia in un modo che dice più dei numeri stessi.
| Studio | Contesto | Effetto |
|---|---|---|
| Noy & Zhang 2023 (Science) | 453 professionisti, scrittura d’ufficio | -40% tempo, +18% qualità |
| Peng et al. 2023 | 95 sviluppatori, GitHub Copilot | -55,8% tempo su un compito specifico |
| Brynjolfsson et al. 2025 (QJE) | 5.179 agenti di assistenza clienti | +14% problemi risolti/ora |
| Dell’Acqua et al. 2023 | 758 consulenti BCG | +12,2% compiti, +25,1% velocità |
| METR 2025 | 16 sviluppatori esperti, progetti propri | -19% velocità |
Come si conciliano un -55,8% e un -19% sullo stesso mestiere? Guardando chi c’era dentro e cosa doveva fare.
Nello studio di Peng il compito era scrivere un server HTTP in JavaScript da zero: un problema chiuso, standard, con milioni di esempi simili nei dati di addestramento. Nello studio METR i compiti erano modifiche a basi di codice enormi che i partecipanti conoscevano da anni, con convenzioni implicite che il modello non poteva sapere.
Il primo caso è quello in cui l’AI eccelle. Il secondo è quello in cui il costo di rivedere e correggere l’output supera il tempo risparmiato.
Il vero risultato: la distribuzione si comprime
Il dato più solido, e quello di cui si parla meno, riguarda chi guadagna.
Brynjolfsson, Li e Raymond hanno seguito 5.179 agenti di assistenza clienti in un dispiegamento progressivo, la cosa più vicina a un esperimento naturale che si possa avere in azienda. L’aumento medio era del 14% di problemi risolti per ora. Ma disaggregato:
- Agenti alle prime armi o con punteggi bassi: fino a +34%.
- Agenti più esperti e con punteggi alti: effetto vicino a zero, in alcune misure leggermente negativo.
Noy e Zhang trovano lo stesso schema nella scrittura: la disuguaglianza tra i partecipanti si riduce, perché chi partiva peggio migliora molto di più.
L’interpretazione degli autori è che il modello codifica e diffonde le pratiche dei lavoratori migliori. Chi le aveva già non riceve niente di nuovo. Chi non le aveva le riceve gratis.
Questo capovolge la narrazione corrente. L’AI generativa non è un moltiplicatore per chi è bravo. È un livellatore verso l’alto per chi non lo è ancora, e un quasi-nulla per chi lo è già.
Il confine frastagliato
Dell’Acqua e colleghi hanno dato all’esperimento sui 758 consulenti BCG un nome utile: confine tecnologico frastagliato. L’AI non è brava su compiti “difficili” e scarsa su compiti “facili”. È bravissima su alcuni compiti e pessima su altri vicinissimi, e il confine tra i due non è né intuitivo né visibile.
Nel loro esperimento c’erano due tipi di compito. Su quello dentro il confine (generare idee di prodotto) chi usava l’AI faceva più cose, più in fretta, e con valutazioni di qualità più alte di oltre il 40%. Su quello fuori dal confine, una raccomandazione che richiedeva di integrare dati quantitativi con interviste qualitative in cui i numeri erano fuorvianti, chi usava l’AI aveva circa 19 punti percentuali in meno di probabilità di arrivare alla risposta corretta.
Gli autori hanno anche osservato due strategie di uso. Alcuni partecipanti facevano da centauri: dividevano il lavoro, tenendo per sé i pezzi in cui sapevano di essere migliori. Altri facevano da cyborg: intrecciavano il proprio lavoro con quello del modello a ogni passaggio. Entrambe funzionavano meglio dell’uso passivo, che gli autori descrivono come addormentarsi al volante.
Il problema non è che il modello sbaglia. È che sbaglia con lo stesso tono con cui ha ragione.
E l’economia?
Sul piano macro vale la pena tenere presente una voce fuori dal coro. Daron Acemoglu ha stimato nel 2024 che, con ipotesi ragionevoli su quale quota di compiti sia effettivamente esposta e su quanto si risparmi su ciascuno, l’effetto dell’AI sulla produttività totale dei fattori sia dell’ordine dello 0,5-0,7% cumulato in dieci anni. Un decimo o meno di quanto suggeriscono le proiezioni delle banche d’affari.
La stima è discussa e Acemoglu stesso la definisce prudente. Ma nasce da un punto solido: i guadagni misurati negli esperimenti riguardano compiti isolati, non processi interi. E i processi interi contengono attese, approvazioni, riunioni e riscritture che nessun modello accorcia.
Tre abitudini per usarla senza farti ingannare
- Misura, non ricordare. L’esperimento METR dimostra che la percezione del tempo risparmiato è inaffidabile anche in chi è competente. Per due settimane annota il tempo effettivo su compiti simili, con e senza.
- Mappa il tuo confine. Tieni una lista concreta di cosa il modello ti fa bene e cosa ti fa male. È l’unica competenza specifica che questo strumento richiede, e non è trasferibile da altri.
- Usalo dove sei debole, non dove sei forte. È letteralmente il risultato di Brynjolfsson. Sul tuo mestiere principale il guadagno sarà vicino a zero; sul foglio di calcolo che odi sarà enorme.
- Non delegare i compiti in cui i dati sono fuorvianti. È l’esatto punto in cui i consulenti BCG hanno perso 19 punti. Se il compito richiede di capire che un numero mente, tienilo.
- Chiedi il ragionamento, non solo la risposta. Non perché il modello “ragioni”, ma perché un ragionamento esplicito ti dà qualcosa da verificare. Ne ho scritto in scrivere prompt efficaci.
- Verifica sempre nomi, cifre e citazioni. Sono la categoria in cui il modello è più fluente e meno affidabile, per la ragione strutturale spiegata sopra.
- Tieni allenato il giudizio. Se smetti di produrre prime versioni, smetti anche di riconoscere una brutta prima versione. Il punto è sviluppato in pensiero critico.
La mia opinione: conta il giudizio, non la produzione
Credo che la domanda “l’AI mi sostituirà” sia mal posta, e ne ho scritto in AI e lavoro. La domanda utile, viste queste ricerche, è un’altra: il mio valore sta nella produzione o nel giudizio? Perché la produzione si sta livellando in fretta, e il giudizio no.
Ho anche l’impressione che il rischio maggiore nel breve non sia la disoccupazione ma la mediocrità diffusa: tanti output accettabili, prodotti da persone che non saprebbero riconoscerne uno sbagliato. Il numero dei 19 punti persi dai consulenti BCG mi sembra il dato più importante di tutti, e quasi nessuno lo cita.
Chiudo con una scommessa personale, che non posso dimostrare: fra qualche anno la competenza distintiva non sarà scrivere prompt migliori. Sarà sapere quando chiudere lo strumento.
Domande frequenti
L’AI generativa capisce quello che scrive? Nel senso in cui lo intendiamo noi, no: predice continuazioni plausibili. Se questo basti a chiamarlo comprensione è una discussione aperta e legittima, ma sul piano pratico conviene assumere di no.
Perché inventa fonti che non esistono? Perché una citazione plausibile e una vera hanno la stessa forma statistica. E perché, come mostrano Kalai e colleghi, i sistemi di valutazione hanno premiato il tentativo rispetto all’astensione.
Se sono già bravo nel mio lavoro, mi serve? I dati dicono che il guadagno sarà piccolo sul tuo nucleo di competenza e grande su tutto il resto. Che è comunque una buona ragione per usarlo.
Gli studi sono già vecchi, i modelli sono migliorati. Vero, e va tenuto presente. Ma lo schema che trovano i vari studi (guadagni concentrati sui meno esperti, confine imprevedibile, percezione gonfiata) non dipende dalla generazione del modello.
Vale la pena imparare a usarlo bene? Sì, ma con aspettative calibrate. La differenza tra chi lo usa male e chi lo usa bene esiste ed è documentata. La differenza tra chi lo usa bene e chi non lo usa è più piccola di quanto si racconti.
Fonti
- Vaswani, A., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems 30. L’architettura transformer.
- Kaplan, J., et al. (2020). Scaling Laws for Neural Language Models. arXiv 2001.08361. La relazione prevedibile tra scala e prestazioni.
- Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots. FAccT ‘21, 610-623.
- Kalai, A. T., et al. (2025). Why Language Models Hallucinate. OpenAI. L’argomento sugli incentivi di valutazione.
- Dell’Acqua, F., et al. (2023). Navigating the Jagged Technological Frontier. Harvard Business School Working Paper 24-013. I 758 consulenti BCG e i 19 punti persi fuori dal confine.
- Noy, S., & Zhang, W. (2023). Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence. Science, 381(6654), 187-192.
- Brynjolfsson, E., Li, D., & Raymond, L. (2025). Generative AI at Work. Quarterly Journal of Economics, 140(2). I 5.179 agenti e il +34% sui principianti.
- Peng, S., Kalliamvakou, E., Cihon, P., & Demirer, M. (2023). The Impact of AI on Developer Productivity: Evidence from GitHub Copilot. arXiv 2302.06590.
- Becker, J., et al. (2025). Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity. METR. Il -19% e la percezione invertita.
- Acemoglu, D. (2024). The Simple Macroeconomics of AI. Economic Policy. La stima prudente sull’effetto macro.
Questo articolo è stato scritto seguendo il processo descritto in come scriviamo. Se trovi un dato riportato male, scrivimi: lo correggo e lo segnalo in fondo all’articolo.



