Le presentazioni di Copilot mostrano sempre lo stesso momento: una riunione finisce, l’assistente produce un riassunto con le decisioni prese e le azioni assegnate, tutti annuiscono. È la scena giusta, per una ragione che le presentazioni non dicono. Quel compito specifico è anche l’unico su cui gli esperimenti controllati trovano un effetto grande e stabile.
Sugli altri, molto meno.
Prima: quale Copilot
Il nome copre tre prodotti diversi che vengono confusi di continuo, e la confusione porta a valutare uno con i dati di un altro.
| Nome | Cos’è | Dove vive |
|---|---|---|
| Copilot (consumer) | Assistente conversazionale generico | Sito web, app, barra di Windows |
| Microsoft 365 Copilot | Assistente integrato che accede ai tuoi dati aziendali | Word, Excel, Outlook, Teams, PowerPoint |
| GitHub Copilot | Completamento e generazione di codice | Editor di codice |
La differenza che conta è la seconda riga: Microsoft 365 Copilot vede il contenuto della tua organizzazione (messaggi, file, calendario) tramite l’indice di ricerca aziendale. È da lì che viene la sua utilità reale, ed è anche il motivo per cui la sua qualità dipende da quanto sono ordinati i dati della tua azienda, non solo dal modello.
Il numero che Microsoft stessa ha misurato
Nel 2023 un gruppo di ricerca di Microsoft ha pubblicato uno studio randomizzato su lavoratori della conoscenza che usavano una versione iniziale di questi strumenti. Vale la pena leggerlo proprio perché viene dall’azienda che vende il prodotto: i risultati sono più contenuti di quanto ci si aspetterebbe da una comunicazione di marketing.
Il quadro che emerge:
- Sul riassunto di riunioni l’effetto è grande e chiaro. I partecipanti completavano il compito in modo sensibilmente più rapido, con valutazioni di qualità mediamente migliori. Nelle stime riportate, ordine di grandezza intorno al 30% di tempo in meno.
- Sulla ricerca di informazioni dentro documenti e messaggi l’effetto è positivo ma più piccolo.
- Sulla scrittura di documenti i risultati sono misti, e in alcune condizioni la differenza non è statisticamente distinguibile da zero.
Lo schema si spiega bene. Il riassunto è un compito in cui tutto il materiale necessario è già dato, la risposta corretta è verificabile in pochi secondi e la parte noiosa è puramente meccanica. La scrittura di un documento nuovo non ha nessuna di queste tre caratteristiche.
Il caso del codice: due numeri opposti
Su GitHub Copilot esistono i dati più netti, e sono contraddittori solo in apparenza.
Nel 2023 Peng e colleghi hanno condotto un esperimento randomizzato su 95 sviluppatori a cui era chiesto di scrivere un server HTTP in JavaScript. Il gruppo con Copilot ha finito il 55,8% più in fretta. È il numero che si cita sempre.
Nel 2025 il gruppo METR ha misurato 16 sviluppatori esperti su 246 compiti reali nei loro stessi progetti open source. Con gli strumenti AI erano il 19% più lenti, pur credendo di essere stati più veloci.
La differenza non è nella qualità dello strumento, è nel compito. Il primo era un problema chiuso, standard, con milioni di esempi analoghi nei dati di addestramento. Il secondo erano modifiche a basi di codice grandi e piene di convenzioni implicite. Uno studio del 2022 di Vaithilingam e colleghi aveva già osservato una cosa coerente: i partecipanti con l’assistente non completavano i compiti significativamente più in fretta, ma faticavano parecchio a capire e correggere il codice generato quando era sbagliato.
La parte scomoda: la sicurezza
Qui i numeri sono specifici e vale la pena conoscerli, anche se non scrivi codice tu, perché descrivono un meccanismo generale.
Hammond Pearce e colleghi hanno pubblicato nel 2022, a IEEE Symposium on Security and Privacy, uno studio intitolato Asleep at the Keyboard. Hanno costruito scenari mirati a debolezze note e fatto completare il codice all’assistente. Circa il 40% dei programmi generati nelle situazioni rilevanti per la sicurezza conteneva una vulnerabilità.
L’anno dopo Neil Perry e colleghi hanno pubblicato a ACM CCS uno studio controllato con partecipanti umani. Chi aveva l’assistente scriveva codice significativamente meno sicuro e, allo stesso tempo, era più convinto di aver scritto codice sicuro rispetto al gruppo senza assistente.
È lo stesso schema del risultato METR sulla velocità: la prestazione peggiora e la fiducia aumenta. Non è un difetto di un prodotto, è un effetto prevedibile di qualunque sistema che produce output plausibili con tono uniforme.
Il rischio non è che Copilot sbagli. È che ti convinca di non dover controllare.
Dove usarlo, e con quali cautele
- Usalo prima di tutto sui riassunti. Riunioni, catene di email lunghe, documenti che devi leggere ma non studiare. È l’uso con l’evidenza migliore, e guarda caso è anche il meno rischioso.
- Dagli il contesto che tu hai e lui no. Chi legge, a che serve, cosa è già stato deciso. Le indicazioni generali sono in scrivere prompt efficaci.
- Metti in ordine i file prima di aspettarti magie. Microsoft 365 Copilot pesca dall’indice aziendale: se il documento giusto ha un nome inutile ed è in una cartella condivisa a caso, non lo troverà.
- Non fidarti dei numeri in Excel senza ricontrollare. Chiedi la formula e verifica un caso a mano. È il punto in cui un errore plausibile passa inosservato più facilmente.
- Su codice generato, rivedi prima le parti relative a sicurezza e input esterni. È esattamente dove Pearce e Perry trovano i problemi.
- Verifica le attribuzioni nei riassunti di riunione. “Chi ha detto cosa” e “chi si è preso quale azione” sono i due campi in cui un riassunto sbagliato crea conseguenze organizzative reali.
- Misura i tuoi tempi, non fidarti della sensazione. Vale in generale, ma qui c’è una misurazione diretta che dice che la sensazione può sbagliarsi di segno.
Cosa ne penso: conta più l’ordine dei dati che il modello
Penso che il valore di Microsoft 365 Copilot dipenda molto più dallo stato dei dati aziendali che dal modello, e che sia questa la ragione per cui le esperienze raccontate dalle persone sono così diverse tra loro. In un’azienda con documenti ordinati e canali sensati funziona; in una con quindici cartelle chiamate “Definitivo” no. Nessuna delle due cose riguarda l’intelligenza artificiale.
Trovo anche che la promessa delle “ore risparmiate ogni settimana” sia il pezzo di comunicazione meno verificabile del settore, perché nasce quasi sempre da autovalutazioni. Gli unici numeri su cui mi baserei sono quelli che vengono da esperimenti randomizzati, e quei numeri sono più bassi e più selettivi.
Una convinzione personale, da prendere come tale: il vantaggio competitivo non starà nell’avere Copilot, che avranno tutti, ma nel sapere quali tre compiti darle e quali venti no.
Domande frequenti
Copilot legge i miei documenti aziendali? Microsoft 365 Copilot accede a quello a cui hai già accesso tu, tramite l’indice di ricerca dell’organizzazione. È il motivo per cui i permessi mal configurati diventano visibili in fretta quando lo si attiva.
È incluso nel mio abbonamento Office? Le versioni integrate nelle applicazioni sono in genere una licenza aggiuntiva a pagamento, distinta dal Copilot consumer gratuito. Le condizioni cambiano spesso: va verificato sul contratto della tua organizzazione.
Quanto tempo fa risparmiare davvero? Molto su compiti di sintesi, poco o niente su compiti di creazione. È il risultato che emerge dagli studi randomizzati, incluso quello interno a Microsoft.
Conviene più Copilot o un assistente conversazionale generico? Dipende dal compito. Il vantaggio specifico di Copilot è l’accesso ai tuoi dati; se il compito non ha bisogno di quelli, il vantaggio si riduce molto.
Posso fidarmi del codice che genera? Come di una prima versione scritta da qualcuno che non conosce il tuo contesto. Gli studi su sicurezza citati sopra dicono che la revisione non è opzionale.
Fonti
- Cambon, A., et al. (2023). Early LLM-based Tools for Enterprise Information Workers Likely Provide Meaningful Boosts to Productivity. Microsoft Research Technical Report MSR-TR-2023-43. Lo studio randomizzato interno.
- Peng, S., Kalliamvakou, E., Cihon, P., & Demirer, M. (2023). The Impact of AI on Developer Productivity: Evidence from GitHub Copilot. arXiv 2302.06590. I 95 sviluppatori e il -55,8%.
- Becker, J., et al. (2025). Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity. METR. Il -19% con percezione invertita.
- Vaithilingam, P., Zhang, T., & Glassman, E. L. (2022). Expectation vs. Experience: Evaluating the Usability of Code Generation Tools Powered by Large Language Models. CHI ‘22 Extended Abstracts.
- Pearce, H., Ahmad, B., Tan, B., Dolan-Gavitt, B., & Karri, R. (2022). Asleep at the Keyboard? Assessing the Security of GitHub Copilot’s Code Contributions. IEEE Symposium on Security and Privacy. Il ~40% di programmi vulnerabili.
- Perry, N., Srivastava, M., Kumar, D., & Boneh, D. (2023). Do Users Write More Insecure Code with AI Assistants? ACM CCS ‘23. Codice meno sicuro e maggiore fiducia.
- Dell’Acqua, F., et al. (2023). Navigating the Jagged Technological Frontier. Harvard Business School Working Paper 24-013.
- Noy, S., & Zhang, W. (2023). Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence. Science, 381(6654), 187-192.
- Parasuraman, R., & Manzey, D. H. (2010). Complacency and Bias in Human Use of Automation. Human Factors, 52(3), 381-410. Il meccanismo per cui il monitoraggio cala quando il sistema sembra affidabile.
- Brynjolfsson, E., Li, D., & Raymond, L. (2025). Generative AI at Work. Quarterly Journal of Economics, 140(2).
Questo articolo è stato scritto seguendo il processo descritto in come scriviamo. Se trovi un dato riportato male, scrivimi: lo correggo e lo segnalo in fondo all’articolo.



