Vai al contenuto
Indietro

Microsoft Copilot: cosa dicono i test controllati (e cosa no)

Illustrazione dell'assistente AI Copilot integrato negli strumenti di lavoro

Le presentazioni di Copilot mostrano sempre lo stesso momento: una riunione finisce, l’assistente produce un riassunto con le decisioni prese e le azioni assegnate, tutti annuiscono. È la scena giusta, per una ragione che le presentazioni non dicono. Quel compito specifico è anche l’unico su cui gli esperimenti controllati trovano un effetto grande e stabile.

Sugli altri, molto meno.

Prima: quale Copilot

Il nome copre tre prodotti diversi che vengono confusi di continuo, e la confusione porta a valutare uno con i dati di un altro.

NomeCos’èDove vive
Copilot (consumer)Assistente conversazionale genericoSito web, app, barra di Windows
Microsoft 365 CopilotAssistente integrato che accede ai tuoi dati aziendaliWord, Excel, Outlook, Teams, PowerPoint
GitHub CopilotCompletamento e generazione di codiceEditor di codice

La differenza che conta è la seconda riga: Microsoft 365 Copilot vede il contenuto della tua organizzazione (messaggi, file, calendario) tramite l’indice di ricerca aziendale. È da lì che viene la sua utilità reale, ed è anche il motivo per cui la sua qualità dipende da quanto sono ordinati i dati della tua azienda, non solo dal modello.

Il numero che Microsoft stessa ha misurato

Nel 2023 un gruppo di ricerca di Microsoft ha pubblicato uno studio randomizzato su lavoratori della conoscenza che usavano una versione iniziale di questi strumenti. Vale la pena leggerlo proprio perché viene dall’azienda che vende il prodotto: i risultati sono più contenuti di quanto ci si aspetterebbe da una comunicazione di marketing.

Il quadro che emerge:

Lo schema si spiega bene. Il riassunto è un compito in cui tutto il materiale necessario è già dato, la risposta corretta è verificabile in pochi secondi e la parte noiosa è puramente meccanica. La scrittura di un documento nuovo non ha nessuna di queste tre caratteristiche.

Il caso del codice: due numeri opposti

Su GitHub Copilot esistono i dati più netti, e sono contraddittori solo in apparenza.

Nel 2023 Peng e colleghi hanno condotto un esperimento randomizzato su 95 sviluppatori a cui era chiesto di scrivere un server HTTP in JavaScript. Il gruppo con Copilot ha finito il 55,8% più in fretta. È il numero che si cita sempre.

Nel 2025 il gruppo METR ha misurato 16 sviluppatori esperti su 246 compiti reali nei loro stessi progetti open source. Con gli strumenti AI erano il 19% più lenti, pur credendo di essere stati più veloci.

La differenza non è nella qualità dello strumento, è nel compito. Il primo era un problema chiuso, standard, con milioni di esempi analoghi nei dati di addestramento. Il secondo erano modifiche a basi di codice grandi e piene di convenzioni implicite. Uno studio del 2022 di Vaithilingam e colleghi aveva già osservato una cosa coerente: i partecipanti con l’assistente non completavano i compiti significativamente più in fretta, ma faticavano parecchio a capire e correggere il codice generato quando era sbagliato.

La parte scomoda: la sicurezza

Qui i numeri sono specifici e vale la pena conoscerli, anche se non scrivi codice tu, perché descrivono un meccanismo generale.

Hammond Pearce e colleghi hanno pubblicato nel 2022, a IEEE Symposium on Security and Privacy, uno studio intitolato Asleep at the Keyboard. Hanno costruito scenari mirati a debolezze note e fatto completare il codice all’assistente. Circa il 40% dei programmi generati nelle situazioni rilevanti per la sicurezza conteneva una vulnerabilità.

L’anno dopo Neil Perry e colleghi hanno pubblicato a ACM CCS uno studio controllato con partecipanti umani. Chi aveva l’assistente scriveva codice significativamente meno sicuro e, allo stesso tempo, era più convinto di aver scritto codice sicuro rispetto al gruppo senza assistente.

È lo stesso schema del risultato METR sulla velocità: la prestazione peggiora e la fiducia aumenta. Non è un difetto di un prodotto, è un effetto prevedibile di qualunque sistema che produce output plausibili con tono uniforme.

Il rischio non è che Copilot sbagli. È che ti convinca di non dover controllare.

Dove usarlo, e con quali cautele

  1. Usalo prima di tutto sui riassunti. Riunioni, catene di email lunghe, documenti che devi leggere ma non studiare. È l’uso con l’evidenza migliore, e guarda caso è anche il meno rischioso.
  2. Dagli il contesto che tu hai e lui no. Chi legge, a che serve, cosa è già stato deciso. Le indicazioni generali sono in scrivere prompt efficaci.
  3. Metti in ordine i file prima di aspettarti magie. Microsoft 365 Copilot pesca dall’indice aziendale: se il documento giusto ha un nome inutile ed è in una cartella condivisa a caso, non lo troverà.
  4. Non fidarti dei numeri in Excel senza ricontrollare. Chiedi la formula e verifica un caso a mano. È il punto in cui un errore plausibile passa inosservato più facilmente.
  5. Su codice generato, rivedi prima le parti relative a sicurezza e input esterni. È esattamente dove Pearce e Perry trovano i problemi.
  6. Verifica le attribuzioni nei riassunti di riunione. “Chi ha detto cosa” e “chi si è preso quale azione” sono i due campi in cui un riassunto sbagliato crea conseguenze organizzative reali.
  7. Misura i tuoi tempi, non fidarti della sensazione. Vale in generale, ma qui c’è una misurazione diretta che dice che la sensazione può sbagliarsi di segno.

Cosa ne penso: conta più l’ordine dei dati che il modello

Penso che il valore di Microsoft 365 Copilot dipenda molto più dallo stato dei dati aziendali che dal modello, e che sia questa la ragione per cui le esperienze raccontate dalle persone sono così diverse tra loro. In un’azienda con documenti ordinati e canali sensati funziona; in una con quindici cartelle chiamate “Definitivo” no. Nessuna delle due cose riguarda l’intelligenza artificiale.

Trovo anche che la promessa delle “ore risparmiate ogni settimana” sia il pezzo di comunicazione meno verificabile del settore, perché nasce quasi sempre da autovalutazioni. Gli unici numeri su cui mi baserei sono quelli che vengono da esperimenti randomizzati, e quei numeri sono più bassi e più selettivi.

Una convinzione personale, da prendere come tale: il vantaggio competitivo non starà nell’avere Copilot, che avranno tutti, ma nel sapere quali tre compiti darle e quali venti no.

Domande frequenti

Copilot legge i miei documenti aziendali? Microsoft 365 Copilot accede a quello a cui hai già accesso tu, tramite l’indice di ricerca dell’organizzazione. È il motivo per cui i permessi mal configurati diventano visibili in fretta quando lo si attiva.

È incluso nel mio abbonamento Office? Le versioni integrate nelle applicazioni sono in genere una licenza aggiuntiva a pagamento, distinta dal Copilot consumer gratuito. Le condizioni cambiano spesso: va verificato sul contratto della tua organizzazione.

Quanto tempo fa risparmiare davvero? Molto su compiti di sintesi, poco o niente su compiti di creazione. È il risultato che emerge dagli studi randomizzati, incluso quello interno a Microsoft.

Conviene più Copilot o un assistente conversazionale generico? Dipende dal compito. Il vantaggio specifico di Copilot è l’accesso ai tuoi dati; se il compito non ha bisogno di quelli, il vantaggio si riduce molto.

Posso fidarmi del codice che genera? Come di una prima versione scritta da qualcuno che non conosce il tuo contesto. Gli studi su sicurezza citati sopra dicono che la revisione non è opzionale.

Fonti

Questo articolo è stato scritto seguendo il processo descritto in come scriviamo. Se trovi un dato riportato male, scrivimi: lo correggo e lo segnalo in fondo all’articolo.

Fondatore di UpSkillLab, con un Master in Digital Marketing all'Università degli Studi di Firenze. Ogni articolo parte da fonti pubbliche citate nel testo ed è redatto con l'assistenza di strumenti di intelligenza artificiale, sotto la mia revisione e responsabilità editoriale: nessun contenuto comprato, niente pubblicato senza controllo umano. Leggi il metodo editoriale oppure segnalami un errore.


Condividi questo articolo:

Vedi tutti gli articoli di AI sul Lavoro

Articolo precedente
Lavori del futuro: il 60% di quelli di oggi non esisteva nel 1940
Articolo successivo
Portfolio online: funziona perché è un campione di lavoro, non perché è bello