Las demos de Copilot muestran siempre el mismo momento: acaba una reunión, el asistente produce un resumen con las decisiones tomadas y las acciones asignadas, todos asienten. Es la escena correcta, por una razón que las demos no cuentan. Esa tarea concreta es también la única en la que los experimentos controlados encuentran un efecto grande y estable.
En las demás, mucho menos.
Primero: qué Copilot
El nombre cubre tres productos distintos que se confunden continuamente, y la confusión lleva a juzgar uno con los datos de otro.
| Nombre | Qué es | Dónde vive |
|---|---|---|
| Copilot (consumo) | Asistente conversacional genérico | Web, app, barra de Windows |
| Microsoft 365 Copilot | Asistente integrado con acceso a tus datos de empresa | Word, Excel, Outlook, Teams, PowerPoint |
| GitHub Copilot | Autocompletado y generación de código | Editor de código |
La línea que importa es la segunda: Microsoft 365 Copilot ve el contenido de tu organización —mensajes, archivos, calendario— a través del índice de búsqueda corporativo. De ahí viene su utilidad real, y también por eso su calidad depende de lo ordenados que estén los datos de tu empresa, no solo del modelo.
La cifra que midió la propia Microsoft
En 2023 un grupo de investigación de Microsoft publicó un estudio aleatorizado con trabajadores del conocimiento que usaban una versión inicial de estas herramientas. Vale la pena leerlo precisamente porque viene de la empresa que vende el producto: los resultados son más contenidos de lo que sugeriría una comunicación de marketing.
El cuadro que emerge:
- En el resumen de reuniones el efecto es grande y claro. Los participantes completaban la tarea sensiblemente más rápido, con valoraciones de calidad mejores de media. En las estimaciones publicadas, del orden de un 30% menos de tiempo.
- En la búsqueda de información dentro de documentos y mensajes el efecto es positivo pero menor.
- En la redacción de documentos los resultados son mixtos, y en algunas condiciones la diferencia no es estadísticamente distinguible de cero.
El patrón se explica bien. Resumir es una tarea en la que todo el material necesario ya está dado, la respuesta correcta se verifica en segundos y la parte aburrida es puramente mecánica. Escribir un documento nuevo no tiene ninguna de esas tres propiedades.
El caso del código: dos cifras opuestas
Sobre GitHub Copilot existen los datos más nítidos, y son contradictorios solo en apariencia.
En 2023 Peng y colegas realizaron un experimento aleatorizado con 95 desarrolladores a los que se pidió escribir un servidor HTTP en JavaScript. El grupo con Copilot terminó un 55,8% más rápido. Es la cifra que siempre se cita.
En 2025 el grupo METR midió a 16 desarrolladores expertos en 246 tareas reales de sus propios proyectos de código abierto. Con las herramientas de IA fueron un 19% más lentos, creyendo haber sido más rápidos.
La diferencia no está en la calidad de la herramienta, está en la tarea. La primera era un problema cerrado, estándar, con millones de ejemplos análogos en los datos de entrenamiento. La segunda eran cambios en bases de código grandes y llenas de convenciones implícitas. Un estudio de 2022 de Vaithilingam y colegas ya había observado algo coherente: los participantes con el asistente no completaban las tareas significativamente más rápido, pero les costaba bastante entender y corregir el código generado cuando estaba mal.
La parte incómoda: la seguridad
Aquí las cifras son concretas y conviene conocerlas, aunque no escribas código, porque describen un mecanismo general.
Hammond Pearce y colegas publicaron en 2022, en el IEEE Symposium on Security and Privacy, un estudio titulado Asleep at the Keyboard. Construyeron escenarios dirigidos a debilidades conocidas e hicieron que el asistente completara el código. Alrededor del 40% de los programas generados en situaciones relevantes para la seguridad contenía una vulnerabilidad.
Al año siguiente Neil Perry y colegas publicaron en ACM CCS un estudio controlado con participantes humanos. Quienes tenían el asistente escribían código significativamente menos seguro y, al mismo tiempo, estaban más convencidos de haber escrito código seguro que el grupo sin asistente.
Es el mismo patrón que el resultado de METR sobre la velocidad: el rendimiento baja y la confianza sube. No es un defecto de un producto, es un efecto predecible de cualquier sistema que produce resultados plausibles con tono uniforme.
El riesgo no es que Copilot se equivoque. Es que te convenza de no comprobar.
Dónde usarlo, y con qué precauciones
- Úsalo sobre todo para resúmenes. Reuniones, cadenas de correo largas, documentos que debes leer pero no estudiar. Es el uso con mejor evidencia y, casualmente, también el menos arriesgado.
- Dale el contexto que tú tienes y él no. Quién lee, para qué sirve, qué ya está decidido. Las indicaciones generales están en escribir prompts eficaces.
- Ordena los archivos antes de esperar magia. Microsoft 365 Copilot pesca del índice corporativo: si el documento correcto tiene un nombre inútil y está en una carpeta compartida al azar, no lo encontrará.
- No te fíes de los números en Excel sin recomprobar. Pide la fórmula y verifica un caso a mano. Es donde un error plausible pasa desapercibido con más facilidad.
- En código generado, revisa primero las partes de seguridad y de entrada externa. Es exactamente donde Pearce y Perry encuentran los problemas.
- Verifica las atribuciones en los resúmenes de reunión. “Quién dijo qué” y “quién asumió qué acción” son los dos campos donde un resumen equivocado crea consecuencias organizativas reales.
- Mide tus tiempos, no te fíes de la sensación. Vale en general, pero aquí hay una medición directa que dice que la sensación puede equivocarse de signo.
Lo que pienso: importa más el orden de los datos que el modelo
Creo que el valor de Microsoft 365 Copilot depende mucho más del estado de los datos corporativos que del modelo, y que por eso las experiencias que cuenta la gente son tan distintas entre sí. En una empresa con documentos ordenados y canales sensatos funciona; en una con quince carpetas llamadas “Definitivo” no. Ninguna de las dos cosas tiene que ver con la inteligencia artificial.
También me parece que la promesa de las “horas ahorradas cada semana” es la pieza de comunicación menos verificable del sector, porque nace casi siempre de autoevaluaciones. Las únicas cifras en las que me basaría son las que vienen de experimentos aleatorizados, y esas cifras son más bajas y más selectivas.
Una convicción personal, que hay que tomar como tal: la ventaja competitiva no estará en tener Copilot, que lo tendrá todo el mundo, sino en saber qué tres tareas darle y qué veinte no.
Preguntas frecuentes
¿Copilot lee mis documentos de empresa? Microsoft 365 Copilot accede a aquello a lo que tú ya tienes acceso, mediante el índice de búsqueda de la organización. Por eso los permisos mal configurados se hacen visibles enseguida al activarlo.
¿Está incluido en mi suscripción de Office? Las versiones integradas en las aplicaciones suelen ser una licencia adicional de pago, distinta del Copilot de consumo gratuito. Las condiciones cambian a menudo: hay que verificarlo en el contrato de tu organización.
¿Cuánto tiempo ahorra de verdad? Mucho en tareas de síntesis, poco o nada en tareas de creación. Es el resultado que emerge de los estudios aleatorizados, incluido el interno de Microsoft.
¿Conviene más Copilot o un asistente conversacional genérico? Depende de la tarea. La ventaja específica de Copilot es el acceso a tus datos; si la tarea no los necesita, la ventaja se reduce mucho.
¿Puedo fiarme del código que genera? Como de una primera versión escrita por alguien que no conoce tu contexto. Los estudios de seguridad citados arriba dicen que la revisión no es opcional.
Fuentes
- Cambon, A., et al. (2023). Early LLM-based Tools for Enterprise Information Workers Likely Provide Meaningful Boosts to Productivity. Microsoft Research Technical Report MSR-TR-2023-43. El estudio aleatorizado interno.
- Peng, S., Kalliamvakou, E., Cihon, P., y Demirer, M. (2023). The Impact of AI on Developer Productivity: Evidence from GitHub Copilot. arXiv 2302.06590. Los 95 desarrolladores y el -55,8%.
- Becker, J., et al. (2025). Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity. METR. El -19% con percepción invertida.
- Vaithilingam, P., Zhang, T., y Glassman, E. L. (2022). Expectation vs. Experience: Evaluating the Usability of Code Generation Tools Powered by Large Language Models. CHI ‘22 Extended Abstracts.
- Pearce, H., Ahmad, B., Tan, B., Dolan-Gavitt, B., y Karri, R. (2022). Asleep at the Keyboard? Assessing the Security of GitHub Copilot’s Code Contributions. IEEE Symposium on Security and Privacy. El ~40% de programas vulnerables.
- Perry, N., Srivastava, M., Kumar, D., y Boneh, D. (2023). Do Users Write More Insecure Code with AI Assistants? ACM CCS ‘23. Código menos seguro y mayor confianza.
- Dell’Acqua, F., et al. (2023). Navigating the Jagged Technological Frontier. Harvard Business School Working Paper 24-013.
- Noy, S., y Zhang, W. (2023). Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence. Science, 381(6654), 187-192.
- Parasuraman, R., y Manzey, D. H. (2010). Complacency and Bias in Human Use of Automation. Human Factors, 52(3), 381-410. El mecanismo por el que la supervisión baja cuando el sistema parece fiable.
- Brynjolfsson, E., Li, D., y Raymond, L. (2025). Generative AI at Work. Quarterly Journal of Economics, 140(2).
Este artículo se ha escrito siguiendo el proceso descrito en cómo escribimos. Si encuentras un dato mal reportado, escríbeme: lo corrijo y lo señalo al final del artículo.



