Ir al contenido
Atrás

Microsoft Copilot: qué dicen los ensayos controlados (y qué no)

Ilustración del asistente de IA Copilot integrado en las herramientas de trabajo

Las demos de Copilot muestran siempre el mismo momento: acaba una reunión, el asistente produce un resumen con las decisiones tomadas y las acciones asignadas, todos asienten. Es la escena correcta, por una razón que las demos no cuentan. Esa tarea concreta es también la única en la que los experimentos controlados encuentran un efecto grande y estable.

En las demás, mucho menos.

Primero: qué Copilot

El nombre cubre tres productos distintos que se confunden continuamente, y la confusión lleva a juzgar uno con los datos de otro.

NombreQué esDónde vive
Copilot (consumo)Asistente conversacional genéricoWeb, app, barra de Windows
Microsoft 365 CopilotAsistente integrado con acceso a tus datos de empresaWord, Excel, Outlook, Teams, PowerPoint
GitHub CopilotAutocompletado y generación de códigoEditor de código

La línea que importa es la segunda: Microsoft 365 Copilot ve el contenido de tu organización —mensajes, archivos, calendario— a través del índice de búsqueda corporativo. De ahí viene su utilidad real, y también por eso su calidad depende de lo ordenados que estén los datos de tu empresa, no solo del modelo.

La cifra que midió la propia Microsoft

En 2023 un grupo de investigación de Microsoft publicó un estudio aleatorizado con trabajadores del conocimiento que usaban una versión inicial de estas herramientas. Vale la pena leerlo precisamente porque viene de la empresa que vende el producto: los resultados son más contenidos de lo que sugeriría una comunicación de marketing.

El cuadro que emerge:

El patrón se explica bien. Resumir es una tarea en la que todo el material necesario ya está dado, la respuesta correcta se verifica en segundos y la parte aburrida es puramente mecánica. Escribir un documento nuevo no tiene ninguna de esas tres propiedades.

El caso del código: dos cifras opuestas

Sobre GitHub Copilot existen los datos más nítidos, y son contradictorios solo en apariencia.

En 2023 Peng y colegas realizaron un experimento aleatorizado con 95 desarrolladores a los que se pidió escribir un servidor HTTP en JavaScript. El grupo con Copilot terminó un 55,8% más rápido. Es la cifra que siempre se cita.

En 2025 el grupo METR midió a 16 desarrolladores expertos en 246 tareas reales de sus propios proyectos de código abierto. Con las herramientas de IA fueron un 19% más lentos, creyendo haber sido más rápidos.

La diferencia no está en la calidad de la herramienta, está en la tarea. La primera era un problema cerrado, estándar, con millones de ejemplos análogos en los datos de entrenamiento. La segunda eran cambios en bases de código grandes y llenas de convenciones implícitas. Un estudio de 2022 de Vaithilingam y colegas ya había observado algo coherente: los participantes con el asistente no completaban las tareas significativamente más rápido, pero les costaba bastante entender y corregir el código generado cuando estaba mal.

La parte incómoda: la seguridad

Aquí las cifras son concretas y conviene conocerlas, aunque no escribas código, porque describen un mecanismo general.

Hammond Pearce y colegas publicaron en 2022, en el IEEE Symposium on Security and Privacy, un estudio titulado Asleep at the Keyboard. Construyeron escenarios dirigidos a debilidades conocidas e hicieron que el asistente completara el código. Alrededor del 40% de los programas generados en situaciones relevantes para la seguridad contenía una vulnerabilidad.

Al año siguiente Neil Perry y colegas publicaron en ACM CCS un estudio controlado con participantes humanos. Quienes tenían el asistente escribían código significativamente menos seguro y, al mismo tiempo, estaban más convencidos de haber escrito código seguro que el grupo sin asistente.

Es el mismo patrón que el resultado de METR sobre la velocidad: el rendimiento baja y la confianza sube. No es un defecto de un producto, es un efecto predecible de cualquier sistema que produce resultados plausibles con tono uniforme.

El riesgo no es que Copilot se equivoque. Es que te convenza de no comprobar.

Dónde usarlo, y con qué precauciones

  1. Úsalo sobre todo para resúmenes. Reuniones, cadenas de correo largas, documentos que debes leer pero no estudiar. Es el uso con mejor evidencia y, casualmente, también el menos arriesgado.
  2. Dale el contexto que tú tienes y él no. Quién lee, para qué sirve, qué ya está decidido. Las indicaciones generales están en escribir prompts eficaces.
  3. Ordena los archivos antes de esperar magia. Microsoft 365 Copilot pesca del índice corporativo: si el documento correcto tiene un nombre inútil y está en una carpeta compartida al azar, no lo encontrará.
  4. No te fíes de los números en Excel sin recomprobar. Pide la fórmula y verifica un caso a mano. Es donde un error plausible pasa desapercibido con más facilidad.
  5. En código generado, revisa primero las partes de seguridad y de entrada externa. Es exactamente donde Pearce y Perry encuentran los problemas.
  6. Verifica las atribuciones en los resúmenes de reunión. “Quién dijo qué” y “quién asumió qué acción” son los dos campos donde un resumen equivocado crea consecuencias organizativas reales.
  7. Mide tus tiempos, no te fíes de la sensación. Vale en general, pero aquí hay una medición directa que dice que la sensación puede equivocarse de signo.

Lo que pienso: importa más el orden de los datos que el modelo

Creo que el valor de Microsoft 365 Copilot depende mucho más del estado de los datos corporativos que del modelo, y que por eso las experiencias que cuenta la gente son tan distintas entre sí. En una empresa con documentos ordenados y canales sensatos funciona; en una con quince carpetas llamadas “Definitivo” no. Ninguna de las dos cosas tiene que ver con la inteligencia artificial.

También me parece que la promesa de las “horas ahorradas cada semana” es la pieza de comunicación menos verificable del sector, porque nace casi siempre de autoevaluaciones. Las únicas cifras en las que me basaría son las que vienen de experimentos aleatorizados, y esas cifras son más bajas y más selectivas.

Una convicción personal, que hay que tomar como tal: la ventaja competitiva no estará en tener Copilot, que lo tendrá todo el mundo, sino en saber qué tres tareas darle y qué veinte no.

Preguntas frecuentes

¿Copilot lee mis documentos de empresa? Microsoft 365 Copilot accede a aquello a lo que tú ya tienes acceso, mediante el índice de búsqueda de la organización. Por eso los permisos mal configurados se hacen visibles enseguida al activarlo.

¿Está incluido en mi suscripción de Office? Las versiones integradas en las aplicaciones suelen ser una licencia adicional de pago, distinta del Copilot de consumo gratuito. Las condiciones cambian a menudo: hay que verificarlo en el contrato de tu organización.

¿Cuánto tiempo ahorra de verdad? Mucho en tareas de síntesis, poco o nada en tareas de creación. Es el resultado que emerge de los estudios aleatorizados, incluido el interno de Microsoft.

¿Conviene más Copilot o un asistente conversacional genérico? Depende de la tarea. La ventaja específica de Copilot es el acceso a tus datos; si la tarea no los necesita, la ventaja se reduce mucho.

¿Puedo fiarme del código que genera? Como de una primera versión escrita por alguien que no conoce tu contexto. Los estudios de seguridad citados arriba dicen que la revisión no es opcional.

Fuentes

Este artículo se ha escrito siguiendo el proceso descrito en cómo escribimos. Si encuentras un dato mal reportado, escríbeme: lo corrijo y lo señalo al final del artículo.

Fundador de UpSkillLab, con un Máster en Marketing Digital por la Universidad de Florencia. Cada artículo parte de fuentes públicas citadas en el texto y se redacta con la ayuda de herramientas de inteligencia artificial, bajo mi revisión y responsabilidad editorial: sin contenido comprado, nada publicado sin control humano. Lee el método editorial o señálame un error.


Comparte este artículo:

Ver todos los artículos de IA en el Trabajo

Artículo anterior
Empleos del futuro: el 60% de los de hoy no existía en 1940
Artículo siguiente
Portfolio online: funciona porque es una muestra de trabajo, no porque sea bonito