En 2025 el grupo de investigación METR hizo un experimento que nadie esperaba que saliera así. Tomó a 16 desarrolladores de código abierto con años de experiencia en sus propios proyectos, les asignó 246 tareas reales y sorteó cuáles harían con herramientas de IA y cuáles sin ellas.
Antes de empezar, los desarrolladores estimaban que la IA los haría un 24% más rápidos. Al medir los tiempos efectivos, habían sido un 19% más lentos con IA que sin ella. Y aquí está la parte que importa: al terminar seguían creyendo que habían ido un 20% más rápido.
No solo habían fallado la predicción. Habían fallado el recuerdo.
Qué hace realmente un modelo generativo
Antes de los números, el mecanismo, porque explica todo lo demás.
Un modelo de lenguaje no busca información ni razona sobre un archivo. Predice el siguiente fragmento de texto dado todo lo anterior. La arquitectura que hace esto viable a gran escala es el transformer, descrito por Vaswani y colegas en 2017 en un artículo titulado, con cierto descaro, Attention Is All You Need. El mecanismo de atención permite al modelo ponderar qué partes del contexto importan para la palabra siguiente.
En 2020 Kaplan y colegas mostraron que el rendimiento de estos modelos sigue leyes de escala regulares: crece de forma predecible con datos, parámetros y cómputo. Es la razón económica por la que la industria gastó lo que gastó.
De ahí se deriva la propiedad peor entendida. El modelo produce la continuación más plausible, no la verdadera. Emily Bender y colegas, en 2021, usaron la imagen de los loros estocásticos: sistemas que cosen secuencias lingüísticas vistas en entrenamiento sin acceso alguno al significado. La imagen ha sido discutida, pero el punto técnico se sostiene: plausibilidad y verdad son criterios distintos, y el modelo optimiza el primero.
En 2025 un grupo de investigadores de OpenAI añadió una pieza: las alucinaciones no son solo un límite arquitectónico, están también incentivadas por cómo se evalúan los modelos. Si un benchmark da un punto por la respuesta correcta y cero tanto por el error como por “no lo sé”, entonces adivinar es la estrategia óptima. Hemos entrenado sistemas para que nunca admitan ignorancia.
Los números reales, y por qué difieren tanto
Ya existen varios experimentos aleatorizados serios. Todos encuentran efectos positivos. Pero el tamaño varía de un modo que dice más que los números mismos.
| Estudio | Contexto | Efecto |
|---|---|---|
| Noy y Zhang 2023 (Science) | 453 profesionales, escritura de oficina | -40% tiempo, +18% calidad |
| Peng et al. 2023 | 95 desarrolladores, GitHub Copilot | -55,8% tiempo en una tarea concreta |
| Brynjolfsson et al. 2025 (QJE) | 5.179 agentes de atención al cliente | +14% incidencias resueltas/hora |
| Dell’Acqua et al. 2023 | 758 consultores de BCG | +12,2% tareas, +25,1% velocidad |
| METR 2025 | 16 desarrolladores expertos, proyectos propios | -19% velocidad |
¿Cómo conviven un -55,8% y un -19% en el mismo oficio? Mirando quién estaba dentro y qué tenía que hacer.
En el estudio de Peng la tarea era escribir un servidor HTTP en JavaScript desde cero: un problema cerrado, estándar, con millones de ejemplos similares en los datos de entrenamiento. En el estudio de METR las tareas eran cambios en bases de código enormes que los participantes conocían desde hacía años, llenas de convenciones implícitas que el modelo no podía saber.
El primer caso es donde la IA destaca. El segundo es donde el coste de revisar y corregir la salida supera el tiempo ahorrado.
El hallazgo real: la distribución se comprime
El resultado más sólido, y del que menos se habla, es sobre quién gana.
Brynjolfsson, Li y Raymond siguieron a 5.179 agentes de atención al cliente en un despliegue escalonado, lo más parecido a un experimento natural que puede haber dentro de una empresa. El aumento medio fue del 14% de incidencias resueltas por hora. Pero desagregado:
- Agentes novatos o con puntuaciones bajas: hasta +34%.
- Agentes más experimentados y con puntuaciones altas: efecto cercano a cero, en algunas medidas ligeramente negativo.
Noy y Zhang encuentran el mismo patrón en la escritura: la desigualdad entre participantes se reduce, porque quien partía peor mejora mucho más.
La interpretación de los autores es que el modelo codifica y difunde las prácticas de los mejores trabajadores. Quien ya las tenía no recibe nada nuevo. Quien no las tenía las recibe gratis.
Esto invierte la narrativa dominante. La IA generativa no es un multiplicador para quien es bueno. Es un nivelador hacia arriba para quien todavía no lo es, y casi nada para quien ya lo es.
La frontera dentada
Dell’Acqua y colegas dieron a su experimento con 758 consultores de BCG un nombre útil: frontera tecnológica dentada. La IA no es buena en tareas “difíciles” y mala en tareas “fáciles”. Es excelente en algunas tareas y pésima en otras muy cercanas, y el límite entre ambas no es ni intuitivo ni visible.
Su experimento tenía dos tipos de tarea. En la que estaba dentro de la frontera (generar ideas de producto), quienes usaban IA producían más, más rápido y con valoraciones de calidad más de un 40% superiores. En la que estaba fuera, una recomendación que exigía integrar datos cuantitativos con entrevistas cualitativas en las que los números eran engañosos, quienes usaban IA tenían unos 19 puntos porcentuales menos de probabilidad de llegar a la respuesta correcta.
Los autores observaron además dos estrategias de uso. Algunos participantes actuaban como centauros: dividían el trabajo y se quedaban las partes en las que sabían que eran mejores. Otros actuaban como ciborgs: entrelazaban su trabajo con el del modelo en cada paso. Ambas superaban al uso pasivo, que los autores describen como quedarse dormido al volante.
El problema no es que el modelo se equivoque. Es que se equivoca con el mismo tono con el que acierta.
¿Y la economía?
En el plano macro conviene tener presente una voz discordante. Daron Acemoglu estimó en 2024 que, bajo supuestos razonables sobre qué proporción de tareas está realmente expuesta y cuánto se ahorra en cada una, el efecto de la IA sobre la productividad total de los factores es del orden del 0,5-0,7% acumulado en diez años. Una décima parte o menos de lo que sugieren las proyecciones de la banca de inversión.
La estimación es discutida y el propio Acemoglu la califica de prudente. Pero parte de un punto sólido: las ganancias medidas en los experimentos se refieren a tareas aisladas, no a procesos completos. Y los procesos completos contienen esperas, aprobaciones, reuniones y reescrituras que ningún modelo acorta.
Tres hábitos para usarla sin que te engañe
- Mide, no recuerdes. El experimento de METR demuestra que la percepción del tiempo ahorrado es poco fiable incluso en personas competentes. Durante dos semanas anota el tiempo efectivo en tareas similares, con y sin.
- Traza tu frontera. Mantén una lista concreta de qué te hace bien el modelo y qué te hace mal. Es la única competencia específica que exige esta herramienta, y no se transfiere de otros.
- Úsala donde eres débil, no donde eres fuerte. Es literalmente el resultado de Brynjolfsson. En tu oficio principal la ganancia será cercana a cero; en la hoja de cálculo que odias será enorme.
- No delegues tareas en las que los datos engañan. Es exactamente donde los consultores de BCG perdieron 19 puntos. Si la tarea exige darse cuenta de que un número miente, quédatela.
- Pide el razonamiento, no solo la respuesta. No porque el modelo “razone”, sino porque un razonamiento explícito te da algo que verificar. Lo desarrollo en escribir prompts eficaces.
- Verifica siempre nombres, cifras y citas. Son la categoría donde el modelo es más fluido y menos fiable, por la razón estructural explicada arriba.
- Mantén entrenado el juicio. Si dejas de producir primeras versiones, dejas también de reconocer una mala primera versión. El punto se desarrolla en pensamiento crítico.
Mi opinión: cuenta el criterio, no la producción
Creo que “¿la IA me sustituirá?” es la pregunta equivocada, y he escrito sobre ello en IA y trabajo. La pregunta útil, a la luz de esta investigación, es otra: ¿mi valor está en la producción o en el juicio? Porque la producción se está nivelando deprisa y el juicio no.
También sospecho que el mayor riesgo a corto plazo no es el desempleo sino la mediocridad difusa: mucho resultado aceptable, producido por gente que no sabría reconocer uno equivocado. Los 19 puntos perdidos por los consultores de BCG me parecen el dato más importante de todos, y casi nadie lo cita.
Cierro con una apuesta personal que no puedo demostrar: dentro de unos años la competencia distintiva no será escribir mejores prompts. Será saber cuándo cerrar la herramienta.
Preguntas frecuentes
¿La IA generativa entiende lo que escribe? En el sentido en que lo entendemos nosotros, no: predice continuaciones plausibles. Si eso basta para llamarlo comprensión es un debate abierto y legítimo, pero en la práctica conviene asumir que no.
¿Por qué inventa fuentes que no existen? Porque una cita plausible y una real tienen la misma forma estadística. Y porque, como muestran Kalai y colegas, los sistemas de evaluación han premiado el intento frente a la abstención.
Si ya soy bueno en mi trabajo, ¿me sirve? Los datos dicen que la ganancia será pequeña en tu núcleo de competencia y grande en todo lo demás. Lo cual sigue siendo una buena razón para usarla.
Los estudios ya son viejos, los modelos han mejorado. Cierto, y hay que tenerlo en cuenta. Pero el patrón que encuentran los distintos estudios (ganancias concentradas en los menos expertos, frontera impredecible, percepción inflada) no depende de la generación del modelo.
¿Vale la pena aprender a usarla bien? Sí, pero con expectativas calibradas. La diferencia entre usarla mal y usarla bien existe y está documentada. La diferencia entre usarla bien y no usarla es más pequeña de lo que se cuenta.
Fuentes
- Vaswani, A., et al. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems 30. La arquitectura transformer.
- Kaplan, J., et al. (2020). Scaling Laws for Neural Language Models. arXiv 2001.08361. La relación predecible entre escala y rendimiento.
- Bender, E. M., Gebru, T., McMillan-Major, A., y Shmitchell, S. (2021). On the Dangers of Stochastic Parrots. FAccT ‘21, 610-623.
- Kalai, A. T., et al. (2025). Why Language Models Hallucinate. OpenAI. El argumento sobre los incentivos de evaluación.
- Dell’Acqua, F., et al. (2023). Navigating the Jagged Technological Frontier. Harvard Business School Working Paper 24-013. Los 758 consultores de BCG y los 19 puntos perdidos fuera de la frontera.
- Noy, S., y Zhang, W. (2023). Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence. Science, 381(6654), 187-192.
- Brynjolfsson, E., Li, D., y Raymond, L. (2025). Generative AI at Work. Quarterly Journal of Economics, 140(2). Los 5.179 agentes y el +34% en principiantes.
- Peng, S., Kalliamvakou, E., Cihon, P., y Demirer, M. (2023). The Impact of AI on Developer Productivity: Evidence from GitHub Copilot. arXiv 2302.06590.
- Becker, J., et al. (2025). Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity. METR. El -19% y la percepción invertida.
- Acemoglu, D. (2024). The Simple Macroeconomics of AI. Economic Policy. La estimación macro prudente.
Este artículo se ha escrito siguiendo el proceso descrito en cómo escribimos. Si encuentras un dato mal reportado, escríbeme: lo corrijo y lo señalo al final del artículo.



