El consejo más extendido para quien quiere empezar con los datos es elegir la herramienta: Excel, SQL, Python, un curso de cuadros de mando. Es un consejo que ignora el resultado experimental más importante de este campo.
En 2018 Raphael Silberzahn y Eric Uhlmann publicaron, en Advances in Methods and Practices in Psychological Science, un experimento que merece la pena contar entero. Dieron a 29 equipos de investigación independientes, 61 analistas en total, el mismo conjunto de datos y la misma pregunta: ¿los árbitros de fútbol sacan más tarjetas rojas a los jugadores de piel más oscura?
Los resultados:
- 20 equipos encontraron un efecto estadísticamente significativo, 9 no.
- Las estimaciones del efecto iban de alrededor de 0,89 (sin efecto, o ligeramente inverso) a 2,93 (efecto fuerte).
- Los equipos usaron veintiuna estrategias analíticas distintas, todas defendibles.
- Ni siquiera la revisión entre los equipos hizo converger las respuestas.
Mismos datos, misma pregunta, respuesta distinta. No por incompetencia: eran todos investigadores cualificados, y cada elección tomada por separado era razonable.
No es un caso aislado
En 2020 Rotem Botvinik-Nezer y colegas replicaron el mismo diseño en un terreno mucho más técnico, publicando en Nature: 70 equipos independientes analizaron el mismo conjunto de datos de resonancia magnética funcional, contrastando nueve hipótesis predefinidas. Ninguna pareja de equipos usó el mismo procedimiento. Para la mayoría de las hipótesis, las conclusiones de los equipos se contradecían entre sí.
El fenómeno tiene nombre: grados de libertad del investigador. Joseph Simmons, Leif Nelson y Uri Simonsohn lo demostraron en 2011 en Psychological Science, en un artículo titulado provocativamente False-Positive Psychology. Mostraban, con simulaciones y con un experimento real, que si un analista se permite decisiones flexibles (cuándo parar la recogida, qué variables de control incluir, qué observaciones excluir) la probabilidad de encontrar un resultado “significativo” por puro azar sube muy por encima del 5% declarado. Con cuatro decisiones flexibles combinadas superaban el 60%.
El riesgo en el análisis de datos no es equivocarse en un cálculo. Es encadenar decisiones razonables una a una que llevan a una conclusión falsa.
El gráfico que te miente, demostrado
En 1973 Francis Anscombe construyó cuatro conjuntos de datos con medias, varianzas, correlación y recta de regresión prácticamente idénticas, y aspectos completamente distintos al dibujarlos: uno lineal, uno curvo, uno donde un solo valor atípico manda sobre todo.
Justin Matejka y George Fitzmaurice extendieron la idea en 2017, en un artículo presentado en la conferencia CHI: construyeron algorítmicamente familias de conjuntos de datos con las mismas estadísticas descriptivas hasta dos decimales, uno de los cuales dibuja un dinosaurio. El mensaje es el de Anscombe, con una demostración más difícil de ignorar: las estadísticas resumen por sí solas no te dicen qué forma tienen los datos.
Y luego está el caso más famoso de conclusión invertida por la agregación. En 1975 Peter Bickel, Eugene Hammel y William O’Connell publicaron en Science el análisis de las admisiones de posgrado de Berkeley: en el agregado, las mujeres eran admitidas a una tasa más baja, lo que parecía discriminación. Mirando departamento por departamento, la mayoría admitía a las mujeres a una tasa igual o superior. Las mujeres solicitaban en mayor número en departamentos con tasas de admisión más bajas para todos. Es la paradoja de Simpson, y no es una curiosidad: es la razón por la que una media de empresa puede decir lo contrario que cada uno de sus componentes.
Entonces, ¿qué significa “ser bueno con los datos”?
De las tres evidencias anteriores se extrae una definición utilizable, y no tiene que ver con la herramienta:
| Competencia | De qué protege |
|---|---|
| Definir la pregunta antes de abrir el archivo | De los grados de libertad |
| Mirar la distribución, no solo la media | Del cuarteto de Anscombe |
| Desagregar por subgrupos | De la paradoja de Simpson |
| Declarar de antemano las decisiones analíticas | Del p-hacking involuntario |
| Conocer la procedencia del dato | De los errores de medición previos |
Ninguna de ellas exige saber programar. Todas cambian el resultado más que cualquier librería.
Sobre la parte de representación hay una evidencia experimental a menudo ignorada: William Cleveland y Robert McGill midieron en 1984, en el Journal of the American Statistical Association, con qué precisión leen las personas las distintas codificaciones gráficas. La posición sobre una escala común, que es lo que hace un gráfico de barras, se lee mucho mejor que ángulos y áreas, que es lo que hace un gráfico de tarta. “No uses tartas” no es cuestión de gusto: es un resultado medido.
Cuatro hábitos antes de tocar los números
- Escribe la pregunta antes de abrir los datos. Una frase, con el criterio de respuesta. Es la defensa más barata contra los grados de libertad.
- Mira siempre la forma, no solo el resumen. Un histograma y un diagrama de dispersión antes de cualquier media. Anscombe es de 1973 y se sigue ignorando.
- Desagrega. Si el dato agregado dice algo sorprendente, rómpelo por subgrupos antes de creértelo.
- Aprende SQL antes que Python. La mayor parte del trabajo real es seleccionar, filtrar y agregar, y SQL hace exactamente eso con una semana de estudio.
- Aprende a leer un intervalo de confianza. Saber cuánta incertidumbre tiene una estimación cuenta más que saber calcularla.
- Usa la IA como asistente de sintaxis, no de juicio. Genera bien la consulta, no decide si la pregunta tiene sentido. He escrito sobre ello en cómo usar ChatGPT en el trabajo.
- Presenta la incertidumbre, no la escondas. Quien entrega un número sin margen entrega una decisión disfrazada de medición. Vale también para cómo se da feedback.
Lo que pienso: la pregunta se escribe antes de abrir el archivo
Creo que el error más caro que veo no es técnico sino de secuencia: se abre el archivo, se miran los números y la pregunta se forma después. A partir de ahí cualquier análisis es una búsqueda de confirmación, incluso de buena fe. El experimento de los 29 equipos dice exactamente eso: cuando el camino está abierto, el analista lo recorre de forma coherente con sus propias expectativas sin darse cuenta.
También tengo la impresión de que los cursos introductorios tienen el orden equivocado. Enseñan primero las herramientas y luego, si sobra tiempo, la interpretación. Pero la herramienta equivocada produce un error visible; la interpretación equivocada produce un error que nadie nota y que acaba en una decisión.
No tengo un estudio que lo pruebe, pero lo creo: la competencia que más se paga en una empresa no es saber construir el modelo, es saber explicar a quien decide por qué un número no responde a la pregunta que se está haciendo.
Preguntas frecuentes
¿Tengo que aprender Python? No para empezar. SQL y una buena hoja de cálculo cubren la mayor parte del trabajo analítico de empresa. Python hace falta cuando lo exigen el volumen o la repetición.
¿Excel sigue siendo suficiente? Para análisis de hasta unos cientos de miles de filas, sí. El límite de Excel no es la potencia, es la trazabilidad: es difícil reconstruir qué decisiones tomaste, que es precisamente el problema de los 29 equipos.
¿Cuánto se tarda en ser operativo? Para SQL básico y lectura correcta de gráficos, unas pocas semanas de práctica regular. Para el juicio analítico, mucho más: es una competencia que se construye sobre los errores cometidos.
¿La IA hace inútil aprender análisis? Acelera la parte ejecutiva y no toca la parte de juicio. Al contrario: al bajar el coste de producir análisis, aumenta el valor de saber distinguir los buenos. He escrito sobre ello en pensamiento crítico.
¿Es cierto que el 80% del tiempo es limpieza de datos? Es una cifra repetida en todas partes sin una fuente sólida. Las encuestas profesionales disponibles dan números más bajos, en torno al 40-45%. Sigue siendo la parte más larga del trabajo, pero el 80% es un dato sin padre.
Fuentes
- Silberzahn, R., Uhlmann, E. L., et al. (2018). Many Analysts, One Data Set: Making Transparent How Variations in Analytic Choices Affect Results. Advances in Methods and Practices in Psychological Science, 1(3), 337-356. El experimento de los 29 equipos.
- Botvinik-Nezer, R., et al. (2020). Variability in the Analysis of a Single Neuroimaging Dataset by Many Teams. Nature, 582, 84-88. La réplica con 70 equipos.
- Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant. Psychological Science, 22(11), 1359-1366. Los grados de libertad del investigador.
- Anscombe, F. J. (1973). Graphs in Statistical Analysis. The American Statistician, 27(1), 17-21. El cuarteto.
- Matejka, J., & Fitzmaurice, G. (2017). Same Stats, Different Graphs. Proceedings of the CHI Conference on Human Factors in Computing Systems, 1290-1294. La generación algorítmica de datos con estadísticas idénticas.
- Bickel, P. J., Hammel, E. A., & O’Connell, J. W. (1975). Sex Bias in Graduate Admissions: Data from Berkeley. Science, 187(4175), 398-404. La paradoja de Simpson en su caso más conocido.
- Cleveland, W. S., & McGill, R. (1984). Graphical Perception: Theory, Experimentation, and Application to the Development of Graphical Methods. Journal of the American Statistical Association, 79(387), 531-554. Qué codificaciones gráficas se leen con más precisión.
- Gelman, A., & Loken, E. (2013). The Garden of Forking Paths. Documento de trabajo, Columbia University. Por qué el problema existe incluso sin intención de hacer trampa.
- Ioannidis, J. P. A. (2005). Why Most Published Research Findings Are False. PLoS Medicine, 2(8), e124. El cuadro general sobre flexibilidad analítica y fiabilidad.
- Wasserstein, R. L., & Lazar, N. A. (2016). The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician, 70(2), 129-133. La posición oficial sobre el uso y abuso de la significatividad.
Este artículo se ha escrito siguiendo el proceso descrito en cómo escribimos. Si encuentras un dato mal reportado, escríbeme: lo corrijo y lo señalo al final del artículo.



