Ir al contenido
Atrás

Análisis de datos: 29 equipos, los mismos datos, respuestas distintas

Ilustración de gráficos y datos analizados en un panel de control

El consejo más extendido para quien quiere empezar con los datos es elegir la herramienta: Excel, SQL, Python, un curso de cuadros de mando. Es un consejo que ignora el resultado experimental más importante de este campo.

En 2018 Raphael Silberzahn y Eric Uhlmann publicaron, en Advances in Methods and Practices in Psychological Science, un experimento que merece la pena contar entero. Dieron a 29 equipos de investigación independientes, 61 analistas en total, el mismo conjunto de datos y la misma pregunta: ¿los árbitros de fútbol sacan más tarjetas rojas a los jugadores de piel más oscura?

Los resultados:

Mismos datos, misma pregunta, respuesta distinta. No por incompetencia: eran todos investigadores cualificados, y cada elección tomada por separado era razonable.

No es un caso aislado

En 2020 Rotem Botvinik-Nezer y colegas replicaron el mismo diseño en un terreno mucho más técnico, publicando en Nature: 70 equipos independientes analizaron el mismo conjunto de datos de resonancia magnética funcional, contrastando nueve hipótesis predefinidas. Ninguna pareja de equipos usó el mismo procedimiento. Para la mayoría de las hipótesis, las conclusiones de los equipos se contradecían entre sí.

El fenómeno tiene nombre: grados de libertad del investigador. Joseph Simmons, Leif Nelson y Uri Simonsohn lo demostraron en 2011 en Psychological Science, en un artículo titulado provocativamente False-Positive Psychology. Mostraban, con simulaciones y con un experimento real, que si un analista se permite decisiones flexibles (cuándo parar la recogida, qué variables de control incluir, qué observaciones excluir) la probabilidad de encontrar un resultado “significativo” por puro azar sube muy por encima del 5% declarado. Con cuatro decisiones flexibles combinadas superaban el 60%.

El riesgo en el análisis de datos no es equivocarse en un cálculo. Es encadenar decisiones razonables una a una que llevan a una conclusión falsa.

El gráfico que te miente, demostrado

En 1973 Francis Anscombe construyó cuatro conjuntos de datos con medias, varianzas, correlación y recta de regresión prácticamente idénticas, y aspectos completamente distintos al dibujarlos: uno lineal, uno curvo, uno donde un solo valor atípico manda sobre todo.

Justin Matejka y George Fitzmaurice extendieron la idea en 2017, en un artículo presentado en la conferencia CHI: construyeron algorítmicamente familias de conjuntos de datos con las mismas estadísticas descriptivas hasta dos decimales, uno de los cuales dibuja un dinosaurio. El mensaje es el de Anscombe, con una demostración más difícil de ignorar: las estadísticas resumen por sí solas no te dicen qué forma tienen los datos.

Y luego está el caso más famoso de conclusión invertida por la agregación. En 1975 Peter Bickel, Eugene Hammel y William O’Connell publicaron en Science el análisis de las admisiones de posgrado de Berkeley: en el agregado, las mujeres eran admitidas a una tasa más baja, lo que parecía discriminación. Mirando departamento por departamento, la mayoría admitía a las mujeres a una tasa igual o superior. Las mujeres solicitaban en mayor número en departamentos con tasas de admisión más bajas para todos. Es la paradoja de Simpson, y no es una curiosidad: es la razón por la que una media de empresa puede decir lo contrario que cada uno de sus componentes.

Entonces, ¿qué significa “ser bueno con los datos”?

De las tres evidencias anteriores se extrae una definición utilizable, y no tiene que ver con la herramienta:

CompetenciaDe qué protege
Definir la pregunta antes de abrir el archivoDe los grados de libertad
Mirar la distribución, no solo la mediaDel cuarteto de Anscombe
Desagregar por subgruposDe la paradoja de Simpson
Declarar de antemano las decisiones analíticasDel p-hacking involuntario
Conocer la procedencia del datoDe los errores de medición previos

Ninguna de ellas exige saber programar. Todas cambian el resultado más que cualquier librería.

Sobre la parte de representación hay una evidencia experimental a menudo ignorada: William Cleveland y Robert McGill midieron en 1984, en el Journal of the American Statistical Association, con qué precisión leen las personas las distintas codificaciones gráficas. La posición sobre una escala común, que es lo que hace un gráfico de barras, se lee mucho mejor que ángulos y áreas, que es lo que hace un gráfico de tarta. “No uses tartas” no es cuestión de gusto: es un resultado medido.

Cuatro hábitos antes de tocar los números

  1. Escribe la pregunta antes de abrir los datos. Una frase, con el criterio de respuesta. Es la defensa más barata contra los grados de libertad.
  2. Mira siempre la forma, no solo el resumen. Un histograma y un diagrama de dispersión antes de cualquier media. Anscombe es de 1973 y se sigue ignorando.
  3. Desagrega. Si el dato agregado dice algo sorprendente, rómpelo por subgrupos antes de creértelo.
  4. Aprende SQL antes que Python. La mayor parte del trabajo real es seleccionar, filtrar y agregar, y SQL hace exactamente eso con una semana de estudio.
  5. Aprende a leer un intervalo de confianza. Saber cuánta incertidumbre tiene una estimación cuenta más que saber calcularla.
  6. Usa la IA como asistente de sintaxis, no de juicio. Genera bien la consulta, no decide si la pregunta tiene sentido. He escrito sobre ello en cómo usar ChatGPT en el trabajo.
  7. Presenta la incertidumbre, no la escondas. Quien entrega un número sin margen entrega una decisión disfrazada de medición. Vale también para cómo se da feedback.

Lo que pienso: la pregunta se escribe antes de abrir el archivo

Creo que el error más caro que veo no es técnico sino de secuencia: se abre el archivo, se miran los números y la pregunta se forma después. A partir de ahí cualquier análisis es una búsqueda de confirmación, incluso de buena fe. El experimento de los 29 equipos dice exactamente eso: cuando el camino está abierto, el analista lo recorre de forma coherente con sus propias expectativas sin darse cuenta.

También tengo la impresión de que los cursos introductorios tienen el orden equivocado. Enseñan primero las herramientas y luego, si sobra tiempo, la interpretación. Pero la herramienta equivocada produce un error visible; la interpretación equivocada produce un error que nadie nota y que acaba en una decisión.

No tengo un estudio que lo pruebe, pero lo creo: la competencia que más se paga en una empresa no es saber construir el modelo, es saber explicar a quien decide por qué un número no responde a la pregunta que se está haciendo.

Preguntas frecuentes

¿Tengo que aprender Python? No para empezar. SQL y una buena hoja de cálculo cubren la mayor parte del trabajo analítico de empresa. Python hace falta cuando lo exigen el volumen o la repetición.

¿Excel sigue siendo suficiente? Para análisis de hasta unos cientos de miles de filas, sí. El límite de Excel no es la potencia, es la trazabilidad: es difícil reconstruir qué decisiones tomaste, que es precisamente el problema de los 29 equipos.

¿Cuánto se tarda en ser operativo? Para SQL básico y lectura correcta de gráficos, unas pocas semanas de práctica regular. Para el juicio analítico, mucho más: es una competencia que se construye sobre los errores cometidos.

¿La IA hace inútil aprender análisis? Acelera la parte ejecutiva y no toca la parte de juicio. Al contrario: al bajar el coste de producir análisis, aumenta el valor de saber distinguir los buenos. He escrito sobre ello en pensamiento crítico.

¿Es cierto que el 80% del tiempo es limpieza de datos? Es una cifra repetida en todas partes sin una fuente sólida. Las encuestas profesionales disponibles dan números más bajos, en torno al 40-45%. Sigue siendo la parte más larga del trabajo, pero el 80% es un dato sin padre.

Fuentes

Este artículo se ha escrito siguiendo el proceso descrito en cómo escribimos. Si encuentras un dato mal reportado, escríbeme: lo corrijo y lo señalo al final del artículo.

Fundador de UpSkillLab, con un Máster en Marketing Digital por la Universidad de Florencia. Cada artículo parte de fuentes públicas citadas en el texto y se redacta con la ayuda de herramientas de inteligencia artificial, bajo mi revisión y responsabilidad editorial: sin contenido comprado, nada publicado sin control humano. Lee el método editorial o señálame un error.


Comparte este artículo:

Ver todos los artículos de Competencias y Habilidades

Artículo anterior
Herramientas de IA gratis: el coste real no está en el precio
Artículo siguiente
Hard y soft skills: el 85% no tiene fuente, y la pregunta está mal planteada