Crisis de replicabilidad: solo la mitad de los estudios en ciencias sociales resiste nuevas pruebas

Un ambicioso proyecto internacional publicado en la revista Nature encendió las alertas en la comunidad científica: apenas un 49% de los estudios en ciencias sociales logra replicarse de manera independiente. El hallazgo no solo tensiona la credibilidad de la investigación académica, sino que también abre un debate profundo sobre cómo se produce, valida y utiliza la evidencia en la toma de decisiones.

El estudio, desarrollado en el marco del proyecto Systematizing Confidence in Open Research and Evidence (SCORE),reunió a cerca de 280 investigadores de 31 países y analizó 164 investigaciones publicadas en revistas líderes de disciplinas como economía, educación, psicología y sociología. Su conclusión es clara: cerca de la mitad de los resultados no logra sostenerse al ser sometido a nuevas pruebas independientes.

En este esfuerzo global participaron los académicos del Departamento de Administración FEN de la Universidad de Chile, Lyonel Laulié e Ignacio Pavez, coautores del paper “Investigating the replicability of the social and behavioural sciences”.

“Estar en Nature valida que el trabajo hecho desde Chile está a la vanguardia global y contribuye a robustecer la credibilidad de las ciencias sociales”, afirma Laulié, quien destaca además que fueron de los pocos representantes latinoamericanos en el estudio. 

Por su parte, Pavez, subraya el impacto institucional que implica este logro: “Participar en una colaboración internacional de esta envergadura posiciona a FEN en la vanguardia de la metaciencia, donde no solo se genera conocimiento, sino que se estudia cómo se produce”.

Más allá de la academia: impacto en la toma de decisiones

Las implicancias del estudio transcienden el mundo académico. En un contexto donde gobiernos y organizaciones diseñan políticas basadas en evidencia, la confiabilidad de esa evidencia se vuelve crítica.

“La ciencia avanza bajo la premisa de que, si un hallazgo es real, otros investigadores deberían poder repetirlo y obtener resultados similares”, explica Laulié. Sin embargo, advierte que el estudio demuestra que “Muchos resultados positivos originales no se sostienen cuando se intentan replicar de manera independiente”, lo que revela no solo un problema de replicación, sino también un exceso de confianza en resultados que podrían ser casos aislados.

Pavez coincide: “Existe una brecha importante entre lo que se publica y lo que realmente se puede replicar, lo que genera incertidumbre sobre qué tan sólidos son los cimientos de muchas teorías que damos por sentadas”.

Sin señales claras para anticipar qué estudios son confiables

Uno de los hallazgos más complejos es que no existen indicadores claros para anticipar qué investigaciones resistirán procesos de replicación.  Ni métricas tradicionales ni herramientas avanzadas, como modelos de inteligencia artificial o mercados de predicción, lograron identificar patrones consistentes.

Sin embargo, el estudio sí detectó un factor clave: la transparencia. Aquellas investigaciones que compartían abiertamente sus datos y códigos presentaron mayores tasas de reproducibilidad. Aun así, solo un tercio de los estudios cumple con este estándar, evidenciando una brecha relevante.

“Estos resultados nos obligan a movernos hacia una cultura de ciencia abierta”, sostiene el académico Laulié. “Ya no basta con publicar un resultado sorprendente; debemos exigir transparencia total, compartir datos y códigos, y fomentar el pre-registro de estudios”.

En esta misma línea, Pavez plantea un cambio estructural con un llamado a cambiar los incentivos del sistema científico: “Creo que estos hallazgos pueden marcar un cambio de paradigma, dejando de priorizar la novedad por sobre la solidez. La validación ya no puede residir en lo llamativo de un resultado, sino en la trazabilidad completa del proceso”.

Un problema estructural

La replicabilidad tampoco es un concepto único. Dependiendo de la metodología utilizada, las tasas de éxito oscilaron entre un 28,6% y un 74,8%, reflejando la complejidad del fenómeno. Sin embargo, el promedio se mantiene en torno al 50%, consolidando la idea de que la incertidumbre es parte inherente de la investigación en ciencias sociales.

 “Solo el 49,3% de los estudios analizados se replicaron con éxito, y en muchos casos los efectos obvservados fueron signitivamente menores que los reportados”, explica Laulié. Esto sugiere que varios hallazgos iniciales podrían estar sobredimensionados.

 “Los efectos reales suelen ser mucho menores de lo que las publicaciones originales sugieren. Esto es un llamado a profundizar en la calidad de la investigación en nuestros contextos, especialmente en Chile y Latinoamérica”, agrega Pavez.

Un aporte desde Chile al debate global

La participación de Lyonel Laulié e Ignacio Pavez no solo aporta al debate internacional, sino que posiciona a FEN como un actor relevante en la discusión sobre calidad científica y toma de decisiones basada en evidencia.

Ambos académicos participaron directamente en procesos de replicación en contextos locales. “Recolectamos datos primarios en un hospital público en Chile, siguiendo un protocolo estricto y pre-registrado, para verificar si los efectos se mantenían en un contexto distinto”, explica Laulié.

Pavez, en tanto, trabajó en el análisis del trabajo emocional en personal de salud durante la pandemia: “El objetivo era verificar si las hipótesis se sostenían en un contexto cultural distinto, lo cual fue especialmente desafiante por las condiciones del momento”.

Más allá del debate académico, el estudio instala una alerta relevante: si las decisiones públicas y organizacionales se basan en evidencia que no logra sostenerse, los riesgos son significativos.

“La replicabilidad no es solo un problema científico, sino un desafío para la toma de decisiones en la sociedad”, concluye Laulié. “Fortalecer la confianza en la evidencia requiere no solo mejores métodos, sino también un cambio cultural en la forma en que construimos conocimiento”.