El poder observado: hacia resultados más robustos y confiables en investigación organizacional
La ciencia de la administración enfrenta un desafío crucial: garantizar que los resultados estadísticos sean realmente sólidos y replicables.
Durante el seminario académico organizado por el Departamento de Administración de la Facultad de Economía y Negocios de la Universidad de Chile, el académico Paul Bliese, de la Universidad de Carolina del Sur, presentó la exposición “Revisiting Observed Power: Are Results Internally Robust? ”. En ella propuso una métrica práctica para evaluar la robustez interna de los hallazgos empíricos, transformando la manera en que los investigadores interpretan el poder y la significancia estadística.
El problema de la replicación en grandes muestras
Una de las paradojas más desconcertantes de la investigación empírica contemporánea es que incluso los estudios con muestras masivas pueden fallar al intentar replicar sus propios resultados. Durante su presentación Bliese ilustró este punto con un caso del Master HR Capstone Analytics Project de la Universidad de South Carolina, que analizó más de 260.000 respuestas de empleados de una empresa de administración de beneficios, para predecir la elección de planes de salud de alto deducible. A pesar del tamaño muestral, un efecto significativo en la muestra de entrenamiento (40% de la data) no se replicó en la muestra de validación (60% de la data), revelando una brecha crítica entre el tamaño de los datos y la robustez estadística.
Del poder estadístico al poder observado
El poder estadístico, difundido por Jacob Cohen (1992), representa la probabilidad de detectar un efecto real cuando este existe, aunque en la práctica suele ser un aspecto poco considerado en los análisis. En su propuesta, Paul Bliesereintroduce el concepto de “poder observado” (observed power) como una herramienta empírica y más comprensible para examinar la estabilidad de los resultados dentro de una misma muestra. A diferencia del enfoque tradicional, que parte del supuesto de un efecto verdadero y fijo, el poder observado estima la probabilidad de que un resultado significativo se mantenga al repetir el análisis sobre los mismos datos, ofreciendo así una medida directa de robustez interna.
El método: bootstrap no paramétrico
En esta misma línea y para estimar esta robustez, Bliese usa bootstrap no paramétrico, una técnica computacional que re-muestrea los datos con reemplazo miles de veces para generar intervalos de confianza más realistas y observar la frecuencia de significancia estadística.
El método, ampliamente disponible en softwares estadísticos, permite transformar una sola base de datos en miles de datasets virtuales, calculando la proporción de veces en que un coeficiente resulta significativo. Así, la robustez de un hallazgo puede expresarse como un porcentaje: por ejemplo, “el 86% de las veces el efecto se mantiene significativo”
La ilusión de la replicación
Asimismo, el académico advierte que muchos investigadores caen en la “ilusión de la replicación” (replication delusion, Gigerenzer, 2018), es decir, suponer que un valor p de 0.05 implica un 95% de probabilidad de que el resultado se replique.
Su demostración empírica revela que esa creencia es errónea: un coeficiente significativo puede perder su significancia en casi la mitad de las réplicas simuladas, incluso utilizando la misma base de datos
La métrica unificada del poder observado
El Dr. Paul Bliese concluyó su exposición con una regla sencilla pero poderosa para fortalecer los estándares analíticos: los valores t o z superiores a 2.81 (o p-valores inferiores a 0.005) corresponden a resultados con aproximadamente 80% de poder observado. Incorporar esta métrica transforma la forma en que académicos y consultores interpretan, presentan y comunican sus hallazgos, al destacar solo aquellos efectos con alta probabilidad de replicarse como verdaderamente robustos. Esta recomendación busca elevar el estándar de significancia, favoreciendo interpretaciones basadas en la consistencia de los resultados más que en el tradicional umbral p<0.05.
Este cálculo ofrece una estimación inmediata de la probabilidad de replicación interna. Por ejemplo, un valor t de -2.32 equivale a un poder observado de 0.64, lo que implica que en cerca del 36% de las réplicas el resultado dejaría de ser significativo, incluso utilizando el mismo conjunto de datos.
Un cambio en la forma de leer y presentar resultados
El enfoque del poder observado no solo fortalece la transparencia científica, sino que también redefine la manera en que los investigadores interpretan y comunican sus hallazgos, tanto en el ámbito académico como en la práctica organizacional.
Al cuantificar la robustez interna de los resultados, se trasciende la tradicional dicotomía entre lo “significativo” y lo “no significativo”, favoreciendo una lectura más matizada y honesta de la evidencia empírica.
Como enfatizó Bliese, comprender el poder observado transforma la forma en que analizamos, reportamos y aplicamos los resultados, acercando la investigación a un estándar de replicabilidad más confiable y éticamente responsable.
