Divide un conjunto de datos en subgrupo tras subgrupo hasta que el azar te regale un p < 0,05; después, mira cómo una muestra nueva decide si tu hallazgo era real o pura casualidad.
El tratamiento no tiene ningún efecto real, así que cualquier significancia que encuentres es ruido. Filtra los datos en subgrupos y repite la prueba tantas veces como haga falta hasta tropezar con un valor p menor que 0,05; luego envía tu "hallazgo" al árbitro. El giro: una prueba de replicación toma una muestra independiente nueva y vuelve a comprobar exactamente tu afirmación. Los efectos reales sobreviven; los p-hacks se esfuman, y esa diferencia es la lección.
Cherry Picker trata sobre el p-hacking, las comparaciones múltiples y por qué la replicación importa para la integridad de las estadísticas.
Filtrar en subgrupos y repetir la prueba hasta que algo resulte significativo es el dragado de datos, o p-hacking: realizar muchas pruebas y comunicar solo las que salen significativas.
El diseño original es que el tratamiento no tiene ningún efecto real, así que todo resultado que encuentres es ruido por construcción.
Es la única forma honesta de enseñarlo. Contado en abstracto, el p-hacking suena a una trampa que una persona cuidadosa nunca cometería; practicarlo con datos que se garantiza que están vacíos muestra con qué facilidad aparece la significación, y esto es el problema de las comparaciones múltiples y no un defecto de carácter.
Cherry Picker es un juego de estadística sobre el p-hacking, las comparaciones múltiples y la importancia de replicar resultados. Es un juego original y gratuito para navegador creado para PlayPendium.