O termo interno, indicando o trabalho sem escrúpulos dos cientistas, entrou na cultura pop. Isso é bom?
Salve esta história
Salve esta história
Ele entrou no dicionário de dicionário urbano, foi discutido no programa da semana passada hoje à noite com John Oliver, recebeu uma piscadela contra os cartões contra a humanidade e agora apareceu em uma dica no programa de jogos de televisão Jeopardy. Os botânicos científicos da Methad estão se regozijando! O termo “p-hacking” entrou em uso.
Os resultados do estudo podem ser analisados de várias maneiras, e o hacking p significa prática quando os pesquisadores escolhem a análise que fornece um resultado agradável. P significa um significado P, para a unidade estatística complexa engraçada, que, de fato, é uma medida de quão surpreendentes os resultados do estudo seriam se o efeito desejado estivesse ausente.
Suponha que você esteja testando um comprimido da pressão alta e descobri que, em pessoas que tomaram esse remédio, a pressão realmente diminuiu. O valor do valor p é a probabilidade de você encontrar uma diminuição na pressão arterial pelo menos tanto quanto foi medida, mesmo que o medicamento seja falso e não funcione. O valor do valor p, igual a 0, 05, significa que a probabilidade de esse cenário é de apenas 5 %. Como regra geral, o valor do valor p menor que 0, 05 concede ao pesquisador o direito de dizer que o medicamento “estatisticamente significativo” reduziu a pressão arterial.
As revistas geralmente preferem publicar resultados estatisticamente significativos; portanto, os cientistas têm um incentivo para escolher esses métodos de análise de dados que dão valor p menor que 0, 05. Isso é P-Hacking.
“Este é um ótimo nome – curto, fofo, memorável e um pouco ridículo”, diz Regina Nuzzo, escritora científica freelancer e consultora sênior de comunicações estatísticas na American Statistical Association.
Cartas contra a humanidade
Mais popular
A ciência
Uma bomba demográfica de uma ação lenta está prestes a atingir a indústria de carne bovina
Matt Reynolds
Negócios
Dentro do complexo supe r-secreto Mark Zuckerberg no Havaí
Gatrine Skrimjor
Engrenagem
Primeira olhada em Matic, um aspirador de robô processado
Adrienne co
Negócios
Novas declarações de Elon Mask sobre a morte de macacos estimulam novos requisitos para a investigação da Comissão de Valores Mobiliários dos EUA
Dhruv Mehrotra
O termo “P-Hacking” estava em uso quando a psicologia e algumas outras áreas da ciência experimentaram um tipo de crise existencial. Descobertas fundamentais não puderam ser reproduzidas. Resultados absurdos (ESP é uma realidade!) Uma avaliação especializada em respeitados periódicos científicos ocorreu. O trabalho foi realizado para verificar a literatura quanto a trabalhos falsos, e os resultados não foram muito bons. Os pesquisadores começaram a entender que o problema poderia estar em algumas práticas de pesquisa longas e básicas.
Os psicólogos Uri Simonson, Joseph Simmons e Leaf Nelson demonstraram elegantemente esse problema no artigo clássico. No trabalho “Psicologia Falsa positiva”, publicada em 2011, métodos geralmente aceitos foram usados para mostrar que ouvir a música dos Beatles “When IM Sixty-quatro” pode tirar uma pessoa um ano e meio de sua idade. Tudo começou no jantar em uma conferência em que um grupo de pesquisadores discutiu alguns resultados nos quais era difícil para eles acreditarem. Depois disso, Simonson, Simmons e Nelson decidiram verificar como será fácil obter um resultado impossível com um valor p inferior a 0, 05.”Começamos um brainstorming: se queremos mostrar um efeito que não é verdadeiro, como realizar um estudo para obter esse resultado, sem forjar nada?”Simonson me disse.
Eles fizeram sua conclusão absurda usando os “graus da liberdade do pesquisador”. Essas soluções incluem coisas como quais observações medir, quais variáveis comparar, quais fatores combinar e o que controlar. Se os pesquisadores não assumiram obrigações sobre o plano de metodologia e análise com antecedência, tendo registrado anteriormente o estudo, na prática, eles são livres para tomar (ou até alterar) essas decisões no curso do trabalho.
O problema, como mostrou o experimento com as músicas dos Beatles, é que essas liberdades permitem que os pesquisadores manipulem as condições do estudo até que recebam a resposta de que precisam – um equivalente adulto de crianças em uma festa, que pressiona o planeta de Um conselho espiritual enquanto é enquanto ele não pronunciará as palavras de que precisam.
Um ano depois, uma equipe de pesquisadores publicou seu novo nome mais be m-sucedido para esse fenômeno. Em uma conferência sobre psicologia em 2012, Simonson fez um relatório no qual ele usou o termo “P-Hacking”.
Mais popular
A ciência
Uma bomba demográfica de uma ação lenta está prestes a atingir a indústria de carne bovina
Matt Reynolds
Negócios
Dentro do complexo supe r-secreto Mark Zuckerberg no Havaí
Gatrine Skrimjor
Engrenagem
Primeira olhada em Matic, um aspirador de robô processado
Adrienne co
Negócios
Novas declarações de Elon Mask sobre a morte de macacos estimulam novos requisitos para a investigação da Comissão de Valores Mobiliários dos EUA
Dhruv Mehrotra
“Precisávamos de uma palavra mais curta para descrever [este conjunto de comportamentos], e p-dash-alguma coisa parecia uma boa opção”, diz Simmons.”P-hacking era definitivamente um termo melhor do que ‘explorador DOF’ porque poderia ser usado como substantivo ou adjetivo.”
A frase fez sua estreia oficial em um artigo publicado pela equipe em 2014, onde escreveu: “p-hacking pode permitir que os pesquisadores forcem a maioria dos estudos a identificar relações significativas entre variáveis verdadeiramente não relacionadas”.
Eles não foram os primeiros a identificar o que poderia dar errado quando os cientistas exploram os graus de liberdade de um pesquisador, mas ao cunhar o termo “p-hacking”, Simonson, Simmons e Nelson deram aos pesquisadores uma linguagem para falar sobre isso.“Nosso principal objetivo era facilitar a apresentação do nosso trabalho. O objetivo ambicioso era facilitar o diálogo entre outras pessoas sobre esse tema”, afirma Nelson.”A popularidade do termo superou as nossas ambições originais.”
“É um marketing brilhante”, diz Brian Nosek, cofundador do Center for Open Science. O termo “p-hacking” reúne um conjunto de comportamentos que os metodologistas há muito reconhecem como indesejáveis, dá-lhes um nome e definem as suas consequências, acrescenta. Nosek acredita que o termo ajuda os pesquisadores a “se organizarem e pensarem sobre como seu comportamento afeta a qualidade das evidências”.
À medida que a conversa mais ampla sobre reprodutibilidade se espalhou pelo campo da psicologia, formas concorrentes de descrever o p-hacking e problemas relacionados também ganharam atenção. O estatístico da Universidade de Columbia, Andrew Gelman, usou o termo “jardim de garfos” para descrever as muitas opções que os pesquisadores podem escolher ao começar a analisar um estudo. Mineração de dados, expedições de pesca e coleta de dados são outras descrições que foram aplicadas ao ato de p-hacking.
Foto: Jeopardy Productions, Inc.
Mais popular
A ciência
Uma bomba demográfica de uma ação lenta está prestes a atingir a indústria de carne bovina
Matt Reynolds
Negócios
Dentro do complexo supe r-secreto Mark Zuckerberg no Havaí
Gatrine Skrimjor
Engrenagem
Primeira olhada em Matic, um aspirador de robô processado
Adrienne co
Negócios
Novas declarações de Elon Mask sobre a morte de macacos estimulam novos requisitos para a investigação da Comissão de Valores Mobiliários dos EUA
Dhruv Mehrotra
Helman e seu colega Eric Loken não gostaram dessas alternativas. Em 2013, eles escreveram que “lamentam a distribuição dos termos“ pesca ”e“ hacking p ”(e até“ grau de liberdade do pesquisador ”), pois criam“ enganando a suposição de que os pesquisadores tentam conscientemente muitos testes diferentes em um dados definir “. Por outro lado, o jardim do Todlok descreve com mais precisão como os pesquisadores podem se perder em todas as decisões que são tomadas ao analisar dados e nem mesmo entender que perderam o caminho.
As pessoas dizem “P-Hacking”, e parece que alguém está trapaceando “, diz Gelman.” O verso é que as pessoas sabem que não estão trapaceando, então não acham que fizeram algo ruim. Mas mesmo se você não estiver trapaceando, isso ainda é um erro moral – é errado analisar dados sobre um problema importante. ”
Simmons com entendimento refer e-se a essa crítica.”Talvez não tenhamos pensado bem na conotação da palavra” hackers “, o que implica intenções”, diz ele.”Parece pior do que queríamos.”Ele e seus colegas declararam inequivocamente que o Hacking de P não é necessariamente um empreendimento vil, mas sim humano, no qual eles mesmos eram culpados. Na sua essência, o Hacking P é um viés de confirmação, uma tendência humana de pesquisar e encontrar principalmente evidências confirmando o que gostaríamos de acreditar, afastando os olhos para coisas que podem contradizer nossas verdades preferidas.
Segundo Simmons, “Hacking” dá a impressão de que esse é um comportamento imoral, e isso não ajuda.”Pessoas, vestidas de poder, não entendem a inevitabilidade do p-hacking na ausência de garantias de proteção contra ele. Eles acham que o p-Hacking é o que as pessoas más fazem. E como não somos maus, não precisamos preocupado com isso.”Mas Simmons afirma que o Hacking P é um comportamento humano: “É isso que todo mundo faz, e continuo fazendo isso quando não registro minha pesquisa com antecedência”. Ele observa que, sem precauções apropriadas, é quase impossível evitar isso.
No entanto, no termo “P-Hacking”, há algo inegavelmente atraente.”Você não pode dizer que alguém recebeu seus dados e os cavou no jardim”, acrescenta Nelson.”Queríamos transform á-lo em um único termo”.
Se inscrever
Inscrev a-se na Wired e mantenh a-se a par de todas as suas idéias favoritas.
A gênese do termo “Hacking” facilitou a discussão desse fenômeno em diferentes áreas, indicando que esse comportamento é o que os pesquisadores realmente fazem em seu trabalho. Apesar do fato de o termo “oduto P” ter sido desenvolvido por psicólogos, logo as pessoas que falam de medicina, nutrição, biologia ou genética começaram a usá-la, diz Nelson.”Cada uma dessas áreas tem sua própria versão e elas eram apenas magníficas. Agora temos um termo para descrever qualquer versão dos métodos estatísticos sem i-oceicáticos”.
O fato de P-Hacking ter ido além da ciência e penetrar na cultura pop pode indicar um ponto de virada no entendimento social da ciência e a crescente percepção de que a pesquisa nem sempre pode ser tomada como uma moeda limpa. Mas é difícil dizer como exatamente esse termo é entendido pelo público em geral.
