Outra revisão por pares fracassada envolvendo um estudo controverso sobre assassinatos cometidos por policiais mostra como os “advogados do diabo” podem melhorar o processo científico.
Salve esta história
Salve esta história
A recente refutação de um artigo científico que afirmava não haver ligação entre os assassinatos cometidos pela polícia e a raça das vítimas é uma história perfeitamente adequada às lutas actuais sobre a cultura do cancelamento.
Os autores inicialmente pediram que o artigo fosse retratado porque foram “descuidados ao descrever as conclusões que podem ser tiradas de nossos dados” e por causa da forma como outros interpretaram o trabalho.(Em particular, eles apontaram para um artigo recente no The Wall Street Journal intitulado “O Mito do Racismo Policial Sistêmico”.)Então, depois de dois dias de ataques previsíveis por parte daqueles que denunciaram o que consideravam censura de esquerda, os autores tentaram esclarecer as coisas: “As pessoas concluíram erradamente que abandonámos o nosso trabalho por causa da pressão política ou das opiniões políticas daqueles que a citou”, escreveram eles em uma declaração revisada.
Não, disseram os autores, a verdadeira razão pela qual o artigo foi retirado foi porque continha um erro grave. Na verdade, este erro – uma distorção da conclusão principal – foi descoberto pouco depois de o artigo ter sido publicado originalmente nos Proceedings of the National Academy of Sciences em julho de 2019 e formalmente corrigido em abril deste ano. Nesse ponto, os autores admitiram o seu erro, insistindo que as suas principais conclusões permaneciam válidas. Que o artigo só foi retratado depois de se tornar um ponto crítico no debate sobre raça e policiamento após o assassinato de George Floyd… Bem, vamos concordar que a retratação aconteceu.
No entanto, o verdadeiro culpado aqui não é a política acordada, mas a inepta revisão por pares. Nenhum problema evidente foi identificado durante o processo de publicação da PNAS; Se os revisores tivessem notado, o artigo sobre assassinatos policiais teria sido muito diferente – e muito menos controverso.
OPINIÃO COM FIO
Um erro, como pesquisadores de Princeton Din Knox e Jonathan Mummolo Write, estava conectado ao que os sociólogos chamam de “seleção em uma variável dependente”, que eles descrevem como “estudando apenas nos casos em que seus eventos estão ocorrendo”. Segundo Knox e Mummolo, o artigo PNAS não levou em consideração a probabilidade (e muito significativa) de que os negros são muito mais frequentemente do que os brancos, encontram a polícia sem um resultado fatal, que desenvolve uma força mortal. De fato, o artigo era um numerador sem denominador.
Quando os autores do artigo acabaram exigindo sua refutação, eles admitiram que seu estudo não poderia fazer nenhuma acusação de afiliação racial e casos mortais de disparo contra a polícia.”O erro que cometemos foi concluído sobre a população mais ampla de civis interagindo com a polícia, em vez de limitar nossas conclusões de uma população de civis que foram mortais baleados pela polícia”, escreveram eles.
Eles também reclamaram que os conservadores, em particular, Heather Mack Donald, do Instituto Manhattan, aproveitaram seu trabalho para provar seu ponto de vista, o que não é confirmado por dados científicos errôneos. Esse reconhecimento levou Mack Donald e outros a proclamar a vitória da Vítima.(O autor sênior do artigo Joseph Cesario repeliu Mack Donald, dizendo no Wall Street Journal que, apesar da formulação de sua declaração inicial, a decisão de se recusar a publicar “não tem nada a ver com as declarações dela”).
Mais popular
A ciência
Uma bomba demográfica de uma ação lenta está prestes a atingir a indústria de carne bovina
Matt Reynolds
Negócios
Dentro do complexo supe r-secreto Mark Zuckerberg no Havaí
Gatrine Skrimjor
Engrenagem
Primeira olhada em Matic, um aspirador de robô processado
Adrienne co
Negócios
Novas declarações de Elon Mask sobre a morte de um macaco estimulam novos requisitos para a investigação da SEC
Dhruv Mehrotra
Como já escrevemos repetidamente, revisando – em qualquer caso, como as revistas pedem aos pesquisadores que a conduzissem não se destinam a identificar fraudes. Além disso, é vulnerável à fraude e não funciona muito bem quando é realizado com pressa. Os editores e editores, como regra, reconhecem esses problemas apenas sob pressão – ou seja, quando ocorre uma refutação amplamente anunciada – e então esperamos que acreditemos em suas declarações que tais erros colossais – esse sistema “funciona como deveria”. Mas seus protestos são apenas um reconhecimento de que o sistema padrão não funciona e que, em vez disso, devemos confiar em um tipo mais informal de avaliação de especialistas, que ocorre com o artigo após sua publicação. A Internet permitiu uma revisão pó s-pública, como você sabe, a uma velocidade mais alta, em sites como o PubPeer. com. No entanto, em alguns casos – como no caso do artigo acima do PNAS – a decisão sobre essa avaliação após a publicação é tomada tarde demais, depois que a declaração errônea já recebeu ampla publicidade.
Como as revistas podem fazer melhor? De acordo com Daniel Lakens, da Universidade Tecnológica de Eindhi (Holanda) e seus colegas, os pesquisadores devem aceitar a abordagem da revisão da equipe da equipe vermelha. Assim como as empresas que produzem hackers de contratação de software para verificar seus produtos para possíveis lacunas na defesa, a revista pode contratar uma equipe de “advogados do diabo” científico: especialistas no assunto e metodólogos que procurarão “buracos e erros no trabalho atual e … para desafiar as suposições dominantes para melhorar a qualidade do projeto ”, escreveu Lackens recentemente na natureza. No final, acrescentou, a ciência é tão forte quanto o crítico, que pode suportar.
Aqui estão algumas dicas para cientistas e revistas: se você for publicar trabalhos sobre um tópico controverso, não confie no processo de revisão usual, mas convide a “equipe vermelha” a procurar vulnerabilidades. Os hackers devem ser especialistas nessa área, terem um conhecimento mais profundo do que o habitual, no campo das estatísticas e poder identificar possíveis problemas antes da publicação quando podem ser eliminados. Se possível, eles deveriam ser e os pesquisadores se preparam para espremer as pérolas – provavelmente não concordam com as conclusões do seu trabalho. Antecipar a reação de seus críticos é uma lição ao escrever artigos jornalísticos.
Mais popular
A ciência
Uma bomba demográfica de uma ação lenta está prestes a atingir a indústria de carne bovina
Matt Reynolds
Negócios
Dentro do complexo supe r-secreto Mark Zuckerberg no Havaí
Gatrine Skrimjor
Engrenagem
Primeira olhada em Matic, um aspirador de robô processado
Adrienne co
Negócios
Novas declarações de Elon Mask sobre a morte de um macaco estimulam novos requisitos para a investigação da SEC
Dhruv Mehrotra
Entretanto, os cientistas podem fazer o que Lakens e os seus colegas fizeram: em maio, organizaram uma “equipa vermelha” para procurar o manuscrito do seu colega, Nicholas Cowles, psicólogo social de Harvard. Cada um dos cinco cientistas recebeu US$ 200 para procurar problemas potenciais em um artigo não publicado, além de outros US$ 100 para cada “problema crítico” encontrado. O projeto, concluído este mês, pretendia servir como um exemplo útil do papel que as equipes vermelhas podem desempenhar na ciência.”
Se você estiver prestes a publicar um artigo sobre um tema controverso, não confie no processo normal de revisão por pares, mas use uma “equipe vermelha” para procurar vulnerabilidades.
Cinco críticos apontaram 107 erros potenciais, dos quais 18 foram considerados (por um árbitro neutro) significativos. Destes, disse Lakens, cinco tiveram problemas sérios, incluindo “duas limitações anteriormente desconhecidas da manipulação de chaves, design e descrição inadequados da análise de poder, um teste estatístico especificado incorretamente nos materiais suplementares e falta de informações de amostragem no manuscrito”. “Em outras palavras, questões que seriam profundamente preocupantes se surgissem após a publicação.
À luz destes comentários, Coles decidiu arquivar o trabalho por enquanto. Em vez de dar os retoques finais em uma carta de apresentação, volto à prancheta – consertando o que pode ser consertado, elaborando um estudo de acompanhamento para abordar o que não pode ser consertado e considerando qual papel as equipes vermelhas podem desempenhar na ciência em geral . “, escreveu ele recentemente.
Lakens diz que planeja contratar uma “equipe vermelha” para revisar sua própria meta-análise (estudo de estudos) sobre o tema da discriminação de gênero. É especialmente com temas controversos que ele considera esta abordagem mais útil para periódicos e pesquisadores.“Você não faria um seguro para sua ida ao supermercado amanhã, mas consideraria um seguro de viagem para uma viagem ao redor do mundo”, diz ele.”Para nós, esta também é uma análise de custo-benefício. Deixo para outros decidirem quais pesquisas são importantes o suficiente para o Red Team.”
Este é um ponto muito importante. Mesmo antes do assassinato de George Floyd, era bastante previsível que o estudo sobre se a polícia é morta com mais frequência do que os brancos, provavelmente causaria muita atenção. Dado que os recursos são sempre limitados, faz sentido usar as formas mais completas e trabalhadoras de avaliação de especialistas nos casos em que os resultados são de maior importância.
Os pesquisadores brincam sobre a odiada revisão do número 2 (ou nº 3, dependendo do seu meme); Sobre quem sempre pede para conduzir mais experimentos, recomenda fazer grandes emendas e geralmente diminui seu progresso, seja a publicação do trabalho ou a obtenção de uma posição. Sem dúvida, na ciência, existem idiotas, e nem todos os críticos têm boas intenções. Mas se você descartar a hostilidade dos revisores nº 2 e a idéia de que o seu NI T-o Picking é equivalente a uma sabotagem maligna, eles começam a se parecer com os líderes da equipe vermelha. Sua abordagem mais rígida para a revisão pode ajudar a limpar a Crônica Científica, garantindo a publicação de menos conclusões incorretas. Não vale a pena se esforçar?
A opinião da Wired publica artigos de autores de terceiros, representando uma ampla gama de pontos de vista. Leia outras opiniões aqui. Envie sua opinião para opinião@wird. com.
Outras histórias de arame interessantes
- Como as máscaras cruzadas da categoria de “não usar” na categoria de coisas obrigatórias
- 13 canais do YouTube dos quais somos bastardos
- As tecnologias são enfrentadas usando os rótulos “chumbo” e “vedasmoy”
- Poker e psicologia da incerteza
- Na perna com a coroa – ou por que o vírus ganha
- 👁 Terapeuta no caso – e este é o aplicativo TAPOBOT. Além disso: aprenda as últimas notícias sobre inteligência artificial
- 💻 Melhore suas qualidades de trabalho com seus laptops favoritos, teclados, dispositivos alternativos para digitar texto e fones de ouvido com uma função de redução de ruído da nossa equipe de equipamentos
