Os sistemas médicos são desproporcionalmente negados representantes da população de cores, mas o foco na correção dos números pode levar a uma deterioração nos resultados.
Salve esta história
Salve esta história
A saúde mental e física são os componentes mais importantes de uma vida feliz e completa. Nosso trabalho, relações sociais que estabelecemos e os cuidados que prestamos a nossos entes queridos dependem de como nos sentimos. Como as apostas são tão altas, as pessoas costumam recorrer à tecnologia para garantir a segurança de nossas comunidades. A inteligência artificial é uma das grandes esperanças, e muitas empresas investem meios significativos em tecnologia para satisfazer as crescentes necessidades de saúde em todo o mundo. Existem muitos exemplos promissores: a IA pode ser usada para detectar câncer, classificar pacientes e desenvolver recomendações de tratamento. Um dos objetivos é usar a IA para expandir o acesso a cuidados médicos de alta qualidade, especialmente em locais e para pessoas historicamente fechadas para acesso.
Sobre o site
Sandra Vakhter é professora de tecnologia e regulamentação no Instituto Oxford da Internet.
Brent Mittelstadt – Professor Associado e Diretor de Pesquisa do Instituto Oxford da Internet.
Chris Russell é pesquisador do Instituto Oxford da Internet.
No entanto, os dispositivos médicos com uma inclinação racial, por exemplo, foram a causa do atraso no tratamento de pacientes negros durante a pandemia Kovid-19, uma vez que os pulsoxêmetros superestimaram o nível de oxigênio no sangue de representantes minoritários. Da mesma forma, sab e-se que as tecnologias para detectar câncer de pulmão e pele são menos precisas para os negros, o que significa que geralmente não detectam câncer em pacientes, atrasando o acesso a assistência vital. Os sistemas de classificação de pacientes subestimam regularmente a necessidade de ajuda de pacientes de minorias étnicas. Por exemplo, foi demonstrado que um desses sistemas subestima regularmente a gravidade da doença em pacientes negros, pois usa custos de saúde como um indicador indireto da doença, sem levar em consideração o acesso desigual aos cuidados médicos e, portanto, despesas desiguais entre a população. O mesmo deslocamento pode ser observado por gênero. As pacientes do sexo feminino são frequentemente diagnosticadas com doenças cardiovasculares e prescrevem tratamento insuficiente ou inadequado.
Felizmente, muitos representantes da comunidade de IA estão agora trabalhando ativamente para eliminar esses preconceitos. Infelizmente, como mostra nosso estudo mais recente, os algoritmos desenvolvidos por eles podem, na prática, piorar a situação e comprometer a vida das pessoas.
A maioria dos algoritmos concebidos para promover a “justiça algorítmica” foram criados sem levar em conta o contexto político e social. A maioria deles define equidade em termos simples, onde equidade significa reduzir disparidades na produtividade ou nos resultados entre grupos demográficos. Alcançar com sucesso a justiça na IA passou a significar satisfazer uma dessas definições matemáticas abstratas, mantendo o sistema original o mais preciso possível.
Nos algoritmos existentes, a justiça é normalmente alcançada através de duas etapas: (1) ajustando o desempenho dos grupos com pior desempenho e (2) degradando o desempenho dos grupos com melhor desempenho. Estas etapas podem ser distinguidas pelos motivos que lhes estão subjacentes.
Imagine que, no interesse da justiça, queremos reduzir o preconceito num sistema de inteligência artificial utilizado para prever o risco futuro de cancro do pulmão. Nosso sistema imaginado, assim como os exemplos da vida real, sofre de uma lacuna de desempenho entre pacientes negros e brancos. Em particular, o sistema tem uma recordação mais baixa para pacientes negros, o que significa que subestima regularmente o seu risco de desenvolver cancro e classifica incorretamente os pacientes como “de baixo risco” que, na verdade, têm “alto risco” de desenvolver cancro do pulmão no futuro.
Mais popular
A ciência
Uma bomba-relógio demográfica está prestes a atingir a indústria da carne bovina.
Matt Reynolds
Negócios
Dentro do complexo ultrassecreto de Mark Zuckerberg no Havaí
Guthrie Scrimgeour
Engrenagem
Primeiro, dê uma olhada no Matic, o aspirador robô redesenhado
Adriane So
Negócios
As novas alegações de Elon Musk sobre a morte de macacos estimulam novas demandas de investigação da SEC
Dhruv Mehrotra
Pode haver muitos motivos para essa degradação de desempenho. Isso pode ocorrer porque nosso sistema foi treinado com dados coletados principalmente de pacientes brancos ou porque os registros médicos de pacientes negros são menos acessíveis ou de qualidade inferior. Pode também ser um reflexo das desigualdades sociais subjacentes no acesso e nos custos dos cuidados de saúde.
Seja qual for a causa da disparidade de resultados, o nosso incentivo para procurar a equidade é melhorar a situação de um grupo historicamente desfavorecido. No contexto do rastreio do cancro, os falsos negativos são muito mais prejudiciais do que os falsos positivos; o último significa que o paciente será submetido a exames médicos ou exames de acompanhamento desnecessários, enquanto o primeiro significa que mais casos futuros de câncer permanecerão sem diagnóstico e sem tratamento.
Portanto, uma das maneiras de melhorar a situação com pacientes negros é melhorar a revisão do sistema. Como primeiro passo, podemos decidir ser advertidos e pedir ao sistema que altere nossas previsões para casos em relação aos quais é menos certo que eles estão associados a pacientes negros. Em particular, traduziremos alguns casos de “baixo risco” em “alto risco” para identificar mais casos de câncer. Isso é chamado de “equalização”, ou o desenvolvimento de sistemas que alteram propositalmente algumas de suas previsões para grupos, que estão atualmente em uma posição desfavorável e, mais frequentemente, recorrem a eles (por exemplo, aumentam a frequência da triagem do câncer).
Tais mudanças ocorrem devido a uma diminuição da precisão: o número de pessoas que são erroneamente atribuídas ao grupo de risco pelo câncer aumenta e a precisão total do sistema é reduzida. No entanto, esse compromisso entre precisão e revisões é aceitável, pois é muito prejudicial não diagnosticar o câncer.
Depois de resolver os casos para aumentar a memorização devido a uma diminuição da precisão, podemos alcançar um estado em que outras alterações serão acompanhadas por uma perda de precisão inaceitavelmente alta. Por fim, esta é uma solução subjetiva; Não existe um verdadeiro “ponto crítico” entre memorização e precisão. Não necessariamente trouxemos precisão (ou revisão) para pacientes negros para o mesmo nível que para pacientes brancos, mas fizemos todo o possível com o sistema existente, dados disponíveis e outras restrições para melhorar a posição dos pacientes negros e reduzir a lacuna em precisão.
É aqui que nos deparamos com um dilema e a estreita orientação dos algoritmos de justiça moderna para obter indicadores iguais a qualquer custo cria problemas não intencionais, mas inevitáveis. Embora não possamos aumentar ainda mais a eficiência de trabalhar com pacientes negros sem perda inaceitável de precisão, podemos reduzir a eficácia de trabalhar com pacientes brancos, reduzindo sua revisão e precisão de que nosso sistema possui revisões iguais para ambos os grupos. Em nosso exemplo, mudaremos as marcas de pacientes brancos, alterando algumas previsões de “alto risco” para “baixo risco”.
Mais popular
A ciência
Uma bomba-relógio demográfica está prestes a atingir a indústria da carne bovina.
Matt Reynolds
Negócios
Dentro do complexo ultrassecreto de Mark Zuckerberg no Havaí
Guthrie Scrimgeour
Engrenagem
Primeiro, dê uma olhada no Matic, o aspirador robô redesenhado
Adriane So
Negócios
As novas alegações de Elon Musk sobre a morte de macacos estimulam novas demandas de investigação da SEC
Dhruv Mehrotra
Motivação é a conveniência matemática: nosso objetivo é fazer dois números (por exemplo, revisão) como iguais aos dois grupos (por exemplo, pacientes brancos e negros) para satisfazer a definição de que o sistema é justo quando esses dois números são igual.
Obviamente, a rotulagem de um paciente que anteriormente se relacionou com um grupo de alto risco como “baixo risco” é extremamente prejudicial aos pacientes que não oferecerão tratamento e observação subsequentes. A precisão total é reduzida e a frequência dos erros mais perigosos aumenta, e tudo isso para reduzir a lacuna nos indicadores. É fundamental que essa diminuição nos indicadores não seja necessária e não esteja associada a nenhuma melhoria para grupos com indicadores mais baixos.
No entanto, é isso que acontece em muitos algoritmos que fornecem justiça no grupo, porque é uma solução matematicamente ótima. Esse tipo de degradação, quando a justiça é alcançada devido à deterioração arbitrária da posição de um ou mais grupos, ou devido à redução de grupos com os melhores indicadores no nível do grupo com os piores indicadores, é chamado de “nivelamento” . Onde quer que isso aconteça, o uso de algoritmos de justiça para garantir a justiça através do alinhamento causa preocupação.
De fato, o que descrevemos aqui é o melhor cenário em que a justiça pode ser garantida fazendo mudanças simples que afetam o desempenho de cada grupo. Na prática, os algoritmos para garantir a justiça podem se comportar de maneira muito mais radical e imprevisível. O estudo mostrou que, em média, a maioria dos algoritmos na visão computacional aumenta a justiça, danificando todos os grupos, por exemplo, reduzindo a memorização e a precisão. Ao contrário de nosso caso hipotético, quando reduzimos os danos causados a um grupo, é possível que uma diminuição da justiça possa piorar diretamente a situação de todos.
O nivelamento contradiz os objetivos da justiça algorítmica e objetivos de igualdade mais amplos na sociedade: melhorar os resultados de grupos historicamente violados ou marginalizados. Reduzir o desempenho para grupos com altos indicadores não é uma vantagem óbvia para grupos com os piores indicadores. Além disso, uma diminuição nos indicadores pode causar danos diretos a grupos historicamente disfuncionais. A escolha a favor da privação de benefícios em vez de compartilh á-los com outras pessoas indica a falta de cuidado, solidariedade e prontidão para aproveitar a oportunidade para realmente resolver o problema. Isso estigmatiza grupos historicamente disfuncionais e fortalece o isolamento e a desigualdade social, o que inicialmente levou à ocorrência do problema.
Mais popular
A ciência
Uma bomba-relógio demográfica está prestes a atingir a indústria da carne bovina.
Matt Reynolds
Negócios
Dentro do complexo ultrassecreto de Mark Zuckerberg no Havaí
Guthrie Scrimgeour
Engrenagem
Primeiro, dê uma olhada no Matic, o aspirador robô redesenhado
Adriane So
Negócios
As novas alegações de Elon Musk sobre a morte de macacos estimulam novas demandas de investigação da SEC
Dhruv Mehrotra
Quando criamos sistemas de inteligência artificial para tomar decisões sobre a vida das pessoas, nossas decisões de design contêm julgamentos de valor implícito sobre o que deve ser prioritário. O nivelamento é uma conseqüência da escolha de medir e restaurar a justiça exclusivamente em termos de desigualdade entre os grupos, ignorando a utilidade, be m-estar, prioridade e outros benefícios que são centrais na igualdade no mundo real. Este não é o destino inevitável da justiça algorítmica; Em vez disso, esse é o resultado da escolha do caminho da menor resistência matemática, e não por algumas razões públicas, legais ou éticas abrangentes.
Para seguir em frente, temos três opções:
– Podemos continuar introduzindo sistemas tendenciosos que supostamente se beneficiam de apenas uma parte privilegiada da população, causando sérios danos a outro.- Podemos determinar a justiça em termos matemáticos formalizados e introduzir IA, que serão menos precisos para todos os grupos e prejudicam ativamente alguns grupos.- Podemos tomar medidas e alcançar a justiça “melhorando o nível”.
Acreditamos que aumentar o nível é a única maneira aceitável com pontos de vista morais, éticos e legais. A tarefa da justiça futura na IA é criar e introduzir sistemas que serão justos em essência, e não apenas processualmente, diminuindo o nível. Um aumento no nível é uma tarefa mais difícil: deve ser acompanhado por ações ativas para eliminar as causas reais do viés nos sistemas de IA. As soluções técnicas geralmente são apenas um patch para combater um sistema não trabalhador. Melhorar o acesso aos cuidados de saúde, criar um conjunto de dados mais diversificado e o desenvolvimento de ferramentas especialmente projetadas para resolver problemas que as comunidades historicamente disfuncionais enfrentam pode ajudar a fazer justiça sobre os méritos da realidade.
Esta é uma tarefa muito mais difícil do que apenas configurar o sistema para fazer dois números iguais a grupos diferentes. Pode exigir não apenas inovações tecnológicas e metodológicas significativas, incluindo o recálculo de sistemas de inteligência artificial do zero, mas também mudanças sociais significativas em áreas como acesso e despesas com a saúde.
Por mais difícil que seja, é necessário voltar a centrar-nos na “IA justa”. Os sistemas de IA tomam decisões que mudam vidas. Escolher como e com quem devem ser justos é demasiado importante para tratar a justiça como um simples problema matemático a ser resolvido. Este estado de coisas levou ao surgimento de métodos de justiça que alcançam a igualdade através da equalização. Assim, criamos métodos que são matematicamente justos, mas não podem e não proporcionam benefícios tangíveis aos grupos desfavorecidos.
Isso não é o bastante. As ferramentas existentes são vistas como uma solução para o problema da justiça algorítmica, mas até agora não cumpriram o que prometem. As suas implicações moralmente obscuras tornam-nos menos propensos a serem utilizados e talvez inibam soluções reais para estes problemas. Precisamos de sistemas que sejam justos na subida de nível, que ajudem os grupos com pior desempenho sem prejudicar arbitrariamente os outros. Este é precisamente o problema que devemos resolver. Precisamos de uma IA que seja substancialmente justa, e não apenas matematicamente justa.
Divulgação: Chris Russell também é funcionário da Amazon Web Services. Ele não esteve envolvido na preparação deste artigo ou na pesquisa que o fundamenta como funcionário da Amazon. Eles foram produzidos exclusivamente como parte do projeto Trustworthiness Auditing for AI do Oxford Internet Institute.
Atualização em 3 de março de 2023, às 11h ET: Este artigo foi atualizado para incluir informações sobre o autor e para tornar mais claro o exemplo hipotético de declínio dos cuidados de saúde.
