Algoritmos supostamente “justos” podem perpetuar a discriminação

A utilização da inteligência artificial poderá levar ao ressurgimento das desigualdades do setor segurador do século passado.

Polícia em equipamentos para combater os tumultos patrulham a área.

Salve esta história
Salve esta história

Durante o longo e quente verão de 1967, tumultos raciais eclodiram nos Estados Unidos. Estes foram principalmente confrontos entre a polícia e afro-americanos que viviam em bairros urbanos pobres. A negligência destas áreas antes dos tumultos e a dificuldade em renová-las mais tarde foram explicadas pelo que ficou conhecido como “redlining”, um termo da companhia de seguros para desenhar uma linha vermelha num mapa em torno de áreas da cidade que eram consideradas demasiado arriscadas para serem seguradas. .

Numa tentativa de melhorar a recuperação dos tumultos e abordar o papel que o redlining pode ter desempenhado neles, o Presidente Lyndon Johnson criou o Grupo Consultivo Nacional do Presidente sobre Seguros em Áreas Marcadas por Motins em 1968. O relatório da comissão concluiu que, uma vez que uma comunidade minoritária foi remarcada, criou-se um ciclo de feedback que continuou a aumentar a desigualdade e a privar as áreas pobres de financiamento e cobertura de seguros – a remarcação contribuiu para as más condições económicas que já estavam a afectar essas áreas, para começar. Na altura, havia amplas provas de que as companhias de seguros se envolviam em práticas abertamente discriminatórias, incluindo redlining, venda de seguros a minorias raciais, e que potenciais proprietários de casas e empresas não conseguiam obter empréstimos porque as instituições financeiras exigiam seguro quando concediam empréstimos. Mesmo antes dos tumultos, as pessoas não conseguiam comprar, construir, melhorar ou renovar casas porque não conseguiam obter financiamento.

Graças ao relatório da comissão, foram aprovadas leis que proíbem o “redlining” e incentivam as companhias de seguros a investir no desenvolvimento das áreas centrais das cidades. Mas o redlining continuou. Para justificar preços discriminatórios ou recusa de venda de seguros nos centros urbanos, as companhias de seguros desenvolveram argumentos complexos sobre os riscos estatísticos que determinadas áreas representavam.

O argumento que as seguradoras usavam naquela altura – de que o seu trabalho é puramente técnico e não envolve julgamento moral – é muito semelhante aos argumentos que algumas plataformas de redes sociais apresentam hoje: que são plataformas técnicas que funcionam com algoritmos e não precisam nem têm um obrigação de avaliar o conteúdo. As seguradoras argumentaram que a sua função era aderir às noções técnicas, matemáticas e de mercado de justiça e precisão e fornecer o que era considerado – e ainda é considerado – um dos componentes financeiros mais importantes da sociedade. Eles alegaram que estavam apenas fazendo seu trabalho. As consequências secundárias para a sociedade não são problema seu nem da sua conta.

Assim começou a controversa carreira do conceito de “justiça atuarial”, uma ideia que acabaria por se espalhar muito além da indústria de seguros, nos campos do policiamento, da liberdade condicional, da educação e, em última análise, da inteligência artificial, provocando um debate acirrado sobre o que consideramos mais a sociedade orientada para o mercado procura definir a justiça em termos estatísticos e individualistas, em vez de confiar na moral e nas normas sociais que têm sido usadas historicamente.

A partilha de riscos tem sido o princípio fundamental do seguro durante séculos. A classificação de risco tem uma história mais curta. O conceito de “partilha de riscos” é a ideia de que uma comunidade, como uma igreja ou aldeia, pode reunir os seus recursos para ajudar indivíduos quando ocorre uma catástrofe, distribuindo o risco entre os membros do grupo – o princípio da solidariedade. O seguro moderno começou a determinar o nível de risco de um indivíduo de tal forma que outras pessoas incluídas no grupo com ele tivessem aproximadamente o mesmo nível de risco – uma abordagem individualista. Esta abordagem protegeu os indivíduos dos custos associados a serem mais avessos ao risco e dispendiosos. A abordagem individualista tornou-se mais comum após a Segunda Guerra Mundial, quando a guerra contra o comunismo tornou impopular qualquer coisa que parecesse demasiado socialista. Isso também ajudou as seguradoras a competir no mercado. Ao melhorar a classificação dos riscos, as empresas poderiam atrair os chamados “riscos bons”. Isto permitiu-lhes poupar em pagamentos e forçou os concorrentes a assumir “riscos graves” cujo seguro era mais caro.

Mais popular
A ciência
Uma bomba-relógio demográfica está prestes a atingir a indústria da carne bovina.
Matt Reynolds
Negócios
Dentro do complexo ultrassecreto de Mark Zuckerberg no Havaí
Guthrie Scrimgeour
Engrenagem
Primeiro, dê uma olhada no Matic, o aspirador robô redesenhado
Adriane So
Negócios
As novas alegações de Elon Musk sobre mortes de macacos estimulam novas demandas de investigação da SEC
Dhruv Mehrotra

(Meu colega em pesquisa de Rodrigo Ochigama, que está envolvido em justiça algorítmica e política relevante, me direcionou ao historiador Kayley Horan, que trabalha no livro “Seguros Ira: a Privatização de Segurança e Govences nos Estados Unidos Postward”. Segurança e gerenciamento nos Estados Unidos pó s-guerra “), na qual muitas idéias serão desenvolvidas neste artigo com base em sua pesquisa.

Inicialmente, a idéia da distribuição dos riscos e o princípio da solidariedade foram baseados na idéia de que a separação de riscos liga as pessoas, incentivando o espírito de assistência mútua e interdependência. No entanto, nas últimas décadas do século XX, essa idéia deu lugar à justiça atuarial tão chamada, que as companhias de seguros promoveram para justificar a discriminação.

Embora inicialmente a discriminação tenha sido baseada em idéias francamente racistas e estereótipos injustos, as companhias de seguros desenvolveram e desenvolveram cálculos complexos, à primeira vista, para mostrar que sua discriminação era “justa”. As mulheres devem pagar mais pela anuidade, porque, de acordo com as estatísticas, vivem mais e os negros devem pagar mais pelo seguro de danos, porque vivem em áreas onde há a probabilidade de crimes e tumultos. Embora o racismo aberto e o fanatismo ainda estejam na sociedade americana, no seguro eles foram integrados e ocultos do público para matemática e estatísticas, que são tão difíceis de entender com os não especialistas que se torna quase impossível resistir.

Até o final da década de 1970, os ativistas do movimento feminino se juntaram aos grupos de proteção dos direitos civis, a fim de desafiar a prática de “eliminação” das companhias de seguros e avaliação de riscos. Esses novos críticos do seguro argumentaram que o uso de gênero na classificação de riscos de seguro é uma forma de discriminação em uma base sexual. E, novamente, as seguradoras responderam a essas acusações com estatísticas e modelos matemáticos. Eles argumentaram que o uso de gênero na classificação dos riscos é justo; As estatísticas que eles usaram mostraram uma forte correlação entre o piso e as consequências das quais foram seguradas.

E muitos críticos de seguros compraram involuntariamente para uma discussão sobre justiça real. Ativistas de direitos civis e feministas no final do século XX perderam suas batalhas com o setor de seguros porque insistiram em disputas sobre a precisão de certos dados estatísticos ou a validade de certas classificações, em vez de fazer a pergunta sobre se a justiça relevante é uma Idéia individualista da justiça dos preços do mercado – a maneira certa de estruturar uma instituição social tão importante e fundamental como seguro.

Mas justiça e precisão não são necessariamente as mesmas. Por exemplo, quando Julia Engwin, em seu relatório, Propublica apontou que os pontos de risco usados ​​pelo sistema de justiça criminal são tendenciosos para colorir pessoas, a empresa que vende o sistema de avaliação de risco algorítmico disse que seus pontos são justos porque são precisos. Esses pontos previram com precisão que as pessoas de cor têm maior probabilidade de cometer um segundo crime. A probabilidade de r e-comprometer um crime chamado coeficiente de reincidência é a probabilidade de reivindicar um crime após a liberação, e esse coeficiente é calculado principalmente com base nos dados de prisão. Mas essa correlação contribui para a discriminação, uma vez que o uso de prisões como um indicador indireto do r e-comprometimento de um crime significa que o algoritmo codifica o viés das prisões, por exemplo, o viés da polícia que prende mais a população de cores ou patrulha intensivamente as áreas pobres. O risco de recaída é usado na nomeação de uma garantia, sentença e liberdade condicional, bem como nos sistemas de obra preditiva da polícia, que enviam a polícia a áreas com aumento do crime.

Rate article