Uma vez que havia um assistente virtual chamado Miss Dewey, uma bonita bibliotecária realizada por Yanina Gavankar, que o ajudou com seus pedidos na primeira tentativa da Microsoft de criar um mecanismo de pesquisa. A Miss Dewey foi lançada em 2006 e continha mais de 600 linhas do diálogo registrado. Ela estava à frente de seu tempo de várias maneiras, mas um exemplo particularmente perceptível foi capturado pelo pesquisador das informações de Miriam Suin em sua dissertação de doutorado em 2013, onde descreveu em detalhes as consequências de gênero e racial das respostas de Dewey. Entre eles estavam os comentários como “Ei, se você pode entrar no seu computador, pode fazer tudo o que quiser comigo”. Ou como uma busca pela palavra “boquete” levou ao aparecimento de um vídeo com a ingestão de uma banana, e a introdução de termos como “gueto” a forçou a fazer rap com palavras como “Não, dentes dourados, fabulum O bipe do muter-ficer entra em direção a esta peça [bunda] bipe. “Suini analisa o óbvio: Dewey foi criado para enfermeiras brancas. Nos blogs da época, o flerte de Dewey foi exaltado, no final.
A Miss Dewey foi desativada pela Microsoft em 2009, mas os críticos posteriores – incluindo eu – revelaram um modelo semelhante de preconceitos na maneira como alguns usuários se comunicam com assistentes virtuais como Siri ou Cortana. Quando os engenheiros da Microsoft disseram que programaram Cortana para um abandono decisivo de consultas sexuais ou namoro, a indignação fervida no Reddit. Uma das postagens, que recebeu um grande número de votos, dizia: “Essas malditas pessoas são sérias?! Toda a tarefa é fazer o que as pessoas dizem para ela! Ei, vadia, adicione isso ao meu calendário … o dia em que Cortana se torna uma “mulher independente”, será à tarde quando o software se tornar maldito inútil “. As críticas a esse comportamento floresceram, inclusive do seu correspondente modesto.
Agora, no cenário de Chatgpt e similares, o pêndulo influenciou, e somos avisados contra a empatia por essas coisas. Eu já falei sobre isso após o fiasco AI Lamda no ano passado: o bot não deve ser razoável para que possamos antropomórficos, e esse fato será usado pelos especuladores. Eu apoio este aviso. Mas alguns foram além e sugeriram que as críticas anteriores de pessoas que abusam de assistentes virtuais em retrospecto são uma justificativa ingênua. Talvez as pessoas que tenham chamado repetidamente de Cortana de “vadia” estivessem certas!
Você pode ficar chocado ao saber que esse não é o caso. As críticas ao uso indevido da IA no passado não eram apenas corretas, mas também pressagiavam o cenário digital mais perigoso que enfrentamos agora. Na verdade, a crítica passou de “as pessoas são demasiado cruéis com os bots” para “as pessoas são demasiado gentis com eles” porque a economia política da IA mudou repentina e dramaticamente, e com ela as propostas de venda das empresas tecnológicas. Se antes os bots nos eram vendidos como servos ideais, agora eles nos serão vendidos como melhores amigos. Mas em cada caso, a resposta patológica a cada geração de bots exigia implicitamente que os humanizássemos. Os proprietários de bots sempre adotaram nossos piores e melhores impulsos.
Uma das verdades contra-intuitivas sobre a violência é que, embora seja desumanizante, na verdade exige que o perpetrador o veja como um ser humano. É uma realidade sombria, mas todos, desde criminosos de guerra até idiotas no pub, sentem algum prazer com a ideia de suas vítimas sentirem dor. A desumanização não é a incapacidade de ver alguém como humano, mas o desejo de ver alguém como menos que humano e agir de acordo. Então, em algum nível, é o grau em que as pessoas confundem seus assistentes virtuais com pessoas reais que as motiva a abusar deles. Caso contrário, não seria interessante. Isso nos leva ao momento presente.
A geração anterior de IA nos foi apresentada como o servo ideal, o sofisticado PA, ou talvez o computador da USS Enterprise, Majel Barrett. Obediente, onisciente, sempre pronto para servir. Os novos motores de busca chatbot também carregam algumas das mesmas associações, mas à medida que evoluem, também serão comercializados para nós como nossos novos representantes, até mesmo nossos novos terapeutas.
