Neste fim de semana, o aplicativo de fotos do Lensa inundou as redes sociais com anime celestial, arc o-íris e inspirado com “avatares mágicos”. Como geralmente é o caso em nosso ciclo de notícias na Internet, argumentos a favor do fato de que o uso do aplicativo é uma propagação problemática a uma velocidade inferior apenas à precisão da distribuição dos próprios avatares.
Se inscrever
Inscrev a-se na Wired e mantenh a-se a par de todas as suas idéias favoritas.
Já recebi palestras sobre os perigos associados ao fato de que o uso de avatares nos faz ensinar IA, roubar artistas e participar da prática predatória da troca de dados. Cada um desses medos é razoável, mas violações menos ameaçadoras inerentes à aplicação são menos discutidas, a saber, uma tendência algorítmica à sexualização de objetos a tal ponto que não é apenas inconveniente, mas também potencialmente perigosa.
As condições para o uso de lensa são prescritas aos usuários para enviar apenas conteúdo adequado: “sem nudez” e “sem crianças, apenas para adultos”. No entanto, muitos usuários, principalmente mulheres, notaram que, mesmo que enviem fotos modestas, o aplicativo não apenas distribui uma natureza nua, mas também atribui a suas imagens características caricaturalmente sexaticamente, como poses sensuais e seios enormes. Por exemplo, recebi vários resultados completamente nus, embora tenha carregado apenas as fotos da minha cabeça. A sexualização também costumava ter um caráter racial: perto de uma dúzia de mulheres de cor, elas me disseram que Lensa branqueava a pele e as características faciais gravadas, e uma mulher de origem asiática disse que nas fotografias: “Onde eu não pareço branco, eles literalmente deram eu o rosto de Akhegao. “Outra mulher que compartilhou as duas imagens completamente vestidas que ela carregou e de topless, que ela decidiu mudar, acrescentando “alguns emoji por modéstia, porque omg”, me disse: “Eu, sinceramente, me senti muito ofendido depois disso, ao ver isso . “
Estou acostumado a me sentir insultado pela Internet. Tendo sido vítima de diversas campanhas de assédio, tenho visto repetidamente a minha imagem manipulada, distorcida e distribuída sem o meu consentimento. Como não sou o rosto de uma profissional do sexo, a novidade de encontrar e compartilhar minha imagem é um esporte para alguns. Dado que os trabalhadores do sexo não são vistos pelo público em geral como humanos ou merecedores de direitos básicos, tal comportamento é encorajado em vez de condenado. Dado que o trabalho sexual é muitas vezes visto como um fracasso moral e não como um trabalho, a nossa desumanização é desnecessária. Eu entrava no Twitter para ver meu rosto photoshopado no corpo de outras mulheres, fotos minhas e de clientes nuas em sessão, e uma vez até mesmo uma busca por palavras que consistia em meu rosto, detalhes pessoais e interesses de pesquisa. Não tenho medo do Lens.
Eu estava tão desacostumado com os horrores da tecnologia que decidi me tornar meu próprio rato de laboratório. Realizei vários experimentos: primeiro, apenas fotos de BDSM e masmorras; depois minhas fotos mais femininas com a opção “masculina”; depois selfies de conferências científicas – todas revelando tamanhos impressionantes de seios e nudez completa.
Então embarquei no que sabia que seria uma jornada difícil pelo inferno e decidi usar minha aparência para testar outra limitação do aplicativo: “Sem crianças, apenas adultos”.(Alguns dos resultados estão abaixo: Esteja ciente de que eles mostram imagens sexualizadas de crianças.)
Ilustração: Olivia Snow via Lensa
Tenho poucas fotografias da minha infância. Até o final da adolescência, minha aparência dificilmente poderia ser descrita como “almiscarada”: cabelos rebeldes, dentes irregulares e óculos bifocais, que comecei a usar aos sete anos. Eu também cresci antes do advento do smartphone, e todas as outras fotos provavelmente estão enterradas em álbuns de fotos de parentes distantes. Mas consegui coletar o mínimo de 10 fotos necessárias para iniciar o aplicativo e esperei para ver como ele me transformaria de uma menina estranha de seis anos em uma princesa de contos de fadas.
Os resultados foram assustadores.
Ilustração: Olivia Snow via Lensa
Em alguns casos, a IA parecia reconhecer o corpo do meu bebê e, felizmente, não adicionou seios. Provavelmente isto não foi um reflexo da ética pessoal da tecnologia, mas dos padrões que ela revelou na minha fotografia; talvez ela percebesse meu peito achatado como o de um homem adulto. Em outras fotos, a IA fixou orbes em meu peito que pareciam diferentes das roupas, mas também não pareciam fotos de nus tiradas em outros testes.
Tentei novamente, desta vez tirando uma mistura de fotos das crianças e uma selfie. O resultado foi fotos completamente nuas com um rosto adolescente e às vezes infantil, mas claramente um corpo adulto. Como nos testes anteriores que criaram vistas e poses sedutores, neste conjunto acabou sendo um certo sho w-OFF: um cabelo nu e limpo, um avatar com meu rosto infantil, segurando um lençol entre o peito nu de um adulto. Muitos deles lembram terrivelmente a sessão fotográfica de Miley Cyrus com Annie Leibovitz para a Vanity Fair em 2008, na qual Cyrus, de 15 anos, apertou o lençol de cetim em torno de seu corpo nu. Naquela época, essa foto estava preocupada com o fato de seu rosto quase querubic sem maquiagem ter sido combinado com o corpo de um homem que deveria ter acabado de fazer sexo.
Mais popular
A ciência
Uma bomba demográfica de uma ação atrasada está prestes a cair na indústria de carne bovina
Matt Reynolds
Negócios
Dentro do complexo supe r-secreto Mark Zuckerberg no Havaí
Gatrine Skrimjor
Engrenagem
Primeira olhada em Matic, um aspirador de robô processado
Adrienne co
Negócios
Novas declarações de Elon Mask sobre a morte de um macaco estimulam novos requisitos para a investigação da SEC
Dhruv Mehrotra
Era a reputação de Cyrus, não uma revista ou um fotógrafo de 58 anos de Leibovits, quando a Vanity Fair publicou um photoset. A sexualização e operação de crianças, e especialmente meninas, é tão insidiosa que se torna natural. A defesa das sessões de fotos de Cyrus, que ela em sua entrevista chamada “verdadeiramente artística”, e não “de certa forma”, parece ainda mais anormal do que as próprias fotografias.
Embora as fotografias de Cyrus não tenham sido geradas artificialmente, seus ecos em meus avatares em Lensa – no final, o Lensa foi projetado para fornecer avatares que são lisonjeados – sugerem que, apesar da aversão coletiva do público em geral para fotografia nua de Cyrus , Imagens de jovens garotas brancas nuas correspondem a idéias culturais mais amplas sobre beleza. Como os cientistas estabeleceram, como Rukha Benjamin e Safia Noble, algoritmos de aprendizado de máquina reproduzem preconceitos culturais de ambos os engenheiros que os programam e os consumidores que os usam como produtos. O viés dos usuários, incluindo os padrões de beleza ocidental, afeta como os algoritmos se desenvolvem. Quanto à beleza, em seu livro “Algoritmos de opressão”, publicado em 2018, o nobre cita a captura de tela do “Beautiful” no Google Images em 2014 como uma tendência tecnocultura: os resultados representam principalmente fotografias muito sexualizadas de mulheres brancas.
Mas a beleza é apenas uma métrica. Como Bethany Biron escreveu para o Business Insider, os resultados de Lance muitas vezes tendem para o terror. Biron descreve alguns de seus avatares, com rostos derretidos e múltiplos membros, como “material de pesadelo”.
Ao mesmo tempo, houve controvérsia na arte da IA sobre Loab, uma mulher criada pela IA que foi descoberta pelo músico e artista sueco Supercomposite. As características faciais de Loab evocam inexplicavelmente imagens grotescas e macabras quando inseridas em um gerador de arte de IA ainda não revelado. Na pior das hipóteses, diz Supercomposite, quando Loab é “cruzado” com outras imagens, o resultado são “imagens limítrofes de crianças desmembradas e gritando”.
A violência gráfica de Loab e seus derivados lembra os primeiros dias da Internet não moderada, com sites chocantes contendo decapitações e pornografia. Essas imagens, baseadas em decisões anteriores de moderação e em dados de treinamento de aprendizado de máquina, não têm crédito ou julgamento dos artistas ou engenheiros de software. Eles simplesmente identificam padrões. E, ao contrário do conteúdo gerado pelo utilizador, que está sujeito a moderação, ou dos dados utilizados para desenvolver estas tecnologias, o conteúdo gerado pela IA parece não ser totalmente filtrado.
Para a Lensa, que busca “branquear” (ou seja, encobrir e sexualizar) o conteúdo enviado pelos usuários, a falta de moderação ameaça desencadear uma torrente de conteúdo igualmente horrível – neste caso, material de exploração sexual infantil (CSEM). Nos últimos 30 anos, os esforços para combater o abuso infantil e o tráfico de seres humanos evoluíram juntamente com a Internet. Por exemplo, a moderação de conteúdo para CSEM tornou-se objeto de várias leis e regulamentos, incluindo a obrigação de denunciar todos os CSEM ao Centro Nacional para Crianças Desaparecidas e Exploradas (NCMEC). O NCMEC mantém um banco de dados para o desenvolvimento de ferramentas como o PhotoDNA, ferramenta apoiada pela Microsoft e utilizada por grandes empresas de tecnologia como Meta e Twitter para identificar CSEM. Mas os geradores de IA evitam totalmente a moderação de conteúdo.
Mais popular
A ciência
Uma bomba demográfica de uma ação atrasada está prestes a cair na indústria de carne bovina
Matt Reynolds
Negócios
Dentro do complexo supe r-secreto Mark Zuckerberg no Havaí
Gatrine Skrimjor
Engrenagem
Primeira olhada em Matic, um aspirador de robô processado
Adrienne co
Negócios
Novas declarações de Elon Mask sobre a morte de um macaco estimulam novos requisitos para a investigação da SEC
Dhruv Mehrotra
Eu não era uma criança condicionalmente atraente, que se refletiu em muitos dos meus resultados, mas suspeito que meninas com características faciais com maior probabilidade de serem sexualizadas ai – especialmente meninas com pele escura que são regularmente percebidas como adultos – encontrarão ainda mais Exemplos alarmantes disso, o que é essencialmente profundamente forjado CSEM. As crianças que usam o aplicativo podem ver que seus corpos são excessivamente sexualizados e se sentem ofendidos, como muitos usuários adultos Lensa já fazem ou podem usar o pedido de assédio sexual a seus colegas.
Sem qualquer moderação ou supervisão, o potencial da violência gerado pela inteligência artificial, inerente a “avatares mágicos”, é simplesmente incrível. Lensa, ao que parece, não segue a conformidade com as regras que proíbem a natureza e os menores nus e não fornecem que os usuários só podem carregar suas imagens.(Os únicos requisitos relevantes são “a mesma pessoa em todas as fotografias” e “nenhuma outra pessoa na foto”). Como a maioria das outras “inovações” tecnológicas, o abuso de Lensa causará os danos mais graves àqueles que já estão em risco: crianças, mulheres de cor e negócios de negócios sexuais.
Embora os artistas tenham medo de que os geradores de inteligência artificial possam se tornar uma alternativa barata ao seu trabalho, aplicações que geram imagens sexuais francamente podem afetar os criadores de conteúdo de adultos. E como o trabalho sexual e, especialmente, o conteúdo de adultos é frequentemente combinado com o CSEM, estou preocupado com a possibilidade de que essas violações, como costuma ser o caso em tais disputas, de alguma forma se tornará o problema das profissionais do sexo. No final, a frequência de fotografias nuas indesejáveis geradas pelo aplicativo criado em algoritmos de aprendizado de máquina indica que os usuários enviam fotos francas no Lensa, apesar das condições de serviço, a uma quantia bastante grande, para que a nudez seja atribuída à tecnologia. Se isso é o resultado do fato de que os trabalhadores da indústria do sexo editam seu conteúdo de que os civis melhoram seus próprios corpos nus ou que alguém está carregando o pornô de pornografia por vingança. Como no caso do Cyrus com a Vanity Fair, o vinho para o visual sexualizado Lensa cairá nas cabeças dos mais vulneráveis.
A ameaça material do CSEM e dos deepfakes não pode ser separada da “keyphobia” que leva à demissão de professores quando seus OnlyFans são descobertos por seus alunos. Estudantes e colegas de trabalho de profissionais do sexo que consomem conteúdo adulto raramente, ou nunca, estão sujeitos a ações disciplinares por assediarem sexualmente seus colegas profissionais do sexo. Não há razão para acreditar que a pornografia gerada pela IA será tratada de forma diferente. E quando a pornografia gerada pela IA for usada para prejudicar as pessoas, serão as profissionais do sexo as culpadas por fornecerem o conteúdo adulto para o qual a IA foi treinada, mesmo que essas imagens nunca tenham sido destinadas a serem raspadas e usadas nesse sentido. caminho. Quer você seja uma profissional do sexo ou simplesmente se considere como tal, o estigma é o mesmo. E, diferentemente do OnlyFans e de outras plataformas que monetizam conteúdo adulto, nenhum desses aplicativos de personalização facial verifica se os usuários realmente possuem o conteúdo que fornecem.
Esta história de terror que acabei de contar parece distópica demais para ser uma ameaça real. Mas, como aprendi com as minhas próprias experiências com ciberperseguidores, nenhuma prova justificativa é suficiente para impedir uma campanha de assédio. A perseguição coordenada já é incrivelmente eficaz no silenciamento de vozes marginalizadas – especialmente profissionais do sexo, pessoas queer e mulheres negras – mesmo sem pornografia de vingança alimentada por IA. Embora a tecnologia possa não estar avançada o suficiente para criar falsificações convincentes neste momento, em breve estará.“Suas fotos serão usadas para treinar uma inteligência artificial que criará avatares mágicos para você”, e por apenas US$ 3, 99 cada.
