As empresas que operam em redes sociais argumentam que novos modelos de idiomas podem excluir conteúdo nocivo em todos os idiomas. Mas as desvantagens desses sistemas podem ter enormes consequências.
Salve esta história
Salve esta história
Três partes do texto da Bósnia. Treze partes do curdo. Cinqüenta partes de Suahili. Onze mil partes do inglês.
Isso faz parte da receita de dados para o novo modelo de idioma de grande idioma, que, de acordo com a empresa, é capaz de detectar e bloquear conteúdo malicioso em mais de 100 idiomas. O Bumble usa uma tecnologia semelhante para identificar mensagens brutas e indesejáveis em pelo menos 15 idiomas. O Google o usa para tudo – desde a tradução até a filtragem das partições dos comentários nos jornais. Todos eles têm receitas comparáveis e o mesmo ingrediente dominante: dados em inglês.
Por muitos anos, as empresas que operam no campo das redes sociais prestaram mais atenção à detecção e remoção automática de conteúdo em inglês do que em 7. 000 outros idiomas do mundo. O Facebook deixou quase 70 % da desinformação em italiano e espanhol, em comparação com 29 % da desinformação semelhante em inglês. O vazamento de documentos mostra que as mensagens em árabe são regularmente marcadas como incitadas por ódio. A baixa moderação do conteúdo nos idiomas locais contribuiu para violações dos direitos humanos, incluindo genocídio em Mianmar, violência étnica na Etiópia e desinformação nas eleições do Brasil. Na escala do país, as decisões sobre a colocação, diminuição ou remoção do conteúdo afetam diretamente os direitos básicos das pessoas, especialmente os estratos marginais da população, que têm poucas outras oportunidades de organização e comunicação livre.
Se inscrever
Inscrev a-se na Wired e mantenh a-se a par de todas as suas idéias favoritas.
O problema está em parte em vontade política, mas também é uma tarefa técnica. Já é difícil criar sistemas que possam detectar spam, incitando ódio e outro conteúdo indesejável em todos os idiomas do mundo. A tarefa complica o fato de que muitos idiomas são “baixos recursos”, ou seja, eles têm poucos dados de texto digitalizados para o ensino de sistemas automatizados. Alguns desses idiomas com um baixo nível de recursos têm um número limitado de alt o-falantes e usuários da Internet, mas em outros, como hindi e indonésio, dizem centenas de milhões de pessoas, o que aumenta repetidamente os danos causados por sistemas errôneos. Mesmo que as empresas estivessem prontas para investir na criação de algoritmos individuais para cada tipo de conteúdo prejudicial em cada idioma, elas podem não ter dados suficientes para a operação efetiva de tais sistemas.
Uma nova tecnologia chamada “Modelos de Linguagem Grandes multicipíveis” mudou radicalmente a abordagem das redes sociais para moderação de conteúdo. Modelos de linguagem multivados – como descrevemos no novo artigo – são semelhantes aos GP T-4 e outros modelos de idiomas grandes (LLM), mas estudam regras de idiomas mais gerais, treinamento em textos em dezenas ou centenas de idiomas diferentes. Eles são especialmente projetados para estabelecer laços entre idiomas, o que lhes permite extrapolar dados dos idiomas para os quais eles têm muitos dados educacionais, por exemplo, inglês, naqueles para os quais têm menos dados de treinamento, por exemplo, bósnios.
Esses modelos provaram sua capacidade de resolver problemas semânticos e sintáticos simples em uma ampla gama de idiomas, como análise de análise de gramática e humor, mas não está claro como eles são capazes de lidar com a linguagem e o contexto muito mais específicos com a tarefa de moderação de conteúdo, especialmente em idiomas que eles quase não treinaram. Além das raras mensagens presunçosas em blogs, as empresas de redes sociais falaram pouco sobre como seus sistemas funcionam no mundo real.
Por que os modelos multilíngues podem ser menos capazes de identificar conteúdo nocivo, como as empresas das redes sociais sugerem?
Mais popular
A ciência
Uma bomba demográfica de uma ação lenta está prestes a atingir a indústria de carne bovina
Matt Reynolds
Negócios
Dentro do complexo supe r-secreto Mark Zuckerberg no Havaí
Gatrine Skrimjor
Engrenagem
Primeira olhada em Matic, um aspirador de robô processado
Adrienne co
Negócios
Novas declarações de Elon Mask sobre a morte de um macaco estimulam novos requisitos para a investigação da SEC
Dhruv Mehrotra
Uma das razões é a qualidade dos dados nos quais eles estudam, especialmente em idiomas com baixos recursos. Em grandes conjuntos de dados de texto, frequentemente usados para ensinar modelos multilíngues, os idiomas menos apresentados também geralmente contêm textos ofensivos, pornográficos e mal traduzidos ou apenas um marido. Os desenvolvedores às vezes tentam compensar dados de baixa qualidade, preenchendo as lacunas com um texto com tradução para a máquina, mas, novamente, isso significa que o modelo ainda dificilmente entenderá o idioma como as pessoas dizem. Por exemplo, se o modelo de idioma foi aprendido apenas no texto traduzido de inglês para sebuano – um idioma que é dito por 20 milhões de habitantes das Filipinas, o modelo pode não ver o termo “kuan”, gíria usada por falantes nativos, mas não ter análogos em outros idiomas.
Outro problema de modelos multilíngues está associado a diferenças na quantidade de dados nos quais eles estudam em cada idioma. Analisando o conteúdo em idiomas para os quais eles têm menos dados para aprender, os modelos eventualmente dependem das regras que exibem para idiomas para os quais eles têm mais dados. Isso os impede de entender as nuances e os contextos característicos de idiomas com menos recursos e valores e suposições de importação codificados em inglês. Por exemplo, um dos modelos multilíngues da Meta foi treinado em inglês por mil vezes mais textos do que em birmaneses, Amhar ou Punjabi. Se a compreensão dessas línguas for refratada através do prisma do inglês, isso certamente afetará sua capacidade de detectar conteúdo malicioso associado aos eventos atuais que ocorrem nesses idiomas, como a crise dos refugiados de Rohinghea, a guerra em Tigrey e Os protestos dos agricultores indianos.
Finalmente, mesmo que o modelo de linguagem multilíngue fosse treinado em uma quantidade igual de dados de alta qualidade em cada idioma, ele ainda seria confrontado com o que os cientistas da computação chamam de “maldição do multilinguismo” – ou seja, os idiomas interferem entre si Nos resultados finais do modelo. Diferentes idiomas competem entre si por um local na exibição interna do idioma em um modelo de linguagem multilíngue. Como resultado, o treinamento de um modelo multilíngue em uma quantidade maior de dados em hindi pode piorar seu trabalho ao resolver problemas em idiomas etimologicamente diferentes, como inglês ou tagal, e um aumento no número total de idiomas nos quais o O modelo é treinado pode piorar seu trabalho em todos esses idiomas.
Mais popular
A ciência
Uma bomba demográfica de uma ação lenta está prestes a atingir a indústria de carne bovina
Matt Reynolds
Negócios
Dentro do complexo supe r-secreto Mark Zuckerberg no Havaí
Gatrine Skrimjor
Engrenagem
Primeira olhada em Matic, um aspirador de robô processado
Adrienne co
Negócios
Novas declarações de Elon Mask sobre a morte de um macaco estimulam novos requisitos para a investigação da SEC
Dhruv Mehrotra
No caso de moderação do conteúdo, isso levanta questões complexas sobre quais idiomas devem ser prioritários para as redes sociais e quais objetivos devem perseguir esses modelos. Os modelos de linguagem multilíngue devem se esforçar para o mesmo desempenho em todos os idiomas? Dê preferência a idiomas com o maior número de alt o-falantes? Aqueles que se deparam com os problemas mais sérios de moderação do conteúdo? E quem decide qual deles está experimentando mais agudamente uma crise?
Os modelos de linguagem multicipível prometem trazer o poder analítico do LLM para todos os idiomas do mundo, mas ainda não está claro se suas possibilidades estão se espalhando para detectar conteúdo nocivo. Parece não ser fácil comparar conteúdo prejudicial entre idiomas e contextos de idiomas. Para garantir que esses modelos não levem a um impacto desproporcional em várias comunidades de idiomas, empresas que trabalham nas redes sociais, é necessário fornecer mais informações sobre como esses modelos funcionam.
No mínimo, as empresas devem compartilhar informações sobre quais produtos esses modelos são usados, para quais tipos de conteúdo são usados e em quais idiomas. As empresas também devem compartilhar os principais indicadores da eficácia dos modelos de idiomas em cada idioma e informações mais detalhadas sobre os dados de treinamento que eles usam para que os pesquisadores possam avaliar esses conjuntos de dados para viés e entender o que o equilíbrio da empresa estabelece entre diferentes idiomas. Embora as maiores empresas, como o Facebook e o Google, publiquem versões de seus modelos de idiomas para pesquisadores e até outras empresas, eles geralmente se calam sobre como esses sistemas de acesso ao público se correlacionam ou diferem dos usados em seus próprios produtos. Esses proxies não são suficientes – as empresas devem compartilhar informações sobre modelos de idiomas reais que usam para modular o conteúdo.
As empresas que trabalham nas redes sociais também devem pensar que a melhor abordagem pode ser o uso de mais de um grande modelo multilíngue, mas vários pequenos modelos mais adaptados a idiomas específicos e famílias linguísticas. Por exemplo, o modelo Masakhane Afrolm é treinado em 23 idiomas africanos diferentes e é capaz de superar modelos multilíngues maiores nesses idiomas. As comunidades de pesquisa em todo o mundo trabalham duro para descobrir quais modelos de idiomas são mais adequados para seus próprios idiomas. As empresas que trabalham nas redes sociais devem confiar não apenas em suas realizações técnicas, mas também na experiência em trabalhar com o contexto do idioma local.
Como solução, os modelos de linguagem multilíngue correm o risco de se tornar um patch do tamanho do “restante do mundo” para um problema em desenvolvimento dinâmico. Oferecendo mais transparência e responsabilidade, dando a prioridade do desempenho de idiomas individuais, e não da escalabilidade, e consultando comunidades de idiomas, as empresas podem começar a abandonar essa abordagem.
Correção de 30/05/23 3: 30PT ET: O modelo AFROLM pertence a Masakhane. A versão anterior do artigo afirmou que este é um modelo da LELAPA.
