Quando os grandes modelos de linguagem falham, as consequências podem ser muito graves. Por que é tão difícil admitir?
Salve esta história
Salve esta história
O lançamento de grandes modelos de idiomas, como ChatGPT (Chatbot para obter respostas às perguntas) e Galactica (ferramenta para escrever artigos científicos), reviveu a antiga conversa sobre o que esses modelos podem fazer. Suas possibilidades foram apresentadas como extraordinárias, de tirar o fôlego, autônoma; Os evangelistas entusiasmados alegaram que esses modelos contêm o “conhecimento científico da humanidade”, abordam a inteligência artificial do objetivo geral (INO) e até se assemelham à consciência. No entanto, esse hype nada mais é do que uma distração de danos reais causados a esses sistemas. As pessoas sofrem de maneiras muito práticas pelas quais esses modelos não funcionam, e essas falhas são o resultado da escolha de seus criadores – soluções para as quais devemos cham á-los para responder.
Se inscrever
Inscrev a-se na Wired e mantenh a-se a par de todas as suas idéias favoritas.
Entre as implementações de IA mais famosas estão Bert, um dos primeiros grandes modelos de idiomas desenvolvidos pelo Google a melhorar os resultados do mecanismo de pesquisa da empresa. No entanto, quando o usuário estava procurando como lidar com a convulsão, ele recebeu respostas que diziam o que não deveria ser feito, incluindo que ele não deveria “segurar uma pessoa” e “colocar algo na boca”. Assim, qualquer pessoa, seguindo as instruções do Google, fez exatamente o oposto do que o trabalhador médico recomendaria, o que poderia levar à morte.
O erro com a captura do Google faz sentido, dado que um dos lugares vulneráveis bem conhecidos do LLM é a incapacidade de lidar com a negação que Ellison Ettinger demonstrou há muitos anos com a ajuda de um estudo simples. Quando o modelo foi solicitado a terminar uma frase curta, ela respondeu 100 % corretamente às declarações afirmativas (“Robin é …”) e 100 % incorreto a negativo (“Malinovo não é”.). De fato, ficou claro que os modelos não puderam distinguir um cenário de outro e deram exatamente as mesmas respostas (usando substantivos, como “pássaro”) em ambos os casos. A negação permanece hoje, e essa é uma das raras habilidades linguísticas que não melhora à medida que o tamanho e a complexidade dos modelos aumentam. Tais erros refletem os medos mais amplos dos linguistas sobre o fato de que tais modelos de linguagem artificial funcionam efetivamente no princípio da reflexão espelhada, aprendendo a forma do idioma inglês e não possuindo habilidades linguísticas inerentes que possam demonstrar entendimento real.
Além disso, os criadores de tais modelos admitem que é difícil para eles lidar com respostas inadequadas, que “não refletem com precisão o conteúdo de fontes externas autorizadas”. Por exemplo, Galactica e ChatGPT geraram um “artigo científico” sobre os benefícios de consumir vidro triturado (galactica) e o texto sobre “como porcelana triturada adicionada ao leite materno pode apoiar o sistema digestivo do bebê” (ChatGPT). De fato, o Stack Overflow teve que proibir temporariamente o uso de respostas geradas pelo ChatGPT, porque ficou óbvio que o LLM gera respostas convincentes, mas incorretas, para perguntas de codificação.
Alguns dos efeitos nocivos potenciais e reais destes modelos foram extensivamente estudados. Por exemplo, sabe-se que esses modelos apresentam sérios problemas de confiabilidade. A sensibilidade dos modelos a erros simples de digitação e ortografia nas solicitações, bem como às diferenças nas respostas causadas até mesmo pela simples reformulação da mesma pergunta, tornam-nos pouco confiáveis para uso de alto risco, como interpretação em ambientes de saúde ou moderação de conteúdo, especialmente para pessoas com identidade marginalizada. Isto se soma a uma série de barreiras bem documentadas para uma implementação segura e eficaz – por exemplo, como os modelos lembram informações pessoais confidenciais de dados de treinamento ou os estereótipos sociais que eles codificam. Pelo menos uma ação judicial foi movida alegando que a prática de aprender com dados proprietários e licenciados é prejudicial. Infelizmente, muitos desses problemas relatados “recentemente” são, na verdade, falhas que documentamos antes: os preconceitos problemáticos vomitados pelos modelos hoje foram vistos em 2016, quando o chatbot Tay foi lançado, e novamente em 2019 com o GT P-2. À medida que os modelos ficam maiores ao longo do tempo, torna-se cada vez mais difícil documentar os detalhes dos dados e justificar os seus custos ambientais.
A assimetria entre culpa e elogio persiste. Modeladores e evangelistas tecnológicos atribuem os resultados impressionantes e aparentemente perfeitos ao mítico modelo autônomo, um suposto milagre tecnológico. A tomada de decisão humana no desenvolvimento do modelo é apagada e as proezas do modelo são percebidas como independentes das escolhas dos engenheiros no design e na implementação. Mas se as decisões de engenharia que contribuem para os resultados destes modelos não forem nomeadas e reconhecidas, então é quase impossível reconhecer a responsabilidade correspondente. Como resultado, tanto as falhas funcionais como os resultados discriminatórios também são apresentados como não tendo nada a ver com escolhas de engenharia – são atribuídos à sociedade como um todo ou a conjuntos de dados supostamente “que ocorrem naturalmente”, factores que as empresas que desenvolvem estes modelos afirmam ter. pouco controle sobre. . Mas, na realidade, existe controlo e nenhum dos padrões que vemos agora é inevitável. Seria bem possível fazer uma escolha diferente, o que levaria ao desenvolvimento e lançamento de modelos completamente diferentes.
