Graças a grandes modelos de idiomas, um fraudador pode executar centenas ou milhares de golpes em paralelo, dia e noite, em qualquer idioma sob o sol.
Botão/pausa de reprodução
Pausa
Ilustração fotográfica: funcionários com fio; Getty Images
Salve esta história
Salve esta história
Em todos os lugares, os alunos da Faculdade de Ciência da Computação conduzem um experimento: peça ao Chatgpt para gerar cartas de phishing e verificar se são melhores para convencer as vítimas a responder ou seguir o link do que o spam comum. Este é um experimento interessante, e os resultados provavelmente serão muito diferentes, dependendo dos detalhes do experimento.
Opinion Wired
Bruce Schneier é professor e pesquisador da Harvard School Kennedy, chefe do Departamento de Arquitetura de Segurança Inrupto. Seu último livro é a mente de Hacker.
Barat Raghavan é professor de ciência da computação na Universidade do Sul da Califórnia e c o-fundador da Invisv.
Mas, embora esse experimento seja fácil de conduzir, não leva em consideração o risco real associado ao fato de que os grandes modelos de idiomas (LLM) escrevem cartas fraudulentas. A fraude moderna controlada pelas pessoas não se limita ao número de pessoas que respondem ao contato inicial por e-mail. Eles são limitados no processo de consumo de tempo da condenação dessas pessoas de enviar dinheiro ao fraudador. LLM vai mudar essa situação.
Há uma década, um dos tipos de spam, que veio de e-mail, foi uma razão para piadas em todas as noites: “Eu sou o filho do falecido rei da Nigéria, preciso da sua ajuda …”. Quase todo mundo recebeu uma ou milhares de cartas, e parecia que todos deveriam saber que era fraude.
Então, por que os golpistas ainda enviam cartas tão claramente duvidosas? Em 2012, o pesquisador Kormak Herli propôs a resposta: isso filtrou a todos, exceto o mais crédulo. Um scammer inteligente não quer gastar seu tempo com pessoas que respondem e, em seguida, entendem que isso é fraude quando é solicitado a transferir dinheiro. Usando uma carta fraudulenta óbvia, um fraudador pode se concentrar nas pessoas mais potencialmente lucrativas. Leva tempo e esforço para entrar em correspondência, que passo a passo adianta uma pessoa do interlocutor para um amigo de um amigo e um mendigo.
Os longos golpes financeiros são conhecidos hoje como um moedor de carne no qual vítimas em potencial crescem até sua morte final e súbita. Tais golpes, exigindo o ganho de confiança e penetração nas finanças pessoais da vítima, exigem semanas ou até meses de tempo pessoal e interações múltiplas. Este é um jogo com taxas altas e uma baixa probabilidade que um fraudador joga.
É aqui que o LLM será capaz de mudar a situação. Muito já foi escrito sobre a falta de confiabilidade dos modelos GPT do OpenAI e similares: eles geralmente “alucinam”, inventando algo sobre o mundo e pronunciando com confiança. Isso é normal para entretenimento, mas para a maioria das aplicações práticas, isso é um problema. No entanto, isso não é um problema, mas um recurso quando se trata de fraude: a capacidade do LLM de lidar com confiança com golpes, independentemente do que o usuário lança neles, será útil para os golpistas, pois eles são guiados por hostis, atordoados e confiar em objetos de fraude, que são bilhões de bilhões. Scams com inteligência artificial podem capturar mais pessoas, porque o número de vítimas que cairão na isca de um fraudador mais fino e flexível treinou para tudo o que já foi escrito na internet é muito maior do que o número daqueles que acreditam que o rei A Nigéria quer dar a eles um bilhão de dólares.
Hoje, os computadores pessoais são poderosos o suficiente para que possam lançar o Compact LLM neles. Depois que o novo modelo de llama do Facebook vazou para a rede, os desenvolvedores o configuraram para que funcionasse de maneira rápida e barata em laptops poderosos. O desenvolvimento tem muitos outros LLMs de código aberto, e a comunidade de engenheiros e cientistas tem milhares de pessoas.
Um fraudador, sentado atrás de um laptop em qualquer lugar do mundo, agora pode correr centenas ou milhares de golpes em paralelo, dia e noite, com marcas ao redor do mundo, em todas as línguas sob o sol. A IA-Chattots nunca vai dormir e sempre se adaptará no caminho para alcançar seus objetivos. E os novos mecanismos, dos plu g-ins ChatGPT a Langchain, permitirão a combinação de IA com milhares de serviços em nuvem com base na API e ferramentas de código aberto, o que permitirá que o LLM interaja com a Internet da mesma maneira que as pessoas. Em tais fraudes para as pessoas, não apenas os príncipes que oferecem a riqueza de seu país se dão. São estranhos solitários, procurando romance, novas criptomoedas quentes, que em breve decolarão de preço e, ao que parece, novos sites financeiros que oferecem um retorno incrível de depósitos. E as pessoas já estão se apaixonando pelo LLM.
Essa mudança está em escala e no escopo. A LLM mudará o transportador de fraude, tornand o-o mais lucrativo do que nunca. Não sabemos como viver em um mundo com um bilhão ou 10 bilhões de golpistas que nunca dormem.
A sofisticação destes ataques também mudará. Isto deve-se não só ao desenvolvimento da inteligência artificial, mas também ao modelo de negócio da Internet – o capitalismo de vigilância – que cria enormes quantidades de dados sobre cada um de nós, disponíveis para compra em corretores de dados. Os ataques direcionados a pessoas, seja através de phishing, mineração de dados ou fraude, anteriormente só eram possíveis para os Estados-nação. Combine os dossiês digitais que os corretores de dados têm sobre cada um de nós com o LLM e você terá uma ferramenta projetada especificamente para ataques personalizados.
Empresas como a OpenAI tentam evitar que seus modelos façam coisas ruins. Mas a cada novo LLM lançado, os sites de redes sociais estão cheios de novos jailbreaks de IA que contornam as novas restrições estabelecidas pelos desenvolvedores de IA. ChatGPT, depois Bing Chat e GPT-4 foram hackeados poucos minutos após seu lançamento, de dezenas de maneiras diferentes. A maioria das proteções contra o uso injusto e resultados prejudiciais são apenas de natureza superficial e são facilmente contornadas por determinados usuários. Depois que um jailbreak é descoberto, ele geralmente pode ser generalizado e a comunidade de usuários expõe o LLM através das fissuras em sua armadura. E a tecnologia avança rápido demais para que qualquer um possa entender completamente como ela funciona, até mesmo os desenvolvedores.
No entanto, é uma história antiga: lembra-nos que muitos dos maus usos da IA são um reflexo da humanidade, mais do que da própria tecnologia de IA. A fraude não é novidade – apenas a intenção e depois a acção de uma pessoa que engana outra para ganho pessoal. E usar outras pessoas como capangas para cometer fraudes não é, infelizmente, novo nem invulgar: por exemplo, o crime organizado na Ásia está actualmente a raptar ou a alugar milhares de pessoas a fábricas fraudulentas. Será melhor que o crime organizado deixe de ver a necessidade de explorar e abusar fisicamente das pessoas para realizar as suas operações fraudulentas, ou será pior que eles e muitos outros consigam expandir o âmbito da fraude a níveis sem precedentes?
A defesa pode e irá alcançá-la, mas antes que isso aconteça, a nossa relação sinal-ruído cairá drasticamente.
