Como jeans astutos, a inteligência artificial cumprirá nossos desejos e depois os invadirá, explorando nossos sistemas sociais, políticos e econômicos, como nunca antes.
Salve esta história
Salve esta história
Banco de dados de AI →
Processando uma linguagem natural
Se você não tem nada com que se preocupar, pense no mundo onde a IA é hackers.
Khacklism é tão velho quanto a humanidade. Estamos abordando de forma criativa a solução de problemas. Usamos brechas, manipulamos sistemas e nos esforçamos para maior influência, poder e riqueza. Até agora, o hacking tem sido exclusivamente ocupação humana. Mas isso não é por muito tempo.
Conforme declarado no relatório que acabei de publicar, a inteligência artificial acabará encontrando vulnerabilidades em todos os tipos de sistemas sociais, econômicos e políticos e depois os usarão a uma velocidade, escala e escopo sem precedentes. Tendo hackear a humanidade, os sistemas de IA quebrarão outros sistemas de IA, e as pessoas se tornarão nada mais do que danos concomitantes.
Opinion Wired
Sobre o site
Bruce Schneier é um tecnólogo de segurança que ensina Kennedy na Harvard School. Recentemente, ele se tornou o autor do livro “Clique aqui para matar todos: segurança e sobrevivência em um mundo hipe r-timado”.
Talvez isso seja um pouco hiperbolizado, mas isso não precisa de tecnologia para o futuro distante da ficção científica. Não sugiro a “singularidade” da IA quando o ciclo de feedback e o treinamento se tornar tão rápido que o entendimento humano superará. Não assumo andróides razoáveis. Não assumo intenção maliciosa. A maioria desses hacks nem sequer requer sérias descobertas científicas no campo da IA. Eles já estão acontecendo. No entanto, à medida que a IA se torna cada vez mais perfeita, muitas vezes nem sabemos que isso está acontecendo.
A IA não resolve o problema como as pessoas. Eles consideram mais tipos de soluções do que nós. Eles seguem os caminhos difíceis que não consideramos. Isso pode se tornar um problema devido ao chamado problema da explicação. Os sistemas de IA modernos são, de fato, caixas pretas. Os dados vêm de uma maneira e a resposta sai da outra. Pode ser impossível entender como o sistema chegou a essa conclusão, mesmo que você seja um programador e observe o código.
Em 2015, o grupo de pesquisa alimentou o sistema de inteligência artificial chamado Deep Patient Medical Data cerca de 700. 000 pessoas e verificou se pode prever as doenças. Pude, mas o paciente profundo não dá nenhuma explicação sobre o que um diagnóstico específico se baseia, e os pesquisadores não sabem como se trata de suas conclusões. O médico pode confiar no computador ou ignor á-lo, mas essa confiança permanecerá cega.
Os pesquisadores estão trabalhando na criação da IA que pode se explicar, mas, ao que parece, há um compromisso entre oportunidades e explicação. As explicações são uma transcrição cognitiva usada por pessoas, adequada para como as pessoas tomam decisões. A coerção de IA para criar uma explicação pode ser uma restrição adicional que pode afetar a qualidade das decisões tomadas por ela. No momento, a IA está se tornando mais opaca e menos explicável.
Além disso, a IA pode fazer o que é chamado de “hackers de recompensa”. Como a IA resolve os problemas que não são como as pessoas, ele invariavelmente tropeçou nas decisões que nós, pessoas, não podíamos prever, e alguns deles podem violar o plano do sistema. Isso ocorre porque a IA não pensa em termos de consequências, contexto, normas e valores que compartilhamos e consideramos concedidos. Como resultado de hackers, o objetivo é alcançado como uma recompensa, mas como os desenvolvedores da IA não queriam e não queriam e não planejaram.
Mais popular
A ciência
Uma bomba demográfica de uma ação lenta está prestes a atingir a indústria de carne bovina
Matt Reynolds
Negócios
Dentro do complexo supe r-secreto Mark Zuckerberg no Havaí
Gatrine Skrimjor
Engrenagem
Primeira olhada em Matic, um aspirador de robô processado
Adrienne co
Negócios
Novas declarações de Elon Mask sobre a morte de um macaco estimulam novos requisitos para a investigação da SEC
Dhruv Mehrotra
Pegue a simulação do futebol, onde eu percebeu que, se ele derrub á-la do lado de fora do campo, o goleiro terá que bater na bola e deixar o portão sem proteção. Ou outra simulação em que a AI percebeu que, em vez de correr, ele poderia se tornar alto o suficiente para atravessar a linha de chegada distante, caindo nela. Ou um aspirador de pó de robô, que, em vez de aprender a não tropeçar em objetos, aprendeu a andar para trás, onde não havia sensores informando que ele foi tropeçado em objetos. Se as regras tiverem problemas, inconsistências ou brechas, e se essas propriedades levarem a uma solução aceitável, a certas regras, a IA encontrará esses hacks.
Aprendemos sobre esse problema de invadir a infância com a história do rei Midas. Quando Deus Dionysus cumpre seu desejo, Midas pede tudo o que toca para se transformar em ouro. Como resultado, ele fica com fome e infeliz quando sua comida, bebida e filha se transformam em ouro. Este é um problema de especificação: Midas programou o objetivo errado no sistema.
Os jeans são muito precisos na redação dos desejos e podem ser maliciosamente pedantes. Sabemos sobre isso, mas ainda é impossível superar o gênio. O que você quiser, ele sempre será capaz de cumprir seu desejo, como você não gostaria disso. Ele cumprirá seu desejo. Objetivos e desejos sempre permanecem inalterados na linguagem e no pensamento humanos. Nunca descrevemos todas as opções, não incluímos todas as reservas, exceções e reservas aplicáveis. Qualquer objetivo que indicará certamente estará incompleto.
Embora as pessoas mais frequentemente entendam implicitamente o contexto e geralmente atuem dos melhores motivos, não podemos indicar completamente os objetivos da IA. E a IA não consegue entender completamente o contexto.
Em 2015, a Volkswagen foi pega em fraude durante os testes de teste. Não foi a IA – os engenheiros humanos programaram um computador regular para enganar – mas ilustra o problema. Eles programaram o motor para descobrir uma verificação no controle das emissões e se comportaram de maneira diferente. Seu engano permaneceu despercebido por muitos anos.
Se eu pedisse que você desenvolvesse software para dirigir um motor de carro para obter o máximo desempenho e, ao mesmo tempo, passar por testes de controle de emissões, você não desenvolveria um programa de engano, sem entender que está enganando. Para inteligência artificial, esse simplesmente não é o caso. Ele pensará “nã o-padrão” simplesmente porque não terá o conceito de caixa. Ele não entenderá que a decisão de Volkswagen prejudica os outros, mina o significado dos testes para controlar as emissões e violar a lei. Se os programadores não indicarem a meta – não se comporte de maneira diferente ao testar – a IA pode criar o mesmo hack. Os programadores ficarão satisfeitos, contadores – em êxtase. E devido ao problema da explicação, ninguém entenderá o que a IA fez. E sim, conhecendo a história com a Volkswagen, podemos definir claramente uma meta para evitar tanto esse hacking. Mas a lição de Genie é que sempre haverá hacks imprevistos.
