A IA não sabe quando ele cria consequências imprevistas. Tentando consertar isso, os desenvolvedores podem agravar o problema.
Salve esta história
Salve esta história
Nós, pessoas, como você sabe, estamos prevendo mal as consequências de alcançar nossos objetivos tecnológicos. Adicione os cintos de segurança aos carros para segurança, e a velocidade e o acidente podem aumentar. Se você queimar hidrocarbonetos para obter energia barata, isso levará ao aquecimento do planeta. Dê aos especialistas novas tecnologias, como robôs cirúrgicos ou algoritmos de proteção de pedidos preditivos para aumentar a produtividade, e os alunos param de estudar. No entanto, em comparação com as tecnologias inteligentes que criamos, simplesmente surpreendemos a imaginação pela previsão de consequências imprevistas.
Opinion Wired
Sobre o site
Matt Bin (@Mattbeane) – Professor Associado do Departamento de Gestão Tecnológica da Universidade da Califórnia em Santa Barbara e pesquisador do Instituto de Economia Digital do Instituto Tecnológico de Massachusetts.
Tomemos, por exemplo, o treinamento de reforço é um dos tipos particularmente poderosos de IA, que fica por trás de algumas das demonstrações mais impressionantes dos últimos tempos. Os sistemas RL aceitam o estado de remuneração (eles também são os objetivos, os resultados para os quais recebem “óculos”) e vão até eles, não prestando atenção às conseqüências imprevistas de suas ações. O DeepMind Alphago foi criado para ganhar o jogo de tabuleiro Go, não importa o que custe. O sistema Openai fez o mesmo para a defesa dos antigos (DOTA), um jogo militar online multiplayer monstruosamente complexo. Nos dois jogos, nã o-padrão e, em alguns casos, as táticas radicais necessárias para derrotar o melhor que a humanidade poderia propor e, ao mesmo tempo, gastar uma quantidade desproporcionalmente grande de energia e recursos naturais. Essa determinação inspirou a criação de todos os tipos de ficção científica engraçada, incluindo IA, projetada para produzir o maior número possível de raspadores, e depois destruir a Terra, e depois todo o cosmos, na tentativa de fazer seu trabalho.
Apesar da aparente inovação, essa abordagem, com base no princípio da “vitória a qualquer preço”, é insolvente com o uso mais prático da IA. Caso contrário, podemos encontrar interrupções no fornecimento de eletricidade, falhas no mercado associadas ao comércio urgente ou (ainda mais) comunidades o n-line isoladas e (ainda mais) hiperpolarizadas. Diretamente, essas ameaças são possíveis apenas porque a IA melhora incrivelmente os métodos avançados anteriores: as redes elétricas se tornam muito mais eficazes e confiáveis, a licitação de microssegundos pode aumentar significativamente a eficiência dos mercados globais, e as plataformas de redes sociais permitem estabelecer conexões lucrativas com Bens, Serviços, Serviços, Serviços, Informações sobre Serviços e pessoas que, de outra forma, permaneceriam ocultas. Mas quanto mais damos esses processos e processos semelhantes nas mãos da IA, focados exclusivamente em nossos próprios propósitos, mais eles podem levar a consequências que não gostamos, às vezes à velocidade da luz.
Alguns representantes da comunidade de IA já estão resolvendo esses problemas. Um dos fundadores da DeepMind se tornou o c o-fundador da parceria na organização da IA, cujo objetivo é direcionar “atenção e esforços para usar a IA para resolver os problemas mais difíceis da humanidade”. Em 4 de dezembro, Pai anunciou o lançamento do SafeLife, um modelo conceitual de treinamento com reforço, que pode evitar efeitos colaterais imprevistos de sua atividade de otimização em um jogo simples. A SafeLife tem uma maneira clara de caracterizar essas consequências: um aumento na entropia (ou grau de desordem ou acidente) no sistema de jogos. Por definição, este não é um sistema prático, mas mostra como um sistema controlado pelo treinamento de reforço pode ser otimizado para atingir a meta, minimizando os danos laterais.
Este é um trabalho muito interessante e, em princípio, poderia ajudar a lidar com todos os tipos de efeitos imprevistos de tecnologias inteligentes, como IA e robôs. Por exemplo, poderia ajudar os robôs das fábricas a compreender que deveriam desacelerar se um falcão de cauda vermelha voasse em sua direção.(Já vi isso acontecer. Pombos vivem nesses prédios e, se forem grandes o suficiente, aves de rapina). Um modelo como o SafeLife pode substituir as configurações programadas para aumentar o rendimento porque matar seres vivos adiciona muita entropia ao mundo. Mas algumas das coisas que esperamos ajudar em teoria acabam contribuindo para os próprios problemas que estão tentando resolver. Sim, isto significa que o módulo de consequências não intencionais nos sistemas de IA da próxima geração pode ser aquele que cria consequências não intencionais poderosas. O que acontece se um robô desacelerar para um falcão enquanto um humano próximo espera que ele continue? A segurança e a produtividade podem estar em risco.
Isto é especialmente problemático quando as consequências abrangem quantidades significativas de espaço e tempo. Vamos pegar o algoritmo DOTA. Durante uma partida, quando ele calcula que a probabilidade de vitória é superior a 90 por cento, ele é programado para zombar dos outros jogadores no chat.“92 por cento de chance de vitória”, você pode ler enquanto observa sua força arduamente conquistada e sua estratégia astuta serem destruídas por um programa de computador. Como isso afeta as atitudes dos jogadores em relação ao jogo? Indo além, como isso afetará o comprometimento deles com o jogo? Para jogos em geral? Suas aspirações de carreira? Sua contribuição para o desenvolvimento da sociedade? Se tudo isso parece especulação inútil para você, considere que Lee Sedol – o melhor jogador profissional de Go do mundo, um prodígio que dedicou toda a sua vida a dominar o jogo – acaba de se aposentar pública e permanentemente do jogo, declarando que nenhum homem pode derrotar o sistema. Isso não quer dizer que a saída de Sedol do jogo seja boa ou ruim para o jogo, para ele ou para a sociedade, mas é uma consequência não intencional simbólica e significativa do sistema de IA otimizando sua função de recompensa.
