Os transformadores – modelos de dados baseados em redes neurais – mudarão radicalmente a forma como as máquinas interagem conosco.
Salve esta história
Salve esta história
A inteligência artificial prometia muito, mas algo impedia a sua utilização bem sucedida por milhares de milhões de pessoas: a luta frustrante de humanos e máquinas para se compreenderem em linguagem natural.
Isto está agora a mudar graças ao advento de grandes modelos de linguagem baseados em arquiteturas transformadoras – um dos avanços mais importantes na IA nos últimos 20 anos.
CONSULTE MAIS INFORMAÇÃO
Esta história faz parte da série WIRED World in 2023, nosso briefing anual de tendências. Leia outros artigos desta série aqui – baixe ou solicite um exemplar da revista.
Transformadores são redes neurais projetadas para modelar dados sequenciais e gerar previsões sobre o que virá a seguir na série. No centro do seu sucesso está a ideia de “atenção”, que permite ao transformador “estar presente” às características mais significativas dos dados de entrada, em vez de tentar processar tudo.
Esses novos modelos permitiram melhorias significativas em aplicações de linguagem natural, como tradução, resumo, recuperação de informações e, mais importante, geração de texto. No passado, cada um deles exigia arquiteturas individuais. Agora os transformadores fornecem resultados de última geração em todas as áreas.
Embora o Google tenha sido o pioneiro na arquitetura Transformer, a OpenAI foi a primeira a demonstrar seu poder em escala em 2020 com o lançamento do GPT-3 (Generative Pre-Trained Transformer 3). Naquela época, era o maior modelo de linguagem já criado.
A capacidade do GPT-3 de criar texto semelhante ao humano causou uma onda de entusiasmo. Mas aquele era só o começo. Os grandes modelos linguísticos estão agora a melhorar a um ritmo verdadeiramente impressionante.
O “número de parâmetros” é geralmente considerado um indicador aproximado das capacidades de um modelo. No momento, vemos que à medida que o número de parâmetros aumenta, os modelos apresentam melhor desempenho em uma ampla gama de tarefas. Nos últimos cinco anos, os modelos aumentaram quase uma ordem de grandeza todos os anos, por isso não é surpreendente que os resultados sejam impressionantes. No entanto, estes modelos muito grandes são caros de produzir.
O que é realmente notável é que, no ano passado, eles se tornaram menores e muito mais eficazes. Agora vemos o desempenho impressionante de modelos pequenos, que são muito mais baratos em operação. Muitos deles estão em domínio público, o que reduz ainda mais as barreiras para experimentos e a implantação desses novos modelos de IA. Isso, é claro, significa que eles serão mais amplos nos aplicativos e serviços que você usa todos os dias.
Eles serão mais capazes de gerar texto, imagens, áudio e vídeo de alta qualidade. Essa nova onda repensará o que os computadores podem fazer por seus usuários e divulgará o fluxo de recursos avançados em produtos existentes e radicalmente novos.
Acima de tudo, estou preocupado com minha língua. Ao longo da história da tecnologia de computação, as pessoas tiveram que apresentar meticulosamente seus pensamentos usando interfaces criadas para tecnologias, e não para as pessoas. Graças a essa onda de avanços em 2023, começaremos a nos comunicar com carros em nosso idioma – instantaneamente e abrangente. No final, seremos capazes de nos comunicar verdadeiramente com todos os nossos dispositivos. Isso promete alterar radicalmente a interação de uma pessoa e máquina.
Nas últimas décadas, focamos com razão em ensinar as pessoas a codificar – na verdade, ensinando a linguagem dos computadores. Isso ainda é importante. Mas em 2023 começaremos a girar o script, e os computadores falarão em nosso idioma. Isso expandirá significativamente o acesso a ferramentas para criatividade, treinamento e jogos.
Quando a IA finalmente entra na era da utilidade, as possibilidades de criar novos produtos focados na IA se tornarão enormes. Em breve, viveremos em um mundo onde, independentemente de suas habilidades de programação, as principais restrições serão apenas curiosidade e imaginação.
