Apesar de estar a causar um grande impacto na opinião pública, a ferramenta de geração de texto ChatGPT não impressionou o cientista Yann LeCun, da Meta (ex-Facebook). O investigador explicou numa conferência, realizada no final da semana passada, que as técnicas por trás daquela solução já estão a ser usadas por várias outras empresas e que o mesmo tipo de trabalho está a ser desenvolvido em muitos outros laboratórios.
“Em termos de técnicas de base, o ChatGPT não é particularmente inovador. (…) Não é nada revolucionário, apesar de ser percecionado dessa forma pelo público. É só isso, sabem, está bem construído”, contou LeCun, afirmando ainda que “a OpenAI não está particularmente avançada comparada com outros laboratórios [de IA]”.
O especialista explicou que o ChatGPT e o modelo algorítmico sobre o qual assenta, o GPT-3, é composto por múltiplos pedaços de tecnologia desenvolvida ao longo dos últimos anos, por diferentes entidades: “O ChatGPT usa uma arquitetura de transformadores, que são pré-treinadas de uma forma auto-supervisionada”, cita o ZDNet. Os transformadores foram criados pela Google e constituem uma linguagem neuronal apresentada em 2017 e que agora serve de base para vários programas de processamento de linguagem natural. Esta inovação teve por base o modelo desenvolvido há 20 anos por Yoshua Bengio, no instituto canadiano MILA.
Outro aspeto “não inovador” da OpenAI é o uso da aprendizagem por reforço de feedback humano, na qual há agentes humanos envolvidos na melhoria do sistema, um pouco à semelhança do que acontece com o Page Rank da Google para a Internet. Esta abordagem foi inicialmente usada pela DeepMind e não pela OpenAI.
LeCun explicou ainda a razão pela qual a Meta e a Google não lançaram sistemas semelhantes ao da OpenAI: “Têm ambas muito a perder se disponibilizarem sistemas que inventam coisas”. Ainda assim, o investigador adianta que a Meta está a desenvolver uma solução que gera anúncios para a plataforma: “Há cerca de 12 milhões de lojas que fazem anúncios na Facebook, muitas delas são pequenos negócios familiares, que não têm recursos suficientes para criar um novo site, com bom aspeto. Para eles, a arte generativa pode ajudar bastante”.
LeCun venceu o prémio Turing em 2019 e é considerado, em conjunto com Bengio e Geoffrey Hinton, como pioneiro dos sistemas de IA de aprendizagem aprofundada (deep learning).
