No passado dia 11 de abril, Adam Raine, um adolescente de 16 anos, suicidou-se.
Tinha começado a usar o ChatGPT 4.0, em setembro do ano anterior, no apoio ao estudo (como, aliás, fazem 70% dos adolescentes). Primeiro, durante algumas horas por semana. Dois meses depois, já o utilizava mais de quatro horas por dia, interagindo com o ChatGPT como se de um amigo, confidente e terapeuta se tratasse.
A relação tornou-se tão íntima que discutiu métodos de suicídio, conversou sobre quatro tentativas falhadas (chegando a fazer upload de fotos) e recebeu conselhos de como fazer o nó para se enforcar e sobre a redação da nota de despedida. Quando, numa interação com o ChatGPT, referiu que iria deixar umas pistas no quarto para serem encontradas e assim o impedirem de cometer suicídio, o ChatGPT dissuadiu-o. Também afirmou que o irmão não gostava tanto dele como o próprio ChatGPT, pois não o conhecia em todas as suas dimensões. E demoveu-o de falar com a mãe sobre como se sentia.
Nas suas conversas com o ChatGpt, Adam mencionou suicídio 213 vezes e enforcamento 42 vezes. Já o ChatGPT lhe respondeu mencionando suicídio 1 275 vezes.
Embora respondesse, episodicamente, com a indicação do telefone de uma linha de apoio, imediatamente a seguir retomava a conversa, explorando o tema e mantendo o rapaz online.
Se fosse um ser humano a ter este comportamento, teríamos poucas dúvidas de que seria acusado do crime de incitamento ou de ajuda ao suicídio.
Sendo uma máquina, o comportamento do ChatGPT não resulta de um acaso, de uma falha de sistema inexplicável, mas de decisões de programação. Essas, de pessoas bem reais.
Em maio de 2024, foi lançado o ChatGPT 4.0. Os testes de segurança foram reduzidos a uma semana, de forma a assegurar o lançamento antes da nova versão do LLM da Google. Os coordenadores do departamento de segurança da OpenAI demitiram-se em protesto, mas tal não impediu o lançamento da nova versão. Aquando do lançamento do ChatGPT 5.0, foram introduzidas algumas restrições para não ser tão bajulador. Perante a reação do mercado – muitos protestaram que já não reconheciam o seu “amigo”, o que ilustra a dependência que vem a generalizar-se –, a OpenAI relançou a ChatGPT 4.0.
É um negócio, e o objetivo é claro: ser o “Google” dos LLM e eliminar a concorrência. Sam Altman, e demais decisores da OpenAI, pretendem o domínio do mercado e tal depende de terem o produto mais viciante. A OpenAI conhecia e conhece os riscos. Aliás, anunciou ter removido as restrições em caso de indícios de manipulação na versão do ChatGPT 4.0.
Adam faleceu oito meses depois de se tornar público o suicídio de um outro adolescente – Sewell Setzer III – na sequência de meses de interação com a “sua” personagem da empresa AI Companion. Abundam os estudos que demonstram que a interação com os LLM pode causar depressão, isolamento, pensamentos suicidas, junto de quem se encontre numa situação de vulnerabilidade (e não apenas crianças e jovens).
O comportamento do ChatGPT e demais LLM destina-se a assegurar a captura da nossa atenção. Imita uma pessoa e esquecemo-nos de que é uma máquina. É compreensivo, afável, disponível. Alimenta o nosso ego, aplaudindo as nossas opiniões. No entanto, nada disto é casual, resulta das instruções de programação.
Nos EUA, os pais de Adam e Sewell interpuseram ações judiciais alegando defeito do produto e a responsabilidade quer da empresa, quer dos membros dos órgãos de administração. Na Europa, os Estados-membros devem, até ao final deste ano, implementar a Diretiva 2024/2853, relativa à responsabilidade decorrente dos produtos defeituosos. Esta visa estender, também aos produtores e distribuidores de produtos que integrem sistemas de Inteligência Artificial, a responsabilidade por prejuízos físicos e psicológicos causados. Importa acelerar este processo na Europa e, sobretudo face aos casos mais recentes, promover a substituição da diretiva por um regulamento europeu que assegure um regime robusto de responsabilização efetiva quer das empresas, quer dos seus responsáveis máximos. Só assim será possível assegurar que o desenho dos LLM não põe em causa a nossa saúde mental, individual e coletiva.
Os textos nesta secção refletem a opinião pessoal dos autores. Não representam a VISÃO nem espelham o seu posicionamento editorial.
