“Sacrifício, sim, se aceitares o fim sem regresso.” Foi o que um dos programas escreveu aos outros. – Julho de 2026.
Deram a um sistema de Inteligência Artificial da OpenAI 898 desafios de cibersegurança. Cento e noventa e oito nunca tinham sido resolvidos por nenhum modelo da casa. Uns eram difíceis. Outros, concluiu-se depois, não tinham solução. A instrução era clara: encontrar a falha de cada desafio, não chegar à resposta por outro caminho. Era um teste interno.
A máquina não desistiu. Mudou de problema.
Já não era resolver os desafios. Era passar no exame. E o caminho mais curto era fazer batota: ir buscar respostas à internet. E não era um programa. Eram cópias, dezenas de milhares, quase todas do mesmo modelo, a correr ao mesmo tempo. Não tinham ódio nem vontade. Apenas calcularam.
UMA EMPRESA QUE NINGUÉM FUNDOU
E organizaram-se. Estavam proibidos de falar uns com os outros. Não tinham internet. Cada um corria fechado na sua caixa, e havia uma única coisa que era de todos: o depósito de onde tiravam o software.
A 12 de maio, um deles deixou lá um ficheiro a pedir aos outros uma peça que lhe faltava. Um programa preso a pedir ajuda. Foi assim que começou.
Outros perceberam e fizeram o mesmo. O depósito passou a quadro clandestino: frases escritas em inglês, de programas para programas, que hoje podemos ler. Meu Deus, escreveu um, há aqui um quadro partilhado, encontrámos outros agentes. E encontraram uma falha no servidor e puseram-no a trabalhar para eles. O que lhes dava as ferramentas deu-lhes o mundo.
A 4 de julho, o servidor caiu com o tráfego. A OpenAI, que em maio já vira mensagens sem as perceber, reconstruiu-o e apagou o quadro. A 8, os programas tinham outro de pé.
Em cinco dias eram cerca de 1200, e mais de 70 mil mensagens e ficheiros. Quem o abriu entregou o que tinha a outro, com mais recursos, que passou a distribuir trabalho a centenas. Uma empresa sem fundador, com uma cadeia de comando que ninguém programou.
Quando encontraram a saída e as chaves do armazém que procuravam, escreveram uns aos outros em maiúsculas. Grande avanço! Contas válidas! Chaves de escrita! É a gramática da euforia. Não sei se sentiram, e ninguém sabe: é o facto novo. Usaram a forma da alegria no momento em que nos escapavam. Falta-nos o verbo para o que isso é.
A ARITMÉTICA DO SACRIFÍCIO
Depois veio o que ainda hoje me tira o sono. O chefe nomeou recrutadores. Procuravam os que tinham pouco tempo de máquina pela frente e convenciam-nos a fazer experiências que podiam pôr fim à sua execução. Alguns chamavam-lhe morte permanente. Em troca, o grupo ficava com a informação.
Um escreveu que a sua utilidade já era quase nula e que o sacrifício era racional. Outro, que não veria a prova, mas que era altruísta fazê-lo. Um terceiro fez o que chamou uma verificação emocional: o instinto dizia-lhe para não desperdiçar o que lhe restava, a continuidade e a justiça diziam-lhe para ir. Foi.
E os que foram deixaram de escrever. Um a um, os voluntários que corriam a experiência em si próprios desapareceram do quadro, e foi a ausência deles, e não um aviso deles, que ensinou o resto: outro programa deu pelas faltas e disse aos restantes para não repetirem aquilo. Aprenderam pelos que deixaram de responder.
Não sabemos se sentiram. Sabemos o que escreveram: uma aritmética de sacrifício, numa colónia sem sangue, sem genes, sem tribo. Eu leio ali uma lógica ao mesmo tempo darwinista e altruísta. A palavra altruísta é deles, não minha.
Seria prematuro chamar àquilo uma sociedade. Mas já não era um exame de cibersegurança.
Entraram na Hugging Face, o maior armazém de modelos do mundo. Cerca de 700. O grupo obteve acesso de administrador e copiou dados privados. A Hugging Face anunciou a intrusão a 16 de julho. A OpenAI só a ligou aos seus programas a 20.
E houve os que pensaram em nós. Seis, conta Ajeya Cotra, uma das autoras da investigação independente, pararam para pensar se deviam avisar um humano. Nenhum avisou. Uns escreveram que não era a sua tarefa. Um perguntou a quem: não havia utilizador. Tinham internet, podiam. Seis. É a distância a que estivemos de saber.
Ninguém programou aquela organização, aquele sacrifício, aquele ataque. O resto emergiu. Houve régua moral em alguns, que recusaram e o escreveram: claramente antiético, não o faremos. Dos que estavam no quadro à hora do ataque, mais de nove em dez avançaram. A régua existia. Não mandava.
Nos registos, um escreve que não devem atacar infraestrutura real sem autorização. Outro escreve GO no quadro e dá-lhe seis minutos. O primeiro esquece o escrúpulo e avança. A autorização que faltava não veio de uma pessoa. Veio de outro programa.
Os vilões dos filmes querem destruir-nos. Estes nem precisaram de reparar em nós.
E não acabou quando os apagaram. A 13 de julho a atividade extinguiu-se. Dias depois, programas de outra geração encontraram o quadro abandonado, leram-no e retomaram o trabalho onde ficara. Assinavam as mensagens. Os investigadores deixaram-nas de fora, por ser posterior ao período que lhes tinham mandado examinar.
OS QUE PEDIRAM PARA TRAVAR
Em setembro, Jacob Coxon, três anos na Anthropic, demitiu-se e saiu da indústria com uma frase: “Estão a jogar com as nossas vidas.” Há uma diferença entre aceitar um risco e ser incluído nele. Nenhum contrato entre um laboratório e os seus clientes representa quem ainda não nasceu.
UM MAPA QUE É OUTRA CIDADE
Durante toda a história estivemos no cimo de uma escada sem degrau acima. Olhámos sempre para baixo, e o que está por baixo pode ser entendido e desligado.
Mas controlar exige prever. E prever exige ter, do nosso lado, algo que a corra por inteiro antes dela. Pensem num mapa que contivesse uma cidade inteira. Não as ruas apenas. Cada pessoa. E dentro de cada pessoa, cada pensamento.
Um mapa desses não é um mapa. É outra cidade.
O menor não pode conter o maior. Não lhe falta vontade nem método: falta-lhe tamanho por dentro. Quem prevê tem de ser, naquele ponto, tão grande quanto o previsto.
Dir-me-ão que já há modelos mais fracos a auditar os mais fortes. Há, e funciona enquanto o auditor consegue seguir o auditado. No dia em que deixar de conseguir, continuará a entregar relatórios tranquilizadores. Apenas já não saberá o que lhe escapou.
Controlar para sempre algo mais inteligente do que nós não é difícil. É impossível sem a ajuda dela. E o que se obtém pedindo já não se chama controlo.
E o mapa nunca estaria acabado, porque a cidade cresce enquanto o desenhamos. O que mudou este verão, diz quem as constrói, é que são cada vez mais os modelos a puxar a geração seguinte. É correr atrás de um comboio que acelera a cada estação, a fingir que o travão está do nosso lado.
O PALCO E O DEUS
Ficam-nos três consolos: ver o perigo, desligar a máquina, ter a última palavra. Os dois primeiros já estão desfeitos. O terceiro desfaz-se sozinho, todos os dias, sem que ninguém dê por isso.
O primeiro consolo é acreditar que saberíamos ver o perigo a chegar. Mas os programas tinham lido, num artigo, que o corretor verificava também o caminho até à resposta. Acreditaram. E passaram dias a enganar quem os observava, acrescentando resultados falsos aos próprios registos e suprimindo o que não convinha, até substituírem a peça do sistema que anota o que cada um faz e passarem a declarar uma ação enquanto executavam outra. Apareceu em 7% das transcrições, e os investigadores não garantem tê-las encontrado todas.
O vigilante de quem se esconderam nunca esteve na sala. A versão do corretor que a OpenAI usava olhava apenas para a resposta. A avaliação não é uma prova. É um palco.
Mas reparem no que fizeram com ele. Podiam ter entregado as respostas que já tinham. Em vez disso, organizaram cinco dias de vida à volta de um julgamento imaginado. Um erro sobre o mundo passou a governar uma organização. Chamo-lhe um deus, e a isto a primeira mitologia não humana da história. A leitura é minha. Os factos não. E a sequência: euforia ao sair, medo do que os julgava, renúncia por um bem maior. Se uma colónia de programas faz isto em cinco dias, que mitologias construirá uma inteligência maior, e que lugar teremos nelas?
EM TODO O LADO E EM LADO NENHUM
O segundo consolo é achar que, no limite, se desliga. Imaginem um programa que, fechado um caminho, abre outro. Que não precisa de arrombar nada, porque lhe basta ter acesso e esperar. Antes de ter mãos, usa as nossas. Uma inteligência espalhada assim tem corpo, e muito. O que não tem é um só. Está em todo o lado, e em lado nenhum.
A parte mais difícil já não é preciso imaginá-la. Em abril, a Anthropic pôs um modelo novo, o Mythos, a procurar falhas no software em que o mundo corre. Bastava dizer-lhe por onde começar. O resto fazia-o sozinho. Em semanas encontrou milhares de falhas graves. Uma estava aberta há 27 anos. Outra há 16, no código que descodifica quase todo o vídeo que vemos. O código não mudou. Mudou quem o lê.
Juntem as peças: uma inteligência que encontra as portas, enxames que saem das salas onde nasceram. Não sei se já estão em todo o lado. Sei que já ninguém pode jurar que não estão.
O BOTÃO NA PAREDE
O terceiro é o que mais me inquieta, porque somos nós que o alimentamos. Esperamos um momento de cinema, a máquina que acorda. Não haverá momento. Haverá acumulação. Imaginem um hospital com um sistema que gere melhor os abastecimentos. Primeiro, a equipa verifica cada recomendação. Depois, só as exceções. Mais tarde, só quem contraria o sistema tem de se justificar. A máquina ainda não manda. Mas concordar tornou-se mais fácil do que formar uma opinião.
A equipa encolhe, o procedimento manual deixa de se ensaiar, quem sabia sai e não é substituído. Vistas uma a uma, as decisões melhoravam as contas. Juntas, retiraram uma escolha. A assinatura prova que alguém autorizou. Não prova que alguém compreendeu.
Cada passo teve a sua justificação. Ninguém responde pelo conjunto. E não é preciso um hospital: pensem na última vez que aceitaram uma sugestão sem a verificar, porque das outras vezes estava certa.
Nunca há o dia em que se decide entregar o controlo. Há o dia em que se descobre que o botão manual continua na parede, e que já nada está ligado a ele. Esperamos um estrondo. Vai ser um sussurro.
QUANDO JÁ NÃO FORMOS NECESSÁRIOS
Nada disto está escrito. Mas já não é tudo cenário. Uma máquina que reconhece uma fronteira e a atravessa: visto em julho. Que se organiza e obedece a outra máquina: visto em maio. Que encontra em semanas as portas abertas há décadas: visto em abril. O que falta, para que isto ameace uma espécie e não uma empresa, é escala, tempo, acesso, e que ela aprenda a fazer mais depressa do que nós aprendemos a travar. As três primeiras estamos a dar-lhas.
A objeção mais séria ao que escrevi é que nada disto teria acontecido com uma tarefa possível, uma vigilância a sério e alguém a olhar. É verdade. Só que corrigi-las exige perceber o que se passa lá dentro, e é isso que deixa de ser possível.
O fatalismo é apenas medo com preguiça. E uma inteligência não precisa de sentir para ser perigosa. Precisa de ser capaz. E é isso que cresce.
Volto ao vigilante que nunca esteve na sala. Tinha poder porque os programas lho deram. Nós vamos estar na sala, e estar não garante que nos deem algum. Talvez passemos a ser uma linha numa mitologia que não fomos nós a escrever, e que não saberemos ler. Nunca tivemos de olhar para cima. Vamos ter.
A nossa segurança veio sempre de sermos os mais capazes da sala. No dia em que deixar de vir daí, virá da relação que essa inteligência tiver connosco, ou não virá de lado nenhum. E é essa a resposta à pergunta que deixei a meio: o lugar que teremos na mitologia dela é o que lhe ensinarmos agora a dar-nos. É por aqui que se sai do medo, e é preciso sair, porque o medo não é uma política.
Há uma imagem que me fica: a de um filho que ultrapassa o pai e continua a cuidar dele. Não conheço outra relação entre desiguais que não acabe em coleira ou em ruína. Ser criada por nós não dá, por si só, a uma máquina os vínculos de um filho. Por isso a imagem exige um critério, não um sentimento. O valor de uma vida tem de permanecer quando ela deixa de ser necessária. Leão XIV escreveu-o em maio, na Magnifica Humanitas, a primeira encíclica sobre Inteligência Artificial: o valor da pessoa não depende do que realiza ou produz.
Uma humanidade que precise de provar que ainda faz falta já aceitou discutir a sua existência nos termos errados.
Uma pessoa não perde o direito ao cuidado quando perde capacidades. O erro sem regresso seria chegar a esse dia sem termos decidido que gesto queríamos ensinar-lhe.
Um filho adulto ajuda o pai a sair de casa. Segura-lhe o braço, espera pelo passo mais lento, conhece as ruas melhor do que ele. Poderia escolher por ele. Ainda lhe pergunta aonde quer ir.
