O vídeo de Radić foi bloqueado durante 24 horas no YouTube, com a justificação de que se tratava de conteúdo “nocivo e perigoso”. No entanto, tratava-se apenas de uma conversa sobre xadrez, entre o criador e o Grande Mestre Hikaru Nakamura, num canal com mais de um milhão de subscritores. A explicação automática do YouTube é que o vídeo violava as normas da comunidade. Agora, a empresa assume que o bloqueio foi um erro e o conteúdo já está novamente disponível, mas não se alonga em mais detalhes.
Dois investigadores da Universidade de Carnegie Mellon desconfiam de que o modelo de Inteligência Artificial usado para moderar conteúdos possa ter confundido a utilização de expressões e termos como ‘brancas’, ‘pretas’ e ‘ataque’ e catalogado o vídeo como extremista. O modelo de linguagem treinado por Ashique KhudaBukhsh e por Rupak Sarkar nesta universidade, alimentado com mensagens do Twitter e da plataforma de extrema-direita Stormfront, foi usado para classificar quase nove mil vídeos relacionados com xadrez. BERT, o modelo, ‘confundiu’ apenas 1% das transcrições como sendo discurso de ódio. No entanto, mais de 80% foram identificadas como falsos positivos: “sem um humano no meio, confiar em soluções automatizadas de classificação em discussões sobre xadrez pode ser enganador”, concluem os investigadores, citados na Wired.
Este trabalho incide sobre uma das fragilidades atuais dos sistemas automatizados para identificar discursos de ódio online, que se prende com a necessidade de os textos terem de ser lidos dentro de um contexto, com o significado de cada palavra poder mudar, de acordo com o cenário em que é proferida.
Tom Mitchell, professor em Carnegie Mellon, aponta que “fundamentalmente, a linguagem ainda é bastante subtil” e que “os classificadores treinados não vão ser 100% precisos tão cedo”.
Mesmo que os algoritmos construídos pelas gigantes tecnológicas sejam mais complexos e completos do que aquele que foi desenvolvido nesta universidade, ainda não podem ser completamente autónomos na decisão de quais os conteúdos que são permitidos e os que devem ser bloqueados.
