Se é daquelas pessoas que segue com atenção as eleições norte-americanas, por esta altura deve andar obcecado com os resultados das sondagens. O que diz o último inquérito na Pensilvânia? Quantas pessoas já votaram no Texas? O Nate Silver escreveu o quê no Twitter?! Isso talvez fosse o comportamento habitual em qualquer ciclo eleitoral, mas pode ser especialmente verdade neste. Em 2016, a vitória de Trump surpreendeu o mundo e, justa ou injustamente, deixou-nos mais céticos sobre o que dizem as sondagens. A horas de um novo escrutínio, é uma boa altura para refletir sobre que confiança devemos ter nos números e previsões sobre o resultado de 2020.
Para nos ajudar, a EXAME entrevistou Pedro Magalhães sobre os erros cometidos em 2016, aquilo que entretanto foi corrigido e os novos ângulos mortos que nos devem preocupar. O investigador do Instituto de Ciências Sociais vê na pandemia uma grande fonte de incerteza e um enorme desafio para as empresas de sondagens. Por exemplo, antecipar quantos idosos que não votaram remotamente irão às urnas no dia das eleições deixá-lo-ia “mortalmente preocupado”.
Os números dizem que Joe Biden é o favorito, com uma vantagem maior do que tinha Hillary Clinton. Poderemos confiar neles? “Uma probabilidade de 80% de um avião não cair não quer dizer que ele não caia”, lembra Pedro Magalhães. Entraria nesse avião?
Afinal, as sondagens tiveram ou não um bom desempenho em 2016? Falharam?
Num veredicto de síntese, tem de se dizer que elas falharam. Isso tem duas partes. Uma primeira que é saber se as sondagens apanharam a intenção de voto dos americanos em geral. E isso fizeram muito bem. Hillary Clinton ganhou por dois pontos e as sondagens apontavam para algo muito próximo disso. É um resultado muito bom. Mas o veredicto tem de ser que falharam porque, apesar de estarem muito bem a nível nacional, estiveram muito mal nalguns Estado e, para determinar quem é o Presidente, o que conta é o Colégio Eleitoral. As sondagens tiveram desvios muito grandes na estimativa de diferença entre Trump e Clinton. Ainda por cima, em alguns desses Estados o resultado foi tão renhido,que a perceção de que Clinton tinha mais votos colidiu com o facto de Trump ter tido mais. São três casos: Pensilvânia, Wisconsin e Michigan.
O que se reconhece hoje que falhou?
Em primeiro lugar, o mundo das sondagens estaduais é muito mais diversificado e assimétrico em termos de qualidade do que as sondagens nacionais. Há ótimas empresas de sondagens que também fazem sondagens a nível estadual, mas há muitas empresas que fazem estaduais e não fazem nacionais. Tendemos sempre a julgar que em Portugal não se sabe como as sondagens se fazem, mas em muitas destas sondagens [estaduais] não há transparência. Queremos levantar o capot e ver como as coisas são feitas e não se consegue.
Algumas dessas empresas de natureza estadual têm menos meios ou são menos sofisticadas na análise do que empresas portuguesas?
Não são necessariamente menos sofisticadas, mas tendo em conta a enorme dificuldade que têm em termos de recursos para realizar sondagens que consigam lidar com problemas atuais… Quais são os problemas? Há uma população grande que não tem telefone fixo, só tem móvel. Por outro lado – e Portugal não está lá, mas estamos a caminho – há uma grande indisponibilidade para as pessoas responderem, com taxas de resposta muito baixas. Para lidar com estes problemas, as empresas adotam soluções expeditas, como fazer sondagens online ou entrevistar parte telefones fixos, parte telefones móveis. Mas a partir do momento em que passamos para esse mundo, perdemos muito controlo sobre a composição da amostra.
Então qual é o gold standard?
O gold standard é um que as sondagens não conseguem cumprir: presenciais, feitas porta-a-porta. Não há nos EUA meios para isso tendo em conta as que são preciso fazer. Há 30 anos, era o telefone fixo com amostragem e extração aleatória de números de telefone. Tudo isso hoje em dia enfrenta obstáculos enormes. Portanto, há empresas que usam soluções mais expeditas, mas que não têm os meios técnicos ou a massa cinzenta necessária para lidar com as distorções amostrais que isso implica.
Há empresas [de sondagens] que usam soluções mais expeditas, mas que não têm os meios técnicos ou a massa cinzenta necessária para lidar com as distorções amostrais que isso implica
Capacidade para ajustar a amostra.
Sim, para ponderar a amostra. As grandes, como a ABC ou YouGov, têm esses meios. Pequenas empresas de escala estadual muitas vezes não têm. Podemos estar a falar de Estados pequenos. No Iowa, Trump teve 800 mil votos.
Desviei a resposta. Estávamos a falar dos problemas metodológicos…
Sim, esse é um primeiro ponto: a assimetria da qualidade do trabalho. Depois, há dois problemas comuns a quase todos. O primeiro é que as sondagens nos EUA terminam muito cedo. Por exemplo, no Wisconsin, a última sondagem foi no dia 2 de Novembro e a eleição foi no dia 8. O que se descobriu depois? Que aproximadamente 15% dos eleitores decidiram na última semana em quem iam votar e, entre esses, a distribuição era muito favorável a Trump. Ao terminarem mais cedo, as sondagens não captaram esses eleitores. O que não teria problema, se se tivessem distribuído proporcionalmente entre os dois. As sondagens não apanharam as recuperações de Trump no final, que lhe permitiram ganhar mesmo com margens pequenas. Depois há outro factor, que tem a ver com o que se faz a uma amostra. Num mundo ideal, as pessoas seriam escolhidas aleatoriamente, todas aceitam responder… isso não existe. O que aconteceu [em 2016] foi que não se corrigiu nas amostras pessoas com alto nível de instrução. Essas pessoas são mais fáceis de encontrar e mais dispostas a responder. Mas têm outra característica: a relação entre instrução e voto nos democratas foi forte.
Mais forte do que no passado?
Sim. Nos EUA, a relação entre o rendimento e o voto era muito forte, mas ela enfraqueceu, porque o Partido Republicano começou a atrair eleitorado com baixa instrução, principalmente branco. O resultado é que é muito mais provável que pessoas com mais instrução votem no partido democrata. E também é mais provável que respondam à sondagem. A maneira de corrigir isso é, baseando-se em informação estatística oficial sobre distribuição da população, procurar reequilibrar a amostra. Isso não foi feito como deveria ter sido.
Dessas falhas, o que foi corrigido e o que pode não ter sido?
Isto é mais opaco do que seria desejável. Não sabemos bem o que está por debaixo do capot de todas estas empresas, mas a convicção generalizada de quem olha para estas coisas é que as sondagens vão estar em campo até mais tarde e a ponderação por educação está a ser adotada por mais empresas. Mas também sabemos que os problema aparecem de onde não se espera, porque as pessoas não se comportam sempre da mesma maneira e o que explica o enviesamento de uma sondagem num ano não é o mesmo que explica noutro. A questão da ponderação das amostras, por educação, rendimento ou voto anterior é um exercício com imensas limitações. Podemos imaginar 5, 10, 15 variáveis que podem explicar o enviesamento de uma amostra, mas não conseguimos ponderar por todas. Não há amostras grandes o suficiente. Temos de escolher. Às vezes escolhemos bem, outras mal.
Quanto a erros difíceis de antecipar, a surpresa pode vir do impacto da pandemia?
Presumindo que as empresas vão tentar corrigir aqueles que foram identificados como os dois maiores problemas – enviesamento das amostras por educação e terminar o trabalho de campo o mais tarde possível – aquilo que falta resolver e é sempre o mais difícil em todas as eleições é que uma sondagem de intenção de voto não é um inquérito amostral sobre outro assunto qualquer. Nesse, queremos fazer inferências sobre a totalidade da população. Numa sondagem sobre intenção de voto precisamos que as nossas inferências sejam acerca da população que vai votar. E saber quem vai votar é sempre muito difícil. Não só porque há muitas variáveis, mas também porque esta eleição introduz um imponderável: tomar atenção a quem já votou ou que diz já votou – e vamos ter números absolutamente recorde -, mas especialmente à dúvida spbre se votantes habituais que não votaram à distância se irão deslocar às urnas no dia da eleição. Dou um exemplo de uma coisa com a qual eu estaria mortalmente preocupado se fizesse sondagens nos EUA: os mais velhos, a parte da população que mais vota, se não tiverem votado por correio, é muito provável que não se desloquem às urnas com a mesma frequência do que no passado. Mas será mesmo assim? E será compensado pelo voto postal? Ninguém sabe.
Um exemplo de uma coisa com a qual eu estaria mortalmente preocupado se fizesse sondagens nos EUA: os mais velhos, se não tiverem votado por correio, é muito provável que não se desloquem às urnas com a mesma frequência
2016 criou uma desconfiança acrescida em relação às sondagens? Que consequências haveria para a indústria se houvesse uma falha semelhante este ano ou uma perceção de falha?
Na indústria não acho que houvesse grande impacto. Este é um jogo que toda a gente continua a querer jogar. Os órgãos de comunicação social querem números, os políticos também. Mesmo que houvesse uma catástrofe, esta indústria não acaba tão cedo, até que se descubra outra forma melhor de jogar este jogo. Quanto à questão da confiança, gostava de ter dados objetivos para responder, mas acho que o Brexit e [as eleições de] 2016 foram muito marcantes para a confiança que as pessoas têm nas sondagens. Em parte, isso é bom. Esta conversa que estamos a ter é boa para se perceber a dificuldade deste exercício e o que acontece quando as pessoas exigem das sondagens um meio não de descrição da opinião pública, mas de previsão. Este abrir do capot é saudável, mas tem um lado menos saudável, a partir do momento em que essa desconfiança prejudica a qualidade das sondagens. Não é de excluir que uma parte da população que recusa participar nestes inquéritos o faz porque não confia nos inquéritos como um todo. Se assim for, eles vão de facto desinformar, porque vão subestimar uma parte da população. Consegue obter-se a prova indireta de que o ceticismo aumentou quando se olha para os mercados de apostas. Em 2016, com sondagens que davam a Hillary Clinton uma vantagem bastante menor do que Biden tem agora, os mercados davam-lhe 80% de hipóteses de ganhar. Hoje, estão a dar 64%, 65%, 66% a Biden com sondagens muito mais favoráveis. Quem joga nestes mercados incorporou a informação das sondagens com ceticismo.
O Brexit e [as eleições de] 2016 foram muito marcantes para a confiança que as pessoas têm nas sondagens. Em parte, isso é bom
Existe um trauma? Analistas, comentadores, jornalistas têm muito mais cautela em dizer que Biden é favorito, mesmo quando tudo aponta para isso.
Sem dúvida. E acho que é saudável e tem a ver com a maneira como os resultados das sondagens foram apresentados (e continuam a ser, embora com mais cuidado). Os agregadores, como o FiveThirtyEight, Economist e o NYT há quatro anos, faziam previsões não só com a percentagem do voto, como com a composição do colégio eleitoral e exprimiam isso com base numa probabilidade. O que se sabe é que as pessoas não são muito boas a perceber probabilidades. Isso significa que quando viam no FiveThirtyEight “70% de probabilidade de ganhar”, havia alguma coisa na sua cabeça que lhes dizia que aquilo significava 70% dos votos. Mesmo que soubessem que não era. Mas a impressão com que ficavam era essa. Há inclusivamente um estudo que mostra que as pessoas que foram mais expostas a estas probabilidades votaram menos. Hoje continuamos a tê-las, mas…
Mais humildes…
A tentar fazer com que as pessoas percebam que, se houvesse 100 eleições em universos paralelos, 30 seriam ganhas por Trump.
No FiveThirtyEight mudou a posição onde essa probabilidade está no site, a forma como é apresentada… Existe mais cautela.
Dizem “Biden is favored to win”. Uma probabilidade de 80% não é uma certeza. Uma probabilidade de 80% de um avião não cair não quer dizer que ele não caia. E se fosse 80%, não apanharia o avião.
O que se sabe é que as pessoas não são muito boas a perceber probabilidades
Apesar de terem estes problemas, estes agregadores trouxeram análise e informação útil?
Por muitas críticas que se façam, é infinitamente melhor ter agregadores do que andar a olhar sondagem a sondagem. Isso é muito mais enganador. Os agregadores são positivos. Às tantas têm é uma complexidade tão grande debaixo do capot que se tornam, eles próprios, um bocado opacos.
Jornalistas da Economist criticam o FiveThirtyEight por estar a ser propositadamente mais cauteloso nesta eleição.
O que estão a dizer é que, na realidade, os resultados dão uma probabilidade maior ao Biden de ganhar. E que o Nate Silver [diretor do FiveThirtyEight] está a dar uns encontrões aos números para ser mais cauteloso para se proteger de uma situação em que Trump ganhe. E atenção que por detrás da [projeção da] Economist está um dos maiores estatísticos do mundo, o Andrew Gelman.
A metodologia é pública, mas dificilmente um leigo percebe como é feita a projeção.
As coisas que a Economist põe são para consumo de um número ínfimo de pessoas, mas é bom que esteja lá. O Nate Silver é um pouco mais opaco.
Na noite eleitoral, tivemos a famosa agulha do NYT.
Pois, isso faz parte de uma discussão complicada. Por um lado tens os melhores estatísticos do mundo a gerar esta informação. Eles sabem o que 88% significa. Mas depois o público em geral fica perplexo quando se passa de 88% para 5%. É um algoritmo que vai gerando isso tomando em conta a informação que chega. Mas não deixa de causar perplexidade e portanto a agulha desapareceu.
Tínhamos de acabar desta maneira: as sondagens apontam Joe Biden como favorito, mas com as limitações que discutimos aqui, que grau de confiança tem nessa possibilidade?
Não sou diferente dos mercados de previsões. Por um lado, os números das sondagens dizem que Biden está numa posição melhor do que Clinton alguma vez esteve. Isso tem a ver com o voto nacional, onde tem 7/8 pontos de vantagem, quando ela tinha 2; e até numa definição generosa do que é um “battleground state” ele está à frente em mais do que ela estava. Mas se fizermos um exercício, que é questionável, de aplicar aos resultados de hoje os erros de 2016, o cenário para Biden fica mais complicado. Não fica tão impossível como Clinton, mas fica mais complicado. Acho que o ceticismo dos mercados, que no fundo corrigem dos tais 80% que davam a Clinton para os 60% e tal que dão a Biden mesmo sabendo que as sondagens são melhores, é justificado e eu próprio também o teria. Aqueles 60% e tal refletem uma combinação de coisas que vão em direções diferentes: os resultados são melhores, mas o eleitorado de Trump mostrou em 2016 ser uma coisa que as sondagens têm dificuldade em captar. Portanto é natural que também tenham dificuldade desta vez por muitas melhorias feitas.
