Grupos de leigos avaliam as histórias de maneira tão eficaz quanto os verificadores de fatos

Grupos de leigos avaliam as histórias de maneira tão eficaz quanto os verificadores de fatos

Notícias falsas de verificação de fatos

Multidões podem ficar sabendo de notícias falsas

A experiência com conteúdo sinalizado pelo Facebook mostra que grupos de leigos avaliam histórias de maneira confiável com a mesma eficácia dos verificadores de fatos.

Diante de graves preocupações com a desinformação, as redes de mídia social e organizações de notícias frequentemente empregam verificadores de fatos para separar o real do falso. Mas os verificadores de fatos só podem avaliar uma pequena parte das histórias que circulam online.

Um novo estudo por MIT pesquisadores sugerem uma abordagem alternativa: Crowdsourced precisão julgamentos de grupos de leitores normais podem ser virtualmente tão eficazes quanto o trabalho de verificadores de fatos profissionais.

“Um problema com a verificação de fatos é que há muito conteúdo para verificadores de fatos profissionais serem capazes de cobrir, especialmente dentro de um período de tempo razoável”, diz Jennifer Allen, uma estudante de PhD na MIT Sloan School of Management e co-autor de um artigo recém-publicado detalhando o estudo.

Mas o estudo atual, examinando mais de 200 notícias que os algoritmos do Facebook sinalizaram para um exame mais aprofundado, pode ter encontrado uma maneira de resolver esse problema, usando grupos relativamente pequenos e politicamente equilibrados de leitores leigos para avaliar as manchetes e frases iniciais das notícias. .

“Descobrimos que é encorajador”, diz Allen. “A avaliação média de uma multidão de 10 a 15 pessoas correlacionou-se tão bem com os julgamentos dos verificadores de fatos quanto os verificadores de fatos correlacionaram-se uns com os outros. Isso ajuda com o problema de escalabilidade, porque esses avaliadores eram pessoas normais, sem treinamento de verificação de fatos, e eles apenas liam as manchetes e conduziam frases sem perder tempo fazendo pesquisas. ”

Isso significa que o método de crowdsourcing pode ser amplamente implantado – e de maneira barata. O estudo estima que o custo de fazer com que os leitores avaliem as notícias dessa forma é de cerca de US $ 0,90 por história.

“Não há nada que resolva o problema das notícias falsas online”, diz David Rand, professor do MIT Sloan e co-autor sênior do estudo. “Mas estamos trabalhando para adicionar abordagens promissoras ao kit de ferramentas anti-desinformação.”

O artigo, “Aumentando a Verificação de Fatos Usando a Sabedoria das Multidões”, está sendo publicado hoje em Avanços da Ciência. Os co-autores são Allen; Antonio A. Arechar, um cientista pesquisador do Laboratório de Cooperação Humana do MIT; Gordon Pennycook, professor assistente de ciência comportamental na Escola de Negócios Hill / Levene da Universidade de Regina; e Rand, que é o professor Erwin H. Schell e professor de ciência da administração e ciências do cérebro e cognitivas no MIT, e diretor do Laboratório de Cooperação Aplicada do MIT.

Uma massa crítica de leitores

Para conduzir o estudo, os pesquisadores usaram 207 artigos de notícias que um algoritmo interno do Facebook identificou como precisando de verificação de fatos, seja porque havia motivos para acreditar que eram problemáticos ou simplesmente porque estavam sendo amplamente compartilhados ou tratavam de tópicos importantes como saúde. O experimento implantou 1.128 residentes nos EUA usando a plataforma Mechanical Turk da Amazon.

Esses participantes receberam o título e a frase inicial de 20 notícias e sete perguntas – o quanto a história era “precisa”, “verdadeira”, “confiável”, “confiável”, “objetiva”, “imparcial” e ” descrever[ing] um evento que realmente aconteceu ”- para gerar uma pontuação geral de precisão sobre cada item de notícia.

Ao mesmo tempo, três verificadores de fatos profissionais receberam todas as 207 histórias – solicitadas a avaliá-las após pesquisá-las. Em linha com outros estudos sobre verificação de fatos, embora as avaliações dos verificadores de fatos fossem altamente correlacionadas entre si, sua concordância estava longe de ser perfeita. Em cerca de 49 por cento dos casos, todos os três verificadores de fatos concordaram com o veredicto apropriado sobre a facticidade de uma história; em cerca de 42% das vezes, dois dos três verificadores de fatos concordaram; e cerca de 9 por cento das vezes, os três verificadores de fatos cada um tinha classificações diferentes.

Curiosamente, quando os leitores regulares recrutados para o estudo foram classificados em grupos com o mesmo número de democratas e republicanos, suas avaliações médias foram altamente correlacionadas com as avaliações dos verificadores de fatos profissionais – e com pelo menos um número de dois dígitos de leitores envolvidos , as avaliações da multidão correlacionavam-se tão fortemente com os verificadores de fatos quanto os verificadores entre si.

“Esses leitores não foram treinados na verificação de fatos e estavam apenas lendo as manchetes e frases iniciais e, mesmo assim, foram capazes de igualar o desempenho dos verificadores de fatos”, diz Allen.

Embora possa parecer inicialmente surpreendente que uma multidão de 12 a 20 leitores possa se igualar ao desempenho de verificadores profissionais, este é outro exemplo de um fenômeno clássico: a sabedoria das multidões. Em uma ampla gama de aplicações, descobriu-se que grupos de leigos igualam ou excedem o desempenho de julgamentos de especialistas. O estudo atual mostra que isso pode ocorrer mesmo no contexto altamente polarizador de identificação de desinformação.

Os participantes do experimento também fizeram um teste de conhecimento político e um teste de sua tendência a pensar analiticamente. No geral, as avaliações das pessoas que estavam mais bem informadas sobre as questões cívicas e engajadas em um pensamento mais analítico estavam mais alinhadas com os verificadores de fatos.

“Pessoas que se engajaram em mais raciocínio e tiveram mais conhecimento concordaram mais com os verificadores de fatos”, diz Rand. “E isso era verdade, independentemente de serem democratas ou republicanos.”

Mecanismos de participação

Os estudiosos dizem que a descoberta pode ser aplicada de várias maneiras – e observam que alguns gigantes da mídia social estão ativamente tentando fazer o crowdsourcing funcionar. O Facebook tem um programa, chamado Community Review, onde leigos são contratados para avaliar o conteúdo das notícias; O Twitter tem seu próprio projeto, Birdwatch, solicitando comentários do leitor sobre a veracidade dos tweets. A sabedoria das multidões pode ser usada para ajudar a aplicar rótulos voltados ao público ao conteúdo ou para informar algoritmos de classificação e que conteúdo as pessoas veem em primeiro lugar.

Para ter certeza, observam os autores, qualquer organização que use crowdsourcing precisa encontrar um bom mecanismo para a participação dos leitores. Se a participação for aberta a todos, é possível que o processo de crowdsourcing seja injustamente influenciado por partidários.

“Ainda não testamos isso em um ambiente em que qualquer pessoa pode optar por participar”, observa Allen. “As plataformas não devem necessariamente esperar que outras estratégias de crowdsourcing produzam resultados igualmente positivos.”

Por outro lado, diz Rand, as organizações de notícias e mídia social teriam que encontrar maneiras de fazer com que grupos grandes o suficiente de pessoas avaliassem ativamente as notícias, a fim de fazer o crowdsourcing funcionar.

“A maioria das pessoas não se preocupa com política e se preocupa o suficiente para tentar influenciar as coisas”, diz Rand. “Mas a preocupação é que, se você permitir que as pessoas avaliem o conteúdo que quiserem, as únicas pessoas que o fizerem serão aquelas que querem burlar o sistema. Ainda assim, para mim, uma preocupação maior do que ser inundado por fanáticos é o problema de que ninguém faria isso. É um problema clássico de bens públicos: a sociedade em geral se beneficia com as pessoas que identificam informações incorretas, mas por que os usuários deveriam se preocupar em investir tempo e esforço para dar avaliações? ”

Referência: “Ampliando a verificação de fatos usando a sabedoria das multidões”, de Jennifer Allen, Antonio A. Arechar, Gordon Pennycook e David G. Rand, 1º de setembro de 2021, Avanços da Ciência.
DOI: 10.1126 / sciadv.abf4393

O estudo foi apoiado, em parte, pela Fundação William e Flora Hewlett, pela Fundação John Templeton e pelo projeto Reset do Luminate Project Limited do Omidyar Group. Allen é um ex-funcionário do Facebook que ainda tem interesse financeiro no Facebook; outros estudos de Rand são apoiados, em parte, pelo Google.

KPUEv3iZCk

Leave a Reply

Your email address will not be published. Required fields are marked *