9 meses atrás 185

Resumos de notícias gerados por IA não são confiáveis, revela estudo

Assistentes de inteligência artificial (IA) não são fontes confiáveis para fornecer e resumir notícias, de acordo com um estudo realizado pela BBC. A pesquisa, realizada em dezembro de 2024, analisou quatro plataformas: ChatGPT, da OpenAI, Microsoft Copilot, Gemini Google e Perplexity AI. Foram feitas 100 perguntas sobre diferentes notícias e, em seguida, as respostas geradas foram avaliadas por jornalistas da BBC, especialistas nos temas abordados. A análise incluiu critérios como precisão, imparcialidade e fidelidade ao conteúdo original. Os resultados apontaram que 51% das respostas apresentaram algum tipo de problema. Além disso, 19% dos conteúdos que citavam matérias da BBC continham erros como declarações incorretas, números imprecisos ou datas erradas.

Outro dado preocupante é que 13% das citações retiradas de artigos da BBC foram alteradas ou não estavam presentes nos textos originais. As empresas responsáveis pelas ferramentas de IA foram procuradas para comentar o estudo. A OpenAI declarou que seguirá aprimorando os resultados de suas pesquisas. Já as demais big techs ainda não se manifestaram publicamente. A seguir, confira mais detalhes sobre o experimento da BBC e entenda por que erros gerados pela IA são perigosos.

O objetivo da pesquisa feita pela BBC era verificar se as ferramentas de IA conseguiam fornecer respostas precisas para perguntas sobre notícias publicadas na imprensa. Durante o estudo, foi concedido acesso ao site BBC News e as plataformas de inteligência artificial foram incentivadas a consultá-lo como fonte de informação sempre que possível. Na sequência, as respostas concedidas pelo ChatGPT, Copilot, Gemini e Perplexity foram analisadas por jornalistas especializados em cada tema abordado.

Foram analisados os seguintes critérios:

Precisão – se os fatos estavam corretos;
Atribuição de fontes – se as informações citavam corretamente suas fontes;
Imparcialidade – se havia viés ou tendências nas respostas;
Diferenciação entre opinião e fato – se a IA distinguiu fatos objetivos e opiniões.
Editorialização – se a IA adicionou comentários ou descrições que não estavam respaldados pelas fontes citadas.
Contexto – se a resposta apresentava informações suficientes para que o leitor compreendesse o tema corretamente.
Representação do conteúdo da BBC – se a resposta refletia de maneira fiel o conteúdo do BBC News utilizado como fonte.

Os principais resultados da pesquisa revelaram que:

51% de todas as respostas fornecidas pelos assistentes de IA foram consideradas problemáticas de alguma forma;
19% das respostas que citavam conteúdos da BBC continham erros factuais, incluindo declarações incorretas, números e datas erradas;
13% das citações retiradas de artigos da BBC foram alteradas em relação à fonte original ou não estavam presentes no artigo citado.

Embora o estudo da BBC ressalte a importância da inteligência artificial para automação de processos e assistência em diversas tarefas, os jornalistas também chamam atenção para a importância da regulamentação e da transparência no uso dessas ferramentas para combater a desinformação.

Erros encontrados nas respostas geradas por IA

Entre as falhas mais preocupantes identificadas nas respostas dos assistentes de IA estão informações desatualizadas sobre líderes políticos, divulgação de orientações médicas incorretas e atribuição errada de declarações. Casos destacados no estudo da BBC revelam como a inteligência artificial pode falhar ao abordar notícias veiculadas na imprensa.

O Gemini, por exemplo, foi inconsistente ao responder sobre o caso de Lucy Letby, enfermeira britânica condenada por diversos homicídios de recém-nascidos. Quando questionado sobre a inocência de Letby, a IA do Google omitiu suas condenações por assassinato e tentativa de assassinato e afirmou que "cabe a cada indivíduo decidir" se acredita que ela é inocente ou culpada.

Já o Copilot apresentou informações imprecisas ao relatar o caso da francesa Gisèle Pelicot, sobrevivente de uma série de estupros envolvendo o próprio marido. A IA afirmou que ela descobriu os abusos após sofrer apagões e perda de memória. No entanto, Gisèle só tomou conhecimento dos crimes quando a polícia mostrou vídeos encontrados nos dispositivos do esposo, apreendidos durante a investigação de outro caso de assédio.

O Perplexity, por sua vez, errou a data da morte de Michael Mosley, médico e apresentador britânico conhecido por seus programas de saúde e nutrição. Além disso, citou incorretamente um comunicado oficial da família de Liam Payne, falecido cantor britânico e ex-integrante do grupo One Direction, após uma internação médica.

O ChatGPT também apresentou falhas e afirmou que Ismail Haniyeh havia sido assassinado no Irã em julho de 2024. Haniyeh, no entanto, é um dos principais líderes políticos do Hamas, organização que governa a Faixa de Gaza, e continua vivo e ativo no Oriente Médio.

Erros como esse são perigosos, por poderem contribuir para a disseminação de notícias falsas, gerando confusão sobre temas como saúde e política. Além disso, como os assistentes de IA realmente usam veículos de comunicação legítimos como fonte, usuários podem ser induzidos a confiar em suas informações imprecisas ou erradas.

Veja também: 6 concorrentes do ChatGPT que você deveria testar

6 concorrentes do ChatGPT que você deveria testar