A proliferação de deepfakes será difícil de medir
DFRLab e NetLab UFRJ
Pela primeira vez, o Brasil realizará eleições regidas por uma legislação eleitoral que estipula regras estritas para o uso de Inteligência Artificial (AI) e bane a veiculação das chamadas deepfakes, conteúdos que modificam o corpo, o rosto ou a fala de uma pessoa, atribuindo-lhe uma declaração, atitude ou acontecimento que não ocorreu. O Digital Research Forensic Lab (DFRLab), do Atlantic Council, e o NetLab UFRJ, da Universidade Federal do Rio de Janeiro, testaram diferentes metodologias para identificar deepfakes eleitorais durante o período de pré-campanha, entre junho e agosto de 2024, e encontraram uma série de dificuldades para coleta de dados e reconhecimento de conteúdos sintéticos nas redes sociais e aplicativos de mensagens.
As novas normas eleitorais foram aprovadas em fevereiro pelo Tribunal Superior Eleitoral (TSE), órgão responsável pela organização e fiscalização do pleito no Brasil, e estão em vigor para as eleições de 6 de outubro de 2024, quando cerca de 155 milhões de brasileiros irão às urnas para eleger prefeitos e vereadores dos 5.568 municípios do país.
O uso de inteligência artificial para produzir ou amplificar conteúdos de desinformação é uma das principais preocupações do TSE nestas eleições. Portanto, a resolução determina que qualquer conteúdo criado ou editado por inteligência artificial deverá conter um aviso de que o material recebeu algum tratamento de IA. A resolução também prevê punições rígidas quando os recursos de IA forem usados para produzir conteúdos falsos e deepfakes.
Segundo o texto da resolução: “É proibido o uso, para prejudicar ou para favorecer candidatura, de conteúdo sintético em formato de áudio, vídeo ou combinação de ambos, que tenha sido gerado ou manipulado digitalmente, ainda que mediante autorização, para criar, substituir ou alterar imagem ou voz de pessoa viva, falecida ou fictícia (deepfake)”. Nesses casos, haverá a cassação do registro ou do mandato do candidato que empregou a estratégia. Para saber mais detalhes sobre a resolução, acesse a análise do DFRLab e do NetLab UFRJ publicada em 29 de maio.
Acordo com plataformas
A fiscalização do uso de Inteligência Artificial nas eleições de 2024 depende fundamentalmente da capacidade técnica de identificar e arquivar as mídias sintéticas para posterior avaliação dos conteúdos. Em agosto, o TSE firmou memorandos de entendimento com a Meta, TikTok, LinkedIn, Kwai, X, Google e Telegram, nos quais as empresas se comprometeram a atuar com celeridade e em parceria com as autoridades brasileiras para a remoção de conteúdos de desinformação. Os acordos valem até 31 de dezembro de 2024.
De maneira geral, as plataformas são notificadas pelo Centro Integrado de Enfrentamento à Desinformação e Defesa da Democracia (CIEDDE) da ocorrência de denúncias relacionadas a casos de desinformação ou uso irregular de IA, além de outros conteúdos que violam as leis eleitorais. O CIEDDE é um órgão composto por representantes do TSE e de mais seis instituições públicas brasileiras, como Agência Nacional de Telecomunicações (Anatel), Ministério Público Federal (MPF), Ministério da Justiça e Segurança Pública (MJSP) e Polícia Federal (PF). Inaugurado em maio, o centro tem como objetivo centralizar todas as denúncias em território brasileiro e encaminhá-las para as plataformas.
No entanto, esses acordos não tratam de ferramentas técnicas para a detecção ou suspensão automatizada de deepfakes. Eles apenas versam sobre as obrigações das plataformas diante das denúncias recebidas pelo CIEDDE.
No acordo com a Meta, ficou estabelecido que a triagem e o exame inicial das denúncias são de responsabilidade do TSE, que também se compromete a notificar a empresa extrajudicialmente a cada nova denúncia recebida. Porém, o acordo esclarece que o recebimento de denúncias não obriga a empresa a tomar qualquer ação - como remoção de conteúdo- que não esteja em linha com as suas políticas.
O acordo com o Google vai pelo mesmo caminho, falando em cooperação para atuar de forma coordenada, célere e eficaz no enfrentamento da disseminação de conteúdos desinformativos. Como anunciado no final de abril, o Google decidiu proibir a veiculação de conteúdos políticos a partir de 1 de maio, alegando não ter capacidade ténica em cumprir o requisito da legislação eleitoral brasileira de manter um repositório dos anúncios políticos.
Em julho, o NetLab UFRJ publicou a nota técnica “Google diminui transparência de anúncios políticos no Brasil e desobedece resolução do TSE”, em que mostra que a medida do Google não apenas falha em coibir a publicação de anúncios políticos como torna ainda mais difícil a fiscalização da prática.
Além dos acordos com o TSE, essas empresas assinaram o Acordo Eleitoral voluntário de IA, que tem sete objetivos principais para definir expectativas sobre como os signatários gerenciam os riscos decorrentes de conteúdo eleitoral enganoso de IA.
O monitoramento do DFRLab e do NetLab UFRJ
Com o objetivo de explorar métodos de pesquisa para identificar deepfakes no contexto eleitoral, o DFRLab e o NetLab UFRJ realizaram um monitoramento conjunto de redes sociais, aplicativos de mensagens e mecanismos de busca entre os meses de junho e agosto, período que corresponde à chamada pré-campanha eleitoral. Uma vez que as deepfakes com intuito de gerar desinformação ou prejudicar um adversário não são declaradas como tais pelos seus próprios produtores, o monitoramento buscou identificar discussões ou denúncias de usuários sobre deepfakes políticas, dado que muitas das reclamações recebidas pelo TSE devem surgir dessas situações.
Este método, no entanto, revela uma limitação inerente não apenas para os pesquisadores, mas também para o próprio TSE: as deepfakes bem produzidas ou outros conteúdos gerados por IA podem não ser reconhecidos como falsos para um internauta comum, diminuindo a probabilidade da denúncia. Também pode haver exemplos em que as pessoas reconhecem que o conteúdo é enganoso, mas não usam palavras-chave relevantes que ajudariam os pesquisadores ou órgãos de monitoramento a localizar os conteúdos sintéticos. Para o TSE, há o desafio adicional de que não há garantia de que os usuários de internet que identificam potenciais violações dos regulamentos eleitorais irão, de fato, denunciar esses casos oficialmente.
Para monitoramentos de redes sociais, foram consideradas as seguintes plataformas: X, Facebook, Instagram e YouTube. Com este fim, uma base de dados com perfis oficiais de todos os pré-candidatos à Prefeitura das capitais do Brasil foi criada, totalizando 815 URLs monitoradas através da ferramenta Junkipedia.
Foram feitas buscas, em português, pelas palavras-chave “deepfake”, “deep fake” e “inteligência artificial”, em 58,271 postagens feitas pelos pré-candidatos entre os dias 1 de junho e 15 de agosto.
A pesquisa por “deepfake” e “deep fake” retornou apenas um resultado: um vídeo postado em 1 de julho no Instagram pelo deputado federal e então pré-candidato a Prefeitura de São Paulo Kim Kataguiri. As imagens simulam o presidente Luiz Inácio Lula da Silva correndo pelas ruas e fugindo de um grupo de homens. O vídeo contém o texto: “Quando Lula sair sozinho na rua depois de saber que não vai ter picada, só pé de frango”.
Na postagem, Kataguiri informou que o conteúdo se tratava de uma deepfake: “Corre Lula!! Hahaha Obs: avisando que é um deep fake antes que me acusem de fake news”.
Vídeo deepfake publicado em 1 de julho pelo então pré-candidato a Prefeitura de São Paulo Kim Kataguiri. (Fonte: Kim Kataguiri/Instagram)
Embora o vídeo possa ser considerado como uma paródia, a regulamentação eleitoral brasileira não distingue os tipos de deepfakes e obriga os candidatos a informar o público sobre todo conteúdo criado ou editado por IA. Neste caso específico, o então candidato cumpriu esse requisito.
Já a pesquisa por “inteligência artificial” identificou 45 postagens. A maioria era conteúdo relacionado a propostas dos pré-candidatos de utilizarem inteligência artificial para otimizarem processos na gestão dos municípios ou apenas reportagens de notícias sobre aplicação de IA e discussões sobre tecnologia.
Uma postagem contendo o termo “inteligência artificial” se referia a um potencial caso de deepfake. Em 24 de julho, o candidato à Prefeitura de Macapá Dr. Furlan publicou um vídeo no Instagram alertando seus seguidores de que tinha sido vítima de áudios que simulavam sua voz e estavam sendo compartilhados intencionalmente para afetarem sua reputação.
Vídeo postado pelo candidato Dr. Furlan denunciando um suposto caso de deepfake simulando sua voz. (Fonte: Dr.Furlan/Instagram)
Outra postagem, também citando o termo “inteligência artificial”, referia-se a um vídeo editado com inteligência artificial para fazer um meme do ministro da Fazenda do Brasil, Fernando Haddad. O vídeo, que pode ser considerado uma deepfake por reproduzir o rosto do ministro em um personagem do filme Gladiador (2000), foi publicado em 19 de julho, no Instagram e no Facebook, pelo candidato a vice-prefeito de Curitiba Paulo Martins. Na postagem, o candidato escreveu: “alguém precisa parar a inteligência artificial”, também informando seus seguidores de que se tratava de um conteúdo manipulado por IA.
Vídeo editado com inteligência artificial como meme do ministro da Fazenda do Brasil, Fernando Haddad. (Fonte: Paulo Martins/Instagram)
Aplicativos de mensagem
Para monitoramento de aplicativos de mensagem, considerou-se como principais plataformas o WhatsApp e o Telegram. No WhatsApp, 1.588 grupos e canais públicos destinados a discussões sobre política foram monitorados, cobrindo um universo de 47.851 usuários. No Telegram, foram 854 grupos monitorados, com 76.064 usuários.
Para coleta e análise de dados do Telegram, a API disponibilizada pela própria plataforma foi utilizada. Os históricos dos grupos monitorados foram exportados através do Telethon, uma biblioteca em Python destinada ao uso com o Telegram, e posteriormente analisados pelos pesquisadores.
Para a coleta de dados de grupos de WhatsApp, foi utilizada outra metodologia, já que a plataforma não disponibiliza uma API. Os grupos foram encontrados através de mecanismos de busca ou em sites especializados, e adicionados a uma conta de WhatsApp vinculada a um número válido de celular. As mensagens trocadas nesses grupos passaram pelo processo de remoção de dados pessoais agregados e foram armazenadas em um banco de dados SQLite para análise dos pesquisadores.
Inicialmente, foram feitas buscas pelas palavras-chave “deepfake” ou “deep fake”. Em ambas as plataformas, no entanto, os resultados foram irrelevantes para o escopo do monitoramento. Algumas mensagens faziam alusão a casos de uso de deepfake em outros países, algumas denunciavam erroneamente conteúdos legítimos como deepfake, e outras alertavam usuários sobre os perigos das deepfake. Não foram encontrados conteúdos eleitorais deste tipo.
Em função da escassez de resultados, outros testes foram conduzidos em ambos os aplicativos, procurando por denúncias de uso de IA. As buscas por expressões como “feito por IA”, “feito por Inteligência Artificial”, “gerado por IA”, “gerado por Inteligência Artificial”, “manipulado por IA” e “manipulado por Inteligência Artificial” (e variações de gênero e número) retornaram resultados, mas nenhum deles relevante para o escopo do monitoramento novamente.
Plataformas da Meta
Durante o período de junho a agosto, também foi monitorada a biblioteca de anúncios da Meta, que funciona como repositório de conteúdos impulsionados no Facebook, Instagram e Messenger.
Em maio de 2024, a Meta se comprometeu a inserir um aviso em suas plataformas para todo conteúdo gerado por IA ou significativamente manipulado. A aplicação da lei, no entanto, não tem sido consistente. Durante o primeiro turno das eleições parlamentares europeias em junho de 2024, o DFRLab identificou conteúdo gerado por IA circulado no Facebook pela afiliada francesa da coalizão de extrema direita conhecida como Identidade e Democracia (ID). No mês seguinte, o POLITICO relatou a circulação de conteúdo gerado por IA nas plataformas Meta antes do segundo turno das eleições parlamentares da França. Além disso, a Biblioteca de Anúncios e a API da Meta também não fornecem filtros para conteúdo gerado por IA que permitam que pesquisadores coletem dados e identifiquem conteúdo sintético. O CrowdTangle, ferramenta de transparência da Meta encerrada em agosto, tampouco disponibilizava esta possibilidade. No caso de anúncios políticos, eleitorais ou de temas políticos, a Meta obriga, desde janeiro de 2024, que os anunciantes incluam o rótulo de conteúdo sintético.
BOX
A empresa também afirma que o rótulo é estampado nos anúncios exibidos a usuários e na página de detalhes do anúncio da biblioteca de anúncios da plataforma. No entanto, não foi possível encontrar maneiras de filtrar por esses conteúdos sistematicamente.
Como agravante, ao contrário do que ocorre nos aplicativos de mensagens, os conteúdos problemáticos no Meta Ads não podem ser sinalizados por usuários, o que cria um grande desafio para encontrar este tipo de material.
Veículos de imprensa ou blogs
Por fim, o Google Alerts foi utilizado para monitorar a publicação de conteúdos em blogs e websites que citassem as seguintes palavras-chave: “inteligência artificial”, “IA”, “deepfake”, “eleições”, “candidato”, “candidata”.
O monitoramento via Google Alerts permitiu identificar 16 casos de deepfake relatados em reportagens de veículos de imprensa ou blogs nos estados do Amazonas, Rio Grande do Sul, Sergipe, São Paulo, Mato Grosso do Sul, Pernambuco, Paraná, Rio Grande do Norte e Maranhão. De acordo com as reportagens, a maioria das destes conteúdos circulou em grupos de WhatsApp e foi identificada pela própria vítima. Em nove casos, as vítimas acionaram a justiça para remoção dos conteúdos e identificação dos responsáveis pelas postagens.
Por exemplo, em 6 de agosto, surgiu um caso em Igarapé do Meio, cidade localizada no estado do Maranhão. Um vídeo deepfake acusava o governo local de fraude financeira no sistema público de educação, manipulando imagens genuínas publicadas em janeiro de 2024 pelo Fantátisco, da TV Globo.
As imagens originais se referiam a crimes financeiros cometidos por autoridades públicas nas cidades de Turiaçu, São Bernardo e São José de Ribamar, todas localizadas no estado do Maranhão. O vídeo deepfake pode ter sido criado com a intenção de prejudicar a reputação de Almeida Sousa, prefeito de Igarapé do Meio, que está apoiando a candidatura de sua esposa à Prefeitura de Santa Inês, Solange Almeida.
Captura de tela do vídeo deepfake acusando falsamente o prefeito de Igarapé do Meio de fraude financeira. (Fonte: Youtube)
Outro caso surgiu no mesmo dia em Mirassol, cidade do estado de São Paulo. Um vídeo incorporou uma falsa narração simulando a voz do presidente Lula. O vídeo convidou a população local para um ato eleitoral em apoio ao candidato Ricci Junior, apesar de ele ser de outro partido político. Segundo a equipe de Junior, o vídeo circulou em grupos de WhatsApp. A Mirassol Conectada, que noticiou o vídeo, também observou que o tribunal eleitoral municipal estabeleceu uma multa diária de R$ 2.000 – aproximadamente US$ 368 – para quem continuasse a circulá-lo.
Conclusão
Conforme demonstrado nesta análise, há limitações nas metodologias de pesquisa disponíveis para monitorar a proliferação de imagens geradas por IA em escala.
As metodologias testadas mostraram que foi mais fácil identificar casos de deepfake através de buscas por palavras-chave, que em geral revelaram conteúdos em postagens de pré-candidatos, discussões de internautas e para reportagens na imprensa ou casos judiciais em andamento.
A metodologia de utilizar o Google Alerts se provou eficiente para coleta de dados sobre deepfakes no contexto eleitoral, mas limitada apenas a casos que já estavam em domínio público, com cobertura da imprensa ou sob análise da justiça.
Já a busca por denúncias de usuários de redes sociais e aplicativos de mensagem apontando a ocorrência de deepfakes se mostrou promissora. Entretanto, as dificuldades de coleta de informações nas próprias plataformas prejudica a sistematização dos dados. Muitas delas não permitem, por exemplo, a coleta de comentários, onde estarão possíveis denúncias de usuários - e técnicas alternativas são computacionalmente muito custosas. Além disso, nenhuma das plataformas analisadas oferece a possibilidade de coleta a partir do rótulo que indica o uso de inteligência artificial.
Outro agravante às dificuldades metodológicas é a possível subestimação da coleta de dados, considerando que é difícil quantificar quanto do conteúdo exibido nas redes é sintético. Devido às limitações das plataformas, para o propósito de identificar o mais rápido possível uma deepfake e impedir seu uso como arma de desinformação no contexto eleitoral, um monitoramento constante - e às vezes de forma manual - é necessário, seja por parte dos eleitores e candidatos, ou por parte de profissionais qualificados capazes de reconhecerem potenciais conteúdos sintéticos para denunciá-los.
Uma potencial solução para conter desinformação gerada por conteúdos sintéticos seria a criação de canal direto para enviar conteúdos para verificadores - os fact-checkers-, método que tem sido eficaz em situações similares. Por exemplo, no Brasil, alguns verificadores de fatos, como a Agência Lupa, têm contas no WhatsApp onde o público pode enviar conteúdo que circula em aplicativos de mensagens e plataformas de mídia social para verificação. Uma abordagem semelhante pode ser bem-sucedida para rastrear deepfakes.
Além disso, seria benéfico haver melhorias nos sistemas de pesquisa interna das plataformas e redes sociais, permitindo filtros avançados para localizar conteúdos gerados por AI ou integração com ferramentas disponíveis no mercado que já fornecem um parecer sobre a origem dos conteúdos, como o TrueMedia, que atualmente é gratuito e aberto a todos.
Junto com as dificuldades metodológicas, uma hipótese que também deve ser considerada para explicar a escassez de conteúdos sintéticos identificados durante o monitoramento é a precocidade da pesquisa, uma vez que a campanha foi oficialmente iniciada no dia 16 de agosto.
Lições aprendidas no Brasil e além
A resolução do TSE foi um importante passo para regular o uso da Inteligência Artificial na propaganda política, mas a novidade da ferramenta e a falta de experiências com seu uso em contextos eleitorais fazem das eleições de 2024 um importante marco na regulação. As autoridades eleitorais brasileiras devem analisar os acontecimentos destas eleições para aprimorar as regras para os próximos pleitos. Neste sentido, a exigência de um rótulo que identifique o uso de IA em cada peça publicitária que usa a tecnologia deve ser aperfeiçoada, estipulando que este rótulo seja acessível e útil para fins de pesquisa. Ou seja, as plataformas devem tornar possível que pelo menos os anúncios sejam sistematicamente coletáveis a partir do rótulo do uso de Inteligência Artificial.
As regras também devem exigir que as plataformas avancem na governança do uso de Inteligência Artificial, uma vez que a autodeclaração, onde o usuário é responsável por indicar o uso de IA, não é suficiente, e as técnicas de revisão algorítmica não são eficazes.
A iniciativa regulatória da União Europeia, conhecida como Artificial Intelligence Act, oferece oportunidades de aprendizado interessantes. A outra legislação do bloco, conhecida como Digital Services Act, também tem disposições que se relacionam explicitamente com a detecção e mitigação de conteúdo de IA, especialmente na preparação para eleições.
O AI Act exige que as plataformas “identifiquem e atenuem os riscos sistêmicos que possam resultar da divulgação de conteúdos artificialmente gerados ou manipulados, em especial o risco de efeitos negativos reais ou previsíveis nos processos democráticos, no debate público e nos processos eleitorais, nomeadamente através da desinformação”.
Embora o AI Act não estivesse em vigor nas recentes eleições para o Parlamento Europeu, as plataformas que estão sob a supervisão mais rigorosa por meio do Digital Services Act também se comprometeram a identificar, rotular e, às vezes, remover conteúdo sintético prejudicial, embora pesquisas externas tenham demonstrado que muitas imagens geradas por IA, incluindo aquelas usadas em propaganda política, não foram rotuladas.
Dando um passo além, a legislação também versa sobre mecanismos de targeting, exigindo que as plataformas informem se os sistemas de segmentação e direcionamento de anúncios políticos são influenciados por modelos de inteligência artificial. A edição de março de 2024 Jornal Oficial da União Europeia diz que, pela lei, se deve “Facultar, juntamente com a indicação de que se trata de um anúncio de cariz político, informações adicionais necessárias para permitir que a pessoa em causa compreenda a lógica subjacente e os principais parâmetros das técnicas utilizadas, nomeadamente se foi utilizado um sistema de inteligência artificial para o direcionamento ou a distribuição do anúncio de cariz político, bem como quaisquer técnicas de análise adicionais”. No entanto, estas disposições não entrarão em vigor até 2026, sendo muito cedo para avaliar a sua eficácia.
Este artigo foi publicado como parte de uma colaboração entre o DFRLab e o NetLab UFRJ, que publicou uma versão deste artigo em português. Ambas as organizações estão monitorando o uso de ferramentas de IA durante as eleições municipais brasileiras de 2024 para entender melhor seu impacto nos processos democráticos.