SciELO Preprints
A deteção de bots é cada vez mais relevante tendo em conta que as contas automatizadas desempenham um papel desproporcional na propagação de desinformação, no controlo das interações sociais, na influência de algoritmos das redes sociais e na formação da opinião pública online para diversos fins. A definição, descrição e detecção de técnicas de manipulação automatizadas têm se mostrado um desafio à medida que a tecnologia avança rapidamente em alcance e sofisticação.
Considerando o elevado caráter contextual da pesquisa em ciências sociais, o emprego de ferramentas de detecção prontas para uso levanta questões relativas à aplicabilidade de sistemas de aprendizado de máquina em diferentes casos, épocas e lugares. Assim, nosso objetivo é discutir o papel dos métodos computacionais com foco na compreensão das limitações e do potencial dos sistemas de aprendizado de máquina para identificar bots em plataformas de mídias sociais.
Para abordá-lo, analisamos o desempenho do Botometer, uma ferramenta de detecção amplamente adotada, em um domínio específico (Incêndios Florestais na Amazônia) e idioma (Português) e propomos um classificador de aprendizado de máquina supervisionado, chamado Gotcha, baseado no framework do Botometer e treinado para esse conjunto de dados específico. Também questionamos como nosso classificador se comporta e evolui ao longo do tempo e realizamos testes para avaliar as capacidades de generalização do modelo retreinado.
Nossos resultados demonstraram que os métodos supervisionados não funcionam bem com conjuntos de dados que apresentam características nas quais o sistema não foi treinado diretamente, como linguagem e tópico. Assim, nosso estudo mostra que um modelo computacional bem sucedido nem sempre garante resultados confiáveis, aplicáveis a um caso real específico.
Nossas descobertas indicam a necessidade de os cientistas sociais confirmarem a confiabilidade de diferentes ferramentas criadas e testadas apenas através do prisma de estudos computacionais antes de aplicá-las à pesquisa empírica em ciências sociais.
Como citar: Santini, R. M., Salles, D., Ferreira, F., & Grael, F. (2023). GOTCHA BOT DETECTION: CONTEXT, TIME AND PLACE MATTERS. In SciELO Preprints. https://doi.org/10.1590/SciELOPreprints.5974