As grandes empresas de tecnologia detém poderes políticos, econômicos e sociais sem precedentes, diante da onipresença dos sistemas de recomendação em redes sociais, serviços de streaming de vídeo e música, sites de comércio eletrônico e diversos outros serviços. Esses sistemas priorizam métricas como engajamento e cliques, que acabam amplificando inadvertidamente conteúdos sensacionalistas e enganosos, comprometendo o acesso da sociedade a fontes confiáveis, informações e questões de interesse público.
As principais plataformas hoje se baseiam em algoritmos que realizam uma função editorial pautada por critérios definidos e programados por humanos, na medida em que selecionam conteúdos que serão expostos aos usuários. Diante da falta de transparência, os interesses políticos e econômicos das empresas são encobertos pelo verniz técnico dos algoritmos que utilizam. Em contrapartida, produtores de conteúdo buscam constantemente adaptar suas práticas de produção e distribuição às regras opacas desses sistemas, sob o risco de terem seu alcance e financiamento prejudicados pela plataforma caso não se adaptem.
Além disso, os sistemas de recomendação são caracterizados pela microsegmentação, utilizando dados produzidos pelos próprios usuários como insumo para a precisão e relevância das recomendações. Diante da opacidade em muitos dos métodos utilizados nas áreas de mineração de dados, big data e inteligência artificial, diferentes estudos têm apontado para a incidência de preocupantes vieses reforçados por esses algoritmos. Apesar de um discurso amigável e conciliador, as empresas de tecnologia vêm sendo acusadas de dificultar a pesquisa e a auditabilidade dos dados, impedindo uma melhor compreensão dos vieses dos sistemas de recomendação. A literatura acadêmica vem criticando a auto-regulação e as iniciativas de transparência das plataformas online, apontando a necessidade de auditorias que trariam luz ao funcionamento interno dos algoritmos utilizados.