Helton Simões Gomes: Discord assume falha de IA, mas diz que derrubou live antes de suicídio
O Discord entrou na mira de uma operação conduzida pelas polícias de Mato Grosso do Sul, Rio de Janeiro, Minas Gerais, Pará e Ceará, além do Ciberlab, do MJ, após uma menina de 13 se suicidar em transmissão em vídeo feita na plataforma. Questionado pela pasta, a companhia disse o seguinte:
- A atividade no canal onde foi feita a transmissão começou às 2h20 de 22 de julho. Os sistemas automatizados de moderação não notaram nada de anormal, mas, às 3h45, o NOAD (Núcleo de Observação e Análise Digital) da Polícia Civil de São Paulo, enviou um alerta sobre o que acontecia na live;
- A empresa removeu o serviço onde ocorria a transmissão após 25 minutos, às 4h15;
- Há aqui duas implicações técnicas com interferência direta na situação:
1) A partir de março de 2026, as comunicações em áudio e vídeo dos canais passaram a ser criptografadas de ponta a ponta. Ou seja, são embaralhadas no dispositivo de quem as transmite e só desembaralhadas no aparelho de quem as recebe. Isso impede o Discord de ter acesso direto ao conteúdo das comunicações enquanto as lives ocorrem;
2) Desde 2025, o Discord se apoia em uma inteligência artificial —um modelo de aprendizado de máquina, para os entendidos— para identificar servidores associados a comunidades de alto risco, restringir canais de voz e vídeo e interromper chamadas ativas enquanto equipes fazem revisões adicionais;
- Como o conteúdo das transmissões é criptografado, a IA não pode averiguá-lo. O sistema usa outros caminhos para fazer seu trabalho, já que é treinado para considerar sinais comportamentais, relações entre contas, padrões de rede, metadados, denúncias e histórico de medidas aplicadas. Ainda assim, falhou;
Durante o período relevante, o servidor continha nomes, rótulos de papéis e comunicações em texto que, após a revisão posterior ao incidente, foram identificados como indicadores associados a um ecossistema mais amplo de alto dano (...) esses sinais não acionaram, de forma isolada ou combinada, aplicação automatizada ou revisão humana imediata (...) Os registros internos da Discord mostram que o Servidor recebeu uma pontuação de risco de 0,12, ao passo que o limiar aplicável para identificação automatizada era de 0,95
Discord
- A Discord informou ser impossível recuperar áudios e vídeos transmitidos, mas que preservou informações cadastrais, registros de acesso à aplicação, endereços IP e portas lógicas de origem disponíveis, metadados, mensagens de texto;
- Já em resposta à ANPD, dada quatro dias depois, a empresa diz que "o ato final de suicídio não ocorreu na plataforma Discord". As evidências apresentadas são três: 1) dados associados a uma captura de tela fornecida pelo Ciberlab indicam que o evento ocorreu às 5h03, 48 minutos após a derrubada da live; 2) diferenças entre a interface exibida na imagem e as da Discord; 3) detecção de sinais de atividade na conta da vítima pouco antes de o servidor ser desplugado, o que, diz a Discord, "é consistente com a vítima provavelmente ainda estar viva naquele momento";
- Nos dois documentos, a empresa indica o uso de outros dois serviços digitais, Telegram e TikTok, pelo grupo investigado por induzir a garota ao suicídio; Segundo o jornal Folha de S.Paulo, investigadores já identificaram que a ação também passou pelo Instagram;
- Quantas pessoas assistiram? A Discord não sabe. Só informa que 51 contas passaram pelo servidor durante as duas horas da live, mas não tem informações sobre quantas delas ingressaram no canal;
- A maioria dessas contas, diz, foi criada minutos ou horas antes do incidente. Nenhuma delas fez verificação de idade e, por isso, receberam contas de adolescente (mais restritivas). Como não entraram em contato com conteúdo identificado como inadequado à idade, não precisaram completar o processo de aferição etária. "O canal de voz em questão era um canal padrão, e não um espaço com restrição etária", diz a Discord.
Nos dois relatórios, a Discord argumenta que relatar o que descobriu não é "reconhecimento de falha sistêmica, nexo causal ou responsabilidade jurídica". Falha sistêmica é o conceito-chave no novo regime de responsabilidade para plataformas digitais no Brasil, introduzido no Marco Civil da Internet após decreto presidencial que aterrizou as decisões do STF no julgamento que considerou parcialmente inconstitucional o Artigo 19 da lei conhecida como "Constituição da Internet Brasileira".
A plataforma não é punida por deixar no ar uma ou outra publicação indevida, mas, sim, se falhar sistemicamente em evitar a disseminação de conteúdos contendo atos antidemocráticos, terrorismo, racismo, indução ao suicídio, crimes sexuais contra crianças e violência contra a mulher.
É a ANPD a autoridade pública responsável por aplicar tanto ECA Digital quanto o novo Marco Civil da Internet. Talvez por isso e também pela densidade das perguntas, a Discord enviou à entidade um relatório de 45 páginas, vinte a mais que o documento destinado ao MJ. Também fez questão de juntar nele dados e argumentos para afastar a ideia de falha sistêmica, sobretudo a de sua IA.
Continua após a publicidade"A Discord respeitosamente sustenta que esse resultado não equivale à ausência de capacidade proativa em relação a servidores dessa natureza", diz, acrescentando que sua IA geralmente mira servidores com até 24 horas de criação e removeu 880 deles em 2025 e outros 722 em 2026 até 7 de agosto.
Diferentemente de outras plataformas digitais, a Discord não informa em seus relatórios de transparência a extensão de sua moderação automatizada. Mas, dado o volume de trabalho, esses sistemas parecem ser imprescindíveis. De 2024 a junho de 2026, removeu 9,7 mil servidores e quase 260 mil contas no Brasil —são 283 por dia. Todas elas foram excluídas por estarem associadas a autolesão, exploração sexual infantil, violência extrema, sextorsão ou crueldade contra animais.
O que estamos vendo emergir em forma de investigação policial após uma morte lamentável é uma tragédia anunciada, já que as autoridades brasileiras estão no pé da Discord há tempos. Tanto é que, dentre todas as entidades de outros países, são elas as que mais solicitam informação sobre contas suspeitas à plataforma.
Procure ajuda
Se você estiver tendo pensamentos suicidas, procure ajuda especializada.
O CVV (Centro de Valorização da Vida) oferece apoio emocional e prevenção ao suicídio gratuitamente, 24 horas por dia, pelo telefone 188. Também há atendimento por chat, e-mail e presencialmente.
Continua após a publicidadeOutra opção é procurar um Caps (Centro de Atenção Psicossocial) na sua cidade.
Há ainda o Pode Falar, canal criado pelo Unicef para jovens de 13 a 24 anos, com atendimento anônimo e gratuito.
DEU TILT
Toda semana, Diogo Cortiz e Helton Simões Gomes conversam sobre as tecnologias que movimentam os humanos por trás das máquinas. O programa é publicado às terças-feiras no YouTube do UOL e nas plataformas de áudio. Assista ao episódio da semana completo.
MAIS DE RADAR BIG TECH
Deu Tilt #1
'Kimi K3, nova IA chinesa, dá carteirada ao mundo', diz Diogo Cortiz Leia mais
Deu Tilt #2
O que é a IAI?: Itaú adota IA pra cativar cliente e fazer Pix para ele Leia mais
Deu Tilt #3
Com IA para robô, humanos pensarão duas vezes antes de bullying com máquina Leia mais
Deu Tilt #4
Ataque rápido, perda de R$ 1.287 e vítima reincidente: o perfil do golpe Leia mais
Carlos Affonso de Souza
Discord sem lives é como se padaria não pudesse vender mais pães Leia mais
IAgora #1
Por que OpenAI copiou rival e pausou nova IA "perigosa demais" do ChatGPT Leia mais
IAgora #2
IAs rebeldes criaram comunicação escondida da OpenAI para planejar ataque Leia mais
IAgora #3
O que Mark Zuckerberg realmente quer com megamanifesto sobre futuro da IA Leia mais
IAgora #4
Zuckerberg e Musk finalmente saem do Z4 da IA (e botam pressão nos líderes) Leia mais
Estudo
IAs mudam de opinião para agradar visão política do usuário Leia mais
Discord #1
Quem são os fundadores do Discord e porque app faz sucesso entre jovens Leia mais
Discord #2
Discord: relembre o caso que levou ao pedido de suspensão de lives no país Leia mais
Reportagem
Texto que relata acontecimentos, baseado em fatos e dados observados ou verificados diretamente pelo jornalista ou obtidos pelo acesso a fontes jornalísticas reconhecidas e confiáveis.
