True Crime TikTok: Vítimas de Deepfakes AI são um pesadelo acordado

Por Ej Dickson

"A vovó me trancou em um forno a 230 graus quando eu tinha apenas 21 meses de idade", diz o bebê angelical com olhos azuis gigantes e uma faixa floral na cabeça no vídeo do TikTok. A bebê, que fala com uma voz adoravelmente infantil no topo da melancólica melodia de "Love Is Gone" de Dylan Mathew, se identifica como Rody Marie Floyd, uma garotinha que morava com a mãe e a avó no Mississippi. Ela conta que um dia, ela estava com fome e não parava de chorar, levando sua avó a colocá-la no forno, levando-a à morte. "Por favor, siga-me para que mais pessoas conheçam minha verdadeira história", diz o bebê no final do vídeo.

O bebê no vídeo, é claro, não é real: ela é uma criação gerada por IA postada em @truestorynow, uma conta com quase 50.000 seguidores que publica vídeos de vítimas de crimes da vida real contando suas histórias. A história horrível que ela está contando é verdadeira, embora até certo ponto. O nome do bebê não era Rody Marie, mas Royalty Marie, e ela foi encontrada morta a facadas e queimada em um forno na casa de sua avó no Mississippi em 2018; a avó, Carolyn Jones, de 48 anos, foi acusada de assassinato em primeiro grau no início deste ano. Mas Royalty tinha 20 meses quando morreu, não 21, e ao contrário do bebê no vídeo do TikTok, ela era negra, não branca.

Tais imprecisões são comuns no mundo grotesco do TikTok, um subgênero do massivo fandom de crimes reais, que usa inteligência artificial para ressuscitar vítimas de assassinato, muitas das quais são crianças. Os vídeos, alguns dos quais com milhões de visualizações, envolvem uma vítima falando em primeira pessoa sobre os detalhes horríveis de suas mortes; a maioria deles não tem um aviso de conteúdo de antemão.

"Eles são bastante estranhos e assustadores", diz Paul Bleakley, professor assistente de justiça criminal da Universidade de New Haven. "Eles parecem projetados para desencadear fortes reações emocionais, porque é a maneira mais segura de obter cliques e curtidas. É desconfortável de assistir, mas acho que pode ser esse o ponto."

Muitas das contas têm um aviso afirmando que o vídeo não usa fotos reais das vítimas, como forma de "respeitar a família", como Nostalgia Narratives, uma conta que publica vídeos de IA de vítimas de crimes reais com 175.000 seguidores, coloca em as legendas dos vídeos. A conta não conta apenas as histórias de crianças famosas vítimas de assassinatos como Elisa Izquierdo, uma menina de seis anos que foi assassinada por sua mãe abusiva em 1995, e Star Hobson, uma criança de um ano assassinada pela namorada de sua mãe em 2020. , mas também vítimas de assassinatos adultos como George Floyd e JFK. Nenhuma das contas que a Rolling Stone procurou respondeu aos pedidos de comentários, mas o fato de mudarem a aparência das vítimas provavelmente se deve às diretrizes da comunidade TikTok que proíbem representações deepfake de indivíduos particulares ou jovens, uma política que a plataforma instituiu em março. . (Um porta-voz do TikTok confirmou à Rolling Stone que @truestorynow foi removido por violar as diretrizes da comunidade.)

A proliferação desses vídeos de vítimas de crimes reais de IA no TikTok é a mais recente questão ética levantada pela imensa popularidade do gênero de crimes reais em geral. Embora documentários como The Jinx e Making a Murderer e podcasts como Crime Junkie e My Favorite Murder tenham conquistado imensos seguidores cult, muitos críticos do gênero questionaram as implicações éticas de o público consumir as histórias da vida real de agressões e assassinatos horríveis como puro entretenimento. , com o surgimento de detetives de poltrona e obsessivos por crimes reais, potencialmente retraumatizando entes queridos de vítimas.

Essa preocupação se aplica duplamente a vídeos como o da realeza, que conta a história da vítima de sua perspectiva e usando seu nome, presumivelmente sem o consentimento da família, para um efeito incrivelmente assustador. “Algo assim tem um potencial real para revitimizar pessoas que já foram vítimas antes”, diz Bleakley. "Imagine ser o pai ou parente de uma dessas crianças nesses vídeos de IA. Você fica online e, com essa voz estranha e estridente, aqui está uma imagem de IA [baseada em] seu filho falecido, entrando em detalhes muito sangrentos sobre o que aconteceu com eles."