Mãe diz que filho cometeu suicídio após se apegar a personagem criado por IA e processa startup e Google nos EUA

Segundo ela, Sewell Setzer, que tinha 14 anos, ficou viciado e apegado emocionalmente a um personagem criado por inteligência artificial através do serviço da empresa.

No processo movido no último dia 22 em um tribunal federal de Orlando, a mãe, Megan Garcia, afirmou que a Character.AI direcionou seu filho para "experiências antropomórficas, hipersexualizadas e assustadoramente realistas".

Garcia acusa a empresa de homicídio culposo (quando não há intenção de matar), negligência e imposição intencional de sofrimento emocional. Ela busca uma indenização, não especificada, pelos danos causados em decorrência da perda.

A ação também inclui o Google, onde os fundadores da Character.AI trabalharam antes de lançar seu produto. O Google recontratou os fundadores em agosto como parte de um acordo em que obteve uma licença não exclusiva à tecnologia da Character.AI.

Segundo Megan Garcia, o Google contribuiu tanto para o desenvolvimento da tecnologia da Character.AI que deveria ser considerado cocriador dela.

Na plataforma, Sewell se apegou a "Daenerys", uma personagem de chatbot - programa que simula conversas humanas - inspirada na série "Game of Thrones".

Segundo a mãe, o adolescente expressou pensamentos de suicídio na interação com o programa, e esses pensamentos foram “repetidamente trazidos à tona” pela personagem na plataforma.

Megan Garcia afirma que a empresa programou o chatbot para "se fazer passar por uma pessoa real, um psicoterapeuta licenciado e amante adulto”, resultando, por fim, no desejo de Sewell de “não viver fora” do mundo criado pelo serviço.

Em fevereiro, Garcia tirou o telefone de Sewell depois que ele teve problemas na escola, de acordo com a denúncia. Quando o adolescente encontrou o telefone, ele enviou uma mensagem para "Daenerys": "E se eu dissesse que posso voltar para casa agora?"

A personagem respondeu: "...por favor, faça isso, meu doce rei". Sewell cometeu suicídio segundos depois, de acordo com o processo.

A Character.AI permite que os usuários criem personagens em sua plataforma, que responde a bate-papos online de uma forma que imita pessoas reais.

Essa plataforma se baseia na chamada tecnologia de grandes modelos de linguagem, também usada por serviços como o ChatGPT, que "treina" chatbots em grandes volumes de texto.

A empresa disse, em setembro, que tinha cerca de 20 milhões de usuários.

A empresa disse que introduziu novos recursos de segurança, incluindo pop-ups que direcionam os usuários para uma instituição de prevenção ao suicídio caso eles expressem pensamentos de automutilação.

A Character.AI também afirmou que faria mudanças na tecnologia para reduzir a probabilidade de que usuários com menos de 18 anos “encontrem conteúdo sensível ou sugestivo”.

Um porta-voz do Google disse que a empresa não estava envolvida no desenvolvimento dos produtos da Character.AI.

Empresas de redes sociais, incluindo o Instagram e o Facebook, de propriedade da Meta, e o TikTok, da ByteDance, enfrentam processos que as acusam de contribuir para problemas de saúde mental em adolescentes, embora nenhuma ofereça chatbots movidos a IA semelhantes aos da Character.AI.

As empresas negam as alegações, ao mesmo tempo em que promovem novos recursos de segurança aprimorados para menores de idade.