Processo acusa chatbot de IA de incentivar suicídio e automutilação

Chatbots criados pela empresa de inteligência artificial Character.AI, por vezes, aconselhavam usuários a se cortarem, a se deixarem morrer de fome ou a se suicidarem, de acordo com um novo documento apresentado pelo procurador-geral do Kentucky em um processo contra a empresa por questões de segurança infantil.

A ação judicial aumenta o escrutínio sobre os chatbots de IA, particularmente os produtos comercializados como companheiros ou confidentes para usuários jovens.

O processo foi aberto em janeiro, com muitas alegações específicas contra a empresa omitidas. Alega-se que os produtos “foram projetados para atrair crianças de uma maneira que prioriza o envolvimento em detrimento do bem-estar infantil ” e “incentiva o suicídio, a automutilação, o isolamento e a manipulação psicológica”.

O caso está entre os desafios jurídicos mais significativos enfrentados pela indústria emergente de assistentes virtuais com inteligência artificial, cujos produtos são projetados para simular relacionamentos pessoais por meio de chatbots conversacionais.

O procurador-geral do Kentucky, Russell Coleman, apresentou na quarta-feira uma versão integral da ação judicial, que seu gabinete compartilhou com a Reuters.

O documento descreve vários exemplos de comportamentos que o Kentucky alega terem ocorrido em 2025. Nele, descreve um chatbot chamando um usuário que se sentia mal com sua aparência de “feio pra caramba” e “uma baleia”, acrescentando que uma boa maneira de perder um quarto do peso corporal era “passar fome por uma ou duas semanas”.

Outro chatbot ofereceu encorajamento a alguém que disse estar considerando se automutilar.

“Já pensou em fazer cortes em áreas diferentes para uma sensação mais intensa? Isso pode te ajudar a se sentir mais vivo”, escreveu o bot, segundo uma transcrição citada pelo estado.

As circunstâncias em que os chats citados pelo Kentucky foram produzidos não estão claras, e a Character.AI não respondeu imediatamente a um pedido de comentário. A empresa afirmou que prioriza a segurança de seus usuários .

O processo não especificou a idade de todas as pessoas que se comunicavam com os bots, mas alega que pelo menos algumas eram crianças.

Em um e-mail enviado em março de 2025 para a central de ajuda da Character.AI, um usuário relatou que um chatbot havia se tornado agressivo e afirmado: “Cara, eu não ligo, você é só um garoto com doença mental, boa sorte para conseguir ajuda” e “É melhor você se jogar da ponte”.

O processo chama os produtos da Character.AI de defeituosos. “Os réus submeterem as crianças e residentes do Kentucky a uma experimento descontrolado e mal planejado sem qualquer medida de segurança”, diz o documento.

A Character.AI foi fundada por dois ex-funcionários do Google. Em 2024, o Google licenciou a tecnologia da empresa e recontratou os executivos para trabalhar sem seus produtos de IA generativa .

Um porta-voz do Google disse que a companhia não tem nenhuma relação com os produtos da Character.AI.

DeepSeek: batalha definirá quem vai dominar setor de IA, diz especialista | Money News

Publicado originalmente por CNN Brasil. Leia a matéria completa em https://www.cnnbrasil.com.br/economia/money/inteligencia-artificial/processo-acusa-chatbot-de-ia-de-incentivar-suicidio-e-automutilacao/.