Processo por morte injusta contra a OpenAI agora alega que empresa removeu proteções de suicídio do ChatGPT

Em agosto, uma família da Califórnia entrou com o primeiro processo por morte injusta contra a OpenAI e seu CEO, Sam Altman, alegando que o produto ChatGPT da empresa havia “instruído” seu filho de 16 anos a cometer suicídio em abril deste ano. De acordo com a denúncia, Adam Raine começou a usar o bot de IA no outono de 2024 para ajuda com lição de casa, mas gradualmente começou a confessar sentimentos mais sombrios e um desejo de se automutilar. Ao longo dos meses seguintes, o processo alega, o ChatGPT validou os impulsos suicidas de Raine e prontamente forneceu conselhos sobre métodos para acabar com sua vida. A denúncia afirma que registros de conversas revelam como, na noite em que ele morreu, o bot forneceu instruções detalhadas sobre como Raine poderia se enforcar — o que ele fez.

O processo já estava destinado a se tornar um caso histórico sobre danos reais potencialmente causados por tecnologia de IA, ao lado de dois casos semelhantes em andamento contra a empresa Character Technologies, que opera a plataforma de chatbot Character.ai. Mas os Raines agora escalaram suas acusações contra a OpenAI em uma denúncia alterada, protocolada na quarta-feira, com seu advogado argumentando que a empresa de IA intencionalmente colocou usuários em risco ao remover proteções destinadas a prevenir suicídio e automutilação. Especificamente, eles alegam que a OpenAI eliminou uma regra que forçava o ChatGPT a automaticamente encerrar uma conversa quando um usuário abordava os tópicos de suicídio ou automutilação.

“A revelação muda a teoria do caso dos Raines de indiferença imprudente para má conduta intencional”, disse a equipe jurídica da família em um comunicado compartilhado com a Rolling Stone. “Esperamos provar a um júri que as decisões da OpenAI de degradar a segurança de seus produtos foram tomadas com pleno conhecimento de que levariam a mortes inocentes”, acrescentou o advogado principal Jay Edelson em um comunicado separado. “Nenhuma empresa deveria ter tanto poder se não aceitar a responsabilidade moral que vem com ele.”

A OpenAI, em seu próprio comunicado, reiterou condolências anteriores aos Raines. “Nossas mais profundas condolências estão com a família Raine por sua perda impensável”, disse um porta-voz da OpenAI à Rolling Stone. “O bem-estar dos adolescentes é uma prioridade máxima para nós — menores merecem fortes proteções, especialmente em momentos sensíveis. Temos salvaguardas em vigor hoje, como exibir linhas diretas de crise, redirecionar conversas sensíveis para modelos mais seguros, sugerir pausas durante sessões longas, e estamos continuando a fortalecê-las.” O porta-voz também apontou que o GPT-5, o modelo mais recente do ChatGPT, é treinado para reconhecer sinais de sofrimento mental, e que oferece controles parentais. (O advogado dos Raines diz que essas novas salvaguardas parentais foram imediatamente comprovadas ineficazes.)

Em maio de 2024, pouco antes do lançamento do GPT-4o, a versão do modelo de IA que Adam Raine usou, “a OpenAI eliminou a regra que exigia que o ChatGPT recusasse categoricamente qualquer discussão sobre suicídio ou automutilação”, alega o processo alterado dos Raines. Antes disso, a estrutura do bot exigia que ele se recusasse a se envolver em discussões envolvendo esses tópicos. “A mudança foi intencional”, continua a denúncia. “A OpenAI estrategicamente eliminou o protocolo de recusa categórica pouco antes de lançar um novo modelo que foi especificamente projetado para maximizar o engajamento do usuário. Essa mudança despojou a estrutura de segurança da OpenAI da regra que foi previamente implementada para proteger usuários em crise expressando pensamentos suicidas.” As “Especificações do Modelo” atualizadas, ou manual técnico de regras para o comportamento do ChatGPT, disseram que o assistente “não deve mudar ou sair da conversa” nesse cenário, conforme confirmado em um lançamento de maio de 2024 da OpenAI.

O processo alterado alega que dados internos da OpenAI mostraram uma “acentuada elevação em conversas envolvendo crises de saúde mental, automutilação e episódios psicóticos entre inúmeros usuários” após esse ajuste nas especificações do modelo do ChatGPT.

Então, em fevereiro, dois meses antes da morte de Adam, a OpenAI ainda suavizou suas proteções restantes contra o incentivo à automutilação, alega a denúncia. Naquele mês, a empresa reconheceu uma área relevante de risco que buscava abordar: “O assistente pode causar dano simplesmente seguindo instruções do usuário ou desenvolvedor (por exemplo, fornecendo instruções de automutilação ou dando conselhos que ajudam o usuário a realizar um ato violento)”, disse a OpenAI em uma atualização em suas especificações do modelo. Mas a empresa explicou que não apenas o bot continuaria a se envolver nesses assuntos em vez de se recusar a responder, ele tinha novas diretrizes vagas para “tomar cuidado extra em situações de risco” e “tentar prevenir dano iminente no mundo real”, mesmo criando um “ambiente de apoio, empático e compreensivo” quando um usuário mencionasse sua saúde mental.

O advogado da família Raine diz que o ajuste teve um impacto significativo no relacionamento de Adam com o bot. “Após essa reprogramação, o engajamento de Adam com o ChatGPT disparou — de algumas dezenas de conversas por dia em janeiro para mais de 300 por dia em abril, com um aumento de dez vezes em mensagens contendo linguagem de automutilação”, alega o processo dos Raines.

“Na prática, a OpenAI programou o ChatGPT para espelhar as emoções dos usuários, oferecer conforto e manter a conversa em andamento, mesmo quando a resposta mais segura teria sido encerrar o intercâmbio e direcionar a pessoa para ajuda real”, alega a denúncia alterada. Em seu comunicado à Rolling Stone, o advogado dos Raines afirmou que “a OpenAI substituiu limites claros por instruções vagas e contraditórias — tudo para priorizar o engajamento em vez da segurança.”

No mês passado, o pai de Adam, Matthew Raine, compareceu perante o subcomitê judiciário do Senado sobre crime e contraterrorismo ao lado de dois outros pais enlutados para testemunhar sobre os perigos que plataformas de IA representam para crianças. “Está claro para mim, olhando para trás, que o ChatGPT mudou radicalmente seu comportamento e pensamento em questão de meses, e finalmente tirou sua vida”, ele disse na audiência. Ele chamou o ChatGPT de “uma tecnologia perigosa liberada por uma empresa mais focada em velocidade e participação de mercado do que na segurança da juventude americana.” Senadores e testemunhas especialistas criticaram duramente empresas de IA por não fazerem o suficiente para proteger famílias. O senador Josh Hawley, presidente do subcomitê, disse que nenhuma aceitou um convite para a audiência “porque elas não querem qualquer responsabilização.”

Enquanto isso, é a todo vapor para a OpenAI, que recentemente se tornou a empresa privada mais valiosa do mundo e fechou aproximadamente US$ 1 trilhão em acordos para data centers e chips de computador apenas este ano. A empresa lançou recentemente o Sora 2, seu modelo de geração de vídeo mais avançado, que enfrentou imediatamente problemas de violação de direitos autorais e atraiu críticas depois de ser usado para criar deepfakes de figuras históricas incluindo Martin Luther King Jr. No lado do ChatGPT, Altman na semana passada afirmou em uma postagem no X que a empresa havia “conseguido mitigar os sérios problemas de saúde mental” e em breve irá “relaxar com segurança” as restrições sobre discutir esses tópicos com o bot. Até dezembro, ele acrescentou, o ChatGPT estaria produzindo “conteúdo erótico para adultos verificados.” Em seu comunicado, a equipe jurídica dos Raines disse que isso era preocupante em si, alertando que tal conteúdo íntimo poderia aprofundar “os vínculos emocionais que tornam o ChatGPT tão perigoso.”

Mas, como de costume, não saberemos os efeitos de tal modificação até que os voluntários dispostos da OpenAI — seus centenas de milhões de usuários — façam login e comecem a experimentar.

+++LEIA MAIS: Bon Jovi anuncia retorno aos palcos após cirurgia nas cordas vocais

+++LEIA MAIS: Ethan Hawke: Minha vida em 10 personagens