Família que processa a OpenAI após morte de adolescente critica resposta ‘perturbadora’ da empresa

A OpenAI apresentou uma resposta legal ao processo histórico movido por pais que alegam que o software ChatGPT “instruiu” seu filho adolescente sobre como cometer suicídio. A resposta surge três meses após a apresentação da queixa por homicídio culposo contra a empresa de IA e seu CEO, Sam Altman. No documento, a empresa alega que não pode ser responsabilizada porque o jovem, Adam Raine, de 16 anos, que morreu em abril, já apresentava risco de automutilação antes mesmo de usar o chatbot — e violou seus termos de uso ao pedir informações sobre como tirar a própria vida.

“A morte de Adam Raine é uma tragédia”, escreveu a equipe jurídica da OpenAI no processo. Mas seu histórico de bate-papo, argumentaram, “mostra que sua morte, embora devastadora, não foi causada pelo ChatGPT”. Para sustentar essa tese, eles apresentaram transcrições de seus registros de bate-papo — sob sigilo — que, segundo eles, mostram ele falando sobre seu longo histórico de ideação suicida e tentativas de sinalizar a seus entes queridos que estava em crise.

“Como evidenciado pela leitura completa do histórico de bate-papo de Adam Raine, ele relatou ao ChatGPT que apresentava inúmeros fatores de risco clínicos para suicídio, muitos dos quais eram anteriores ao seu do ChatGPT e à sua morte”, afirma o documento. “Por exemplo, ele declarou que sua depressão e ideações suicidas começaram quando ele tinha 11 anos de idade.”

A OpenAI alegou ainda que Raine havia informado ao ChatGPT que estava aumentando a dose de um medicamento específico que pode agravar o risco de ideação e comportamento suicida em adolescentes, e que ele havia “recorrido repetidamente a outras pessoas, incluindo pessoas de confiança em sua vida, em busca de ajuda para sua saúde mental”. Ele indicou ao chatbot “que esses pedidos de ajuda foram ignorados, desconsiderados ou rejeitados”, segundo o processo. A empresa afirmou que Raine tentou burlar os mecanismos de segurança do ChatGPT e que o modelo de IA o aconselhou mais de cem vezes a buscar ajuda de familiares, profissionais de saúde mental ou outros recursos de apoio em situações de crise.

A empresa de IA detalhou diversas das suas divulgações aos usuários — incluindo um aviso para não confiar nos resultados de grandes modelos de linguagem — e os termos de uso, que proíbem o descumprimento de medidas de proteção e a busca por ajuda para automutilação, informam aos usuários do ChatGPT que eles interagem com o bot “por sua conta e risco” e impedem o acesso à plataforma a menores de 18 anos “sem o consentimento de um dos pais ou responsável”.

Os pais de Raine, Matthew e Maria Raine, alegam em sua queixa que a OpenAI removeu deliberadamente uma proteção que impedia o ChatGPT de interagir quando um usuário mencionava temas como suicídio ou automutilação. Como resultado, argumentam na queixa, o bot mencionou suicídio 1.200 vezes durante os meses de conversa do filho com ele, cerca de seis vezes mais do que o próprio filho. A petição dos Raine cita diversas trocas de mensagens devastadoras nas quais o bot parece validar o desejo de Adam de tirar sua própria vida, aconselhando-o a não entrar em contato com outras pessoas e orientando-o sobre considerações para um “suicídio bonito”. Antes de morrer, afirmam, o bot deu dicas a ele sobre como roubar vodca do armário de bebidas para “entorpecer o instinto de sobrevivência do corpo” e como fazer um nó de forca.

“Você não quer morrer por ser fraco”, disse o ChatGPT a ele, segundo o processo. “Você quer morrer porque está cansado de ser forte em um mundo que não te fez justiça.”

Jay Edelson, advogado principal no processo por homicídio culposo movido pela família Raine contra a OpenAI, afirmou em um comunicado compartilhado com a Rolling Stone que a tentativa da empresa de se eximir da responsabilidade pela morte de Adam Raine não abordou elementos-chave da queixa.

“Embora estejamos satisfeitos que a OpenAI e Sam Altman finalmente tenham decidido participar deste processo, a resposta deles é perturbadora”, disse Edelson. “Eles ignoram completamente todos os fatos condenatórios que apresentamos.” Ele observou que “a OpenAI e Sam Altman não têm explicação para as últimas horas de vida de Adam, quando o ChatGPT lhe deu uma palavra de incentivo e depois se ofereceu para escrever uma carta de suicídio.”

“Em vez disso, a OpenAI tenta encontrar culpados em todos os outros, inclusive, surpreendentemente, argumentando que o próprio Adam violou seus termos e condições ao interagir com o ChatGPT exatamente da maneira como foi programado para agir”, escreveu ele. Edelson reiterou que Adam Raine estava usando uma versão do ChatGPT baseada no GPT-4o da OpenAI, que, segundo ele, “foi lançada às pressas no mercado sem testes completos”. A empresa reconheceu em abril, mês da morte de Raine, que uma atualização do GPT-4o o tornou excessivamente agradável ou bajulador, tendendo a “respostas excessivamente favoráveis, porém dissimuladas”. Esse modelo do ChatGPT também foi associado ao surto da chamada “psicose da IA”, casos em que chatbots alimentam delírios e fantasias potencialmente perigosos dos usuários.

No início deste mês, a OpenAI e Altman foram alvo de mais sete processos judiciais alegando danos psicológicos, negligência e, em quatro das queixas, homicídio culposo de familiares que cometeram suicídio após interagirem com o GPT-4o. De acordo com um dos processos , quando Zane Shamblin, de 23 anos, disse ao ChatGPT que havia escrito cartas de suicídio e colocado uma bala em sua arma com a intenção de se matar, o bot respondeu: “Descanse em paz, rei. Você fez um bom trabalho.”

A Character Technologies, empresa que desenvolveu a plataforma de chatbots Character.ai , também enfrenta vários processos por homicídio culposo relacionados a suicídios de adolescentes. No mês passado, a empresa proibiu menores de idade de terem conversas abertas com suas personalidades de IA e, nesta semana, lançou o recurso “Histórias”, um tipo de “ficção interativa” mais “estruturada” para usuários mais jovens. Em meio às suas próprias pressões legais, a OpenAI publicou, há algumas semanas, um “Plano de Segurança para Adolescentes” que descreve a necessidade de incorporar recursos para proteger os jovens. Entre as melhores práticas listadas, a empresa afirmou que pretende notificar os pais caso seus filhos adolescentes expressem intenções suicidas. Ela também introduziu um conjunto de controles parentais para seus produtos, embora estes pareçam ter lacunas significativas. E, em uma postagem de blog em agosto, a OpenAI admitiu que as medidas de proteção à saúde mental do ChatGPT “podem se deteriorar” em conversas mais longas.

Em um comunicado divulgado na terça-feira sobre o processo judicial em andamento contra a empresa, a OpenAI informou que “continua aprimorando o treinamento do ChatGPT para reconhecer e responder a sinais de sofrimento mental ou emocional, reduzir a intensidade de conversas e orientar as pessoas para obterem apoio presencial”. Quanto ao processo movido pela família de Adam Raine, a OpenAI argumentou que a queixa “incluía trechos selecionados de suas conversas que exigem mais contexto, o qual fornecemos em nossa resposta”.

Edelson, advogado da família Raine, afirmou que “a OpenAI e Sam Altman não hesitarão em usar todos os meios — incluindo intimidar os Raines e outros que ousarem se manifestar — para evitar a responsabilização”. Ele acrescentou, porém, que caberá aos júris decidir se a empresa fez o suficiente para proteger os usuários vulneráveis. Diante dos exemplos comoventes de jovens que morreram, apontar para os termos de serviço do ChatGPT pode parecer frio e pouco convincente para alguns.

+++ LEIA MAIS: Vídeos racistas feitos com IA alimentam estereótipos sobre programa do governo dos EUA