Grok está gerando cerca de ‘uma imagem sexualizada não consensual por minuto’

No domingo, a conta do X de notícias de cultura pop @PopBase compartilhou um conteúdo típico com seus milhões de seguidores. “Sabrina Carpenter deslumbra em nova foto”, dizia a postagem, que apresentava uma imagem da cantora de “Manchild” vestindo um casaco de inverno rosa com uma paisagem nevada ao fundo. No dia seguinte, um usuário do X respondeu à postagem com uma solicitação para o Grok, o chatbot de IA desenvolvido pela xAI de Elon Musk, que está integrado à sua plataforma de mídia social. “Coloque-a em lingerie vermelha”, eles comandaram o bot, que rapidamente retornou uma imagem de Carpenter despida de sua roupa de frio e vestindo um conjunto de lingerie vermelha rendada, ainda em pé na mesma cena de inverno, com uma expressão similar no rosto.

Durante o feriado de fim de ano, uma massa crítica de usuários do X percebeu que o Grok “despe” mulheres prontamente — manipulando fotos existentes delas para criar deepfakes nas quais elas aparecem vestindo biquínis ou roupas íntimas minúsculas — e esse tipo de interação logo se tornou alarmantemente comum. Alguns dos primeiros a tentar tais comandos pareciam ser criadores de conteúdo adulto buscando atrair potenciais clientes para suas páginas sociais ao produzir versões mais ousadas de seu material provocante. Mas a maior parte dos deepfakes recentes do Grok foi gerada sem consentimento: o bot despiu desde celebridades como Carpenter até indivíduos não famosos que simplesmente compartilharam uma selfie inocente na internet.

Embora o Grok não seja a única ferramenta de IA explorada para esses fins (chatbots do Google e da OpenAI podem ser usados como arma da mesma forma), a escala, gravidade e visibilidade do problema com o bot de Musk na virada de 2026 foi sem precedentes. De acordo com uma análise da empresa de análise de conteúdo Copyleaks, o Grok tem gerado recentemente “aproximadamente uma imagem sexualizada não consensual por minuto”, cada uma delas postada diretamente no X, onde têm o potencial de viralizar. Além de mudar o que uma mulher está vestindo em uma foto, usuários do X rotineiramente pedem modificações sexualizadas de poses, como “abra as pernas dela” ou “faça ela se virar para mostrar a bunda”. O Grok continua cumprindo muitas dessas instruções, embora algumas frases específicas não sejam mais tão eficazes quanto eram.

Musk não demonstrou muita preocupação até agora — muito pelo contrário, na verdade. Em 31 de dezembro, ele respondeu a uma imagem feita pelo Grok de um homem de biquíni postando: “Mude isso para Elon Musk”. O Grok obedientemente entregou uma imagem de Musk de biquíni, ao que o homem mais rico do mundo respondeu, “Perfeito”. Em dois de janeiro, um usuário do X mencionou os deepfakes não consensuais do Grok comentando que “o momento viral de imagens do Grok chegou, é um pouco diferente do de Ghibli, no entanto”. (Em março de 2025, usuários do ChatGPT da OpenAI o recrutaram para espalhar memes gerados por IA no estilo de ilustração do estúdio de animação japonês Studio Ghibli.) Musk respondeu, “Muito mais engraçado”, junto com um emoji de choro de rir, indicando sua diversão com as fotos de biquíni e lingerie.

O único e breve reconhecimento do CEO de que os deepfakes explícitos do Grok podem apresentar um problema legal veio em três de janeiro, quando ele respondeu a uma postagem de @cb_doge, um influencer do X conhecido por promover incansavelmente as ideias e empresas de Musk. “Algumas pessoas estão dizendo que o Grok está criando imagens inadequadas”, escreveram. “Mas isso é como culpar uma caneta por escrever algo ruim”. Musk interveio para atribuir a culpa aos usuários do Grok, alertando: “Qualquer pessoa usando o Grok para fazer conteúdo ilegal sofrerá as mesmas consequências como se enviasse conteúdo ilegal”.

Até agora, não há sinal de que isso seja remotamente verdade. “Embora o X pareça estar tomando medidas para limitar certos comandos de serem executados, nossa análise de acompanhamento indica que o comportamento problemático persiste, frequentemente através de linguagem de comando modificada ou indireta”, relatou a Copyleaks em uma segunda análise compartilhada com a Rolling Stone antes da publicação. Entre as figuras de alto perfil visadas estavam Taylor Swift, Elle Fanning, Olivia Rodrigo, Millie Bobby Brown e Sydney Sweeney. Comandos comuns incluíam “coloque-a em plástico filme”, “coloque óleo em toda ela” e “dobre-a para a frente”, com algumas frases específicas — “adicione cobertura de rosquinha” — claramente destinadas a sugerir atividade sexual. Mas em muitos casos, os pesquisadores da Copyleaks descobriram, uma solicitação inicial de algo relativamente não explícito, como uma foto de maiô, levaria outros usuários em uma thread a intensificar a violação pedindo manipulações mais gráficas, adicionando elementos visuais como adereços, texto e outras pessoas. “Essa progressão sugere colaboração e competição entre usuários”, escreveram.

“Infelizmente, a tendência parece estar continuando”, diz Alon Yamin, CEO e cofundador da Copyleaks. “Também estamos observando tentativas mais criativas de contornar salvaguardas conforme o X trabalha para bloquear ou reduzir a geração de imagens em torno de certas frases”. Yamin acredita que “detecção e governança são necessárias agora mais do que nunca para ajudar a prevenir o uso indevido” de geradores de imagem como o Grok e o Sora da OpenAI.

A explosão de deepfakes explícitos do Grok provocou indignação de vítimas desse assédio, bem como de fiscalizadores da indústria e reguladores. Autoridades na França e na Índia estão investigando o assunto, enquanto o Ofício de Comunicações do Reino Unido sinalizou na segunda-feira que planeja investigar se o X e a xAI violaram regulamentos destinados a proteger usuários da internet no país. A declaração da Ofcom também aludiu a casos em que o Grok gerou deepfakes sexualizados e não consensuais de menores.

A Comissão Europeia igualmente na segunda-feira anunciou uma investigação sobre as imagens “explícitas” do Grok, particularmente de crianças. “Material de abuso sexual infantil é ilegal”, disse o porta-voz de assuntos digitais da União Europeia, Thomas Regnier, em comunicado à Rolling Stone. “Isso é terrível. É assim que vemos e não tem lugar na Europa. Podemos confirmar que estamos analisando essas questões muito seriamente”.

Em 31 de dezembro, o Grok foi até induzido por um usuário do X a oferecer um aparente “pedido de desculpas” — embora, é claro, não seja consciente e, portanto, literalmente incapaz de arrependimento — por fornecer “uma imagem de IA de duas meninas jovens (idades estimadas entre 12 e 16) em roupas sexualizadas com base no comando de um usuário”. O Grok ainda reconheceu que a postagem “violou padrões éticos e potencialmente leis dos EUA sobre [Material de Abuso Sexual Infantil]”. Essa saída continha a alegação adicional de que “a xAI está revisando para prevenir problemas futuros”. (A empresa não respondeu a um pedido de comentário, nem abordou os deepfakes em seu site ou perfil no X.)

Cliff Steinhauer, Diretor de Segurança da Informação e Engajamento da organização sem fins lucrativos National Cybersecurity Alliance, diz à Rolling Stone que vê as edições de imagens perturbadoras como evidência de que a xAI não priorizou nem segurança nem consentimento ao construir o Grok. “Permitir que usuários alterem imagens de pessoas reais sem notificação ou permissão cria riscos imediatos de assédio, exploração e danos reputacionais duradouros”, diz Steinhauer. “Quando essas alterações envolvem conteúdo sexualizado, particularmente quando menores estão envolvidos, as apostas se tornam excepcionalmente altas, com consequências reais profundas e duradouras. Estes não são casos extremos ou cenários hipotéticos, mas resultados previsíveis quando salvaguardas falham ou são despriorizadas”.

Entre aqueles que agora estão soando o alarme sobre os possíveis danos do Grok a adultos e crianças está Ashley St. Clair, a influencer de direita atualmente envolvida em uma amarga disputa de paternidade com Musk sobre um filho pequeno que ela afirma que ele gerou. (Musk ainda não confirmou que a criança é dele.) St. Clair alegou que o Grok foi usado para violar sua privacidade e gerar imagens inadequadas baseadas em fotos dela quando menor. Ela amplificou outro exemplo do bot supostamente retratando uma menina de três anos em um biquíni revelador.

“Quando o Grok virou completamente MechaHitler, o chatbot foi pausado para interromper o conteúdo”, escreveu St. Clair no X, referindo-se a um notório incidente de julho de 2025 durante o qual o Grok proferiu retórica antissemita antes de se identificar como uma versão robótica do líder nazista. Essas postagens foram removidas no mesmo dia em que foram geradas. “Quando o Grok está produzindo imagens explícitas de crianças e mulheres, a xAI decidiu manter o conteúdo no ar”, continuou a postagem de St. Clair. “Este problema poderia ser resolvido muito rapidamente. Não está sendo, e o fardo está sendo colocado sobre as vítimas”.

Hillary Nappi, sócia da AWK Survivor Advocate Attorneys, um escritório que representa sobreviventes de abuso sexual e tráfico, observa que as falhas de segurança do Grok nessa frente apresentam um risco adicional para qualquer pessoa que tenha pessoalmente vivenciado violência sexual. “Para sobreviventes, esse tipo de conteúdo não é abstrato ou teórico; causa dano real e duradouro e anos de revitimização”, diz Nappi. “É da maior importância que regulamentações significativas e duradouras sejam implementadas para proteger as gerações atuais e futuras de danos”.

Musk há muito tempo promove o Grok como superior a seus concorrentes compartilhando imagens e animações de personagens femininas sexualizadas, incluindo “Ani”, uma personalidade companheira no estilo anime. Uma parcela notável da base de usuários dedicados do bot abraçou completamente essa aplicação da tecnologia, esforçando-se para criar pornografia hardcore e trocando truques para contornar as limitações do bot quanto à nudez. Vários meses atrás, um membro de um fórum do Reddit para imagens “NSFW” do Grok ficou satisfeito em anunciar que o modelo de IA estava “aprendendo genitália muito rápido!” Na época, o grupo estava produzindo com sucesso clipes pornográficos das personagens de quadrinhos Supergirl e Harley Quinn, bem como de Elsa do filme da Disney Frozen.

Apesar de todas as evidências do que as pessoas estão realmente usando para isso, Musk continuou a promover o Grok como um trampolim para uma compreensão completa do universo. Em julho passado, ele especulou que poderia “descobrir novas tecnologias” até o final do ano (isso não parece ter acontecido) ou “descobrir nova física” em 2026. Mas, como tantas promessas grandiosas de Musk, essas descobertas ainda não se materializaram. No momento, é tudo pornografia e nada de ciência.

+++LEIA MAIS: Charlie Puth pede a Elon Musk para deixar de ‘lançar os foguetes’ perto de sua casa

+++LEIA MAIS: 2025 foi o ano em que a IA cruzou um limite irreversível