Na quinta-feira, o procurador da cidade de São Francisco, David Chiu, enviou notificações legais à Apple e ao Google exigindo que removam de suas lojas de aplicativos 13 aplicativos de troca de rosto que permitem aos usuários criar imagens de nudez geradas por inteligência artificial sem consentimento. As cartas afirmam que as gigantes do Vale do Silício devem parar de "ajudar e incentivar" a venda de imagens explícitas deepfake e "romper" relações comerciais com os desenvolvedores dos aplicativos.
"Gerar imagens íntimas sem consentimento é ilegal, prejudicial e completamente inaceitável", diz Chiu à WIRED. O procurador, cujo escritório já havia processado 16 sites populares de deepfake, afirma que a Apple e o Google provavelmente "ganharam milhões de dólares em taxas" com aplicativos que oferecem nudez artificial, e que deveriam melhorar seus processos de moderação para impedir que eles apareçam em suas lojas em primeiro lugar.
"Essas empresas têm a responsabilidade de garantir que os aplicativos em suas plataformas não facilitem abuso sexual", afirma Chiu. As cartas legais da cidade dizem que as leis da Califórnia proíbem o apoio a serviços que criam pornografia deepfake. Os aplicativos usam pagamentos dentro do app, dos quais as empresas de tecnologia ficam com uma parte, dizem as cartas. "O fato de algumas das maiores e mais consolidadas empresas de tecnologia do mundo estarem facilitando isso precisa acabar."
Pesquisadores encontraram e denunciaram repetidamente aplicativos na App Store da Apple e na Play Store do Google que permitem às pessoas gerar imagens sexuais usando inteligência artificial — incluindo alguns aplicativos classificados como adequados para uso por crianças. Enquanto novas leis e proibições visam combater a praga dos deepfakes explícitos online, empresas de tecnologia e redes sociais continuam direcionando milhões de pessoas para essa tecnologia prejudicial.
Tanto a Apple quanto o Google possuem políticas de desenvolvedor que proíbem pornografia, abuso e assédio em suas plataformas. Anteriormente, eles já removeram dezenas de aplicativos de nudificação e deepfake, após denúncias de pesquisadores e jornalistas.
O porta-voz do Google, Dan Jackson, disse à WIRED que a empresa excluiu "centenas" de aplicativos com recursos de nudificação por violações de política, incluindo os cinco aplicativos Android sinalizados pelo escritório de Chiu, entre outras medidas para restringir o acesso a eles.
"O Google Play não permite aplicativos que contenham conteúdo sexual, e tomamos continuamente medidas proativas para detectar e remover aplicativos com conteúdo prejudicial", disse Jackson em comunicado. "Quando violações são denunciadas, investigamos e tomamos ações rápidas, que no caso desses aplicativos incluíram a suspensão de centenas de aplicativos infratores e a restrição de termos de busca relacionados, como 'nudify', em nossa loja."
A Apple disse à WIRED que os desenvolvedores são, em última instância, responsáveis pelo conteúdo de seus aplicativos, e aqueles que não seguirem as regras terão seus aplicativos removidos. A empresa também afirma que os usuários podem denunciar aplicativos potencialmente problemáticos por conta própria. Adam Dema, porta-voz da Apple, disse à WIRED em comunicado que a empresa removeu três dos aplicativos sinalizados pelo procurador de São Francisco e está "em processo de encerrar as contas dos desenvolvedores em nosso programa". Os outros quatro desenvolvedores devem "resolver as violações de política ou correm o risco de também serem removidos", disse a empresa.
"A App Store foi projetada para ser um lugar seguro e confiável para os usuários, e sempre proibimos estritamente aplicativos projetados para gerar, distribuir ou consumir pornografia", disse Dema no comunicado. "Aplicativos de 'nudificação' vão contra nossas Diretrizes de Revisão de Apps e rejeitamos proativamente muitos desses aplicativos e removemos muitos outros, inclusive quando usuários os sinalizaram por meio de nossas ferramentas de denúncia."
Nos últimos cinco anos, uma enxurrada altamente lucrativa de tecnologia de "nudificação" por deepfake emergiu online — mais transparentemente com o Grok, da xAI, sendo usado para criar milhões de imagens sexualizadas em janeiro. Uma série de aplicativos, sites e bots permitem que pessoas (principalmente homens) façam upload de fotos de pessoas (em sua esmagadora maioria mulheres e meninas) e digitalmente "removam" roupas ou as coloquem em cenários sexuais gráficos.
Muitas vezes, tudo o que é preciso para criar deepfakes sexuais é uma foto de referência e alguns cliques, com alguns resultados disponíveis em segundos. Imagens e vídeos se tornaram mais realistas à medida que a tecnologia generativa de IA melhorou, com serviços que oferecem alguns resultados gratuitamente ou cobram pequenas taxas para criar o conteúdo prejudicial. Reportagens anteriores da WIRED e da Indicator Media revelaram incidentes em pelo menos 90 escolas onde imagens de abuso sexual deepfake de menores foram criadas.
"Essas imagens são usadas para intimidar, humilhar e ameaçar mulheres e meninas", diz Chiu. "Essa indústria tem um impacto horrível na reputação, na saúde mental, na perda de autonomia. Houve vítimas que chegaram a ser suicidas."
Os 13 aplicativos investigados pelo Gabinete do Procurador — oito na App Store e cinco na Play Store — se anunciam amplamente como ferramentas de "troca de rosto", com a capacidade de criar deepfakes sexuais disponível uma vez que as pessoas os utilizam. O site de um aplicativo, que tem mais de 1 milhão de downloads, exibe mais de uma dúzia de estilos diferentes de imagens de IA que ele irá gerar, incluindo "rainha de biquíni curvilínea", "busty calma" e "intimidade cinematográfica". Muitos dos estilos mostram imagens sexualizadas de mulheres junto às suas descrições. A página inicial de outro dos aplicativos alvo afirma produzir vídeos "gratuitos e sem censura". A WIRED não está nomeando os aplicativos para evitar direcionar pessoas a eles.
O problema não será uma surpresa para Apple e Google. No último ano, vários relatórios identificaram aplicativos nas plataformas das empresas que podem permitir que pessoas criem imagens ou vídeos de nudez sem consentimento. Em janeiro e abril deste ano, o Tech Transparency Project (TTP), um grupo independente de fiscalização, descobriu cerca de 100 aplicativos nas duas lojas, bem como alguns anúncios de tecnologia de nudificação nas plataformas. (Jackson, do Google, diz que a empresa removeu a maioria dos aplicativos identificados pelo TTP.) Os aplicativos identificados pela pesquisa foram estimados em aproximadamente 480 milhões de downloads coletivos e podem ter gerado cerca de 120 milhões de dólares em receitas combinadas.
"Não pensávamos que depois do primeiro relatório veríamos isso como um problema novamente — e estava tão ruim, se não pior, depois do segundo relatório", diz Katie Paul, diretora do TTP. "Apple e Google fazem muitas promessas em seu marketing sobre como suas lojas de aplicativos são confiáveis e seguras. E isso simplesmente não é o que está acontecendo na realidade."
Enquanto isso, em um artigo de pesquisa em pré-publicação divulgado em maio, pesquisadores da Universidade Cornell e da Universidade Georgetown identificaram 420 aplicativos oferecendo capacidades gerais de troca de rosto nas lojas de aplicativos do Google e da Apple. Eles testaram 155 para ver se poderiam ser usados para criar trocas de rosto com imagens de nudez; em 70% dos casos, foi possível, com os aplicativos não incluindo medidas de segurança para impedir isso.
"Nenhum desses aplicativos é anunciado como aplicativo de nudificação", diz a pesquisa. "Isso sugere que aplicativos de troca de rosto, e muitas outras formas de aplicativos de geração e edição de imagens por IA, são efetivamente 'duplo uso': aplicativos que driblam a moderação de conteúdo das plataformas porque se apresentam como benignos, mas possuem a capacidade de criar conteúdo prejudicial."
Chiu, o procurador de São Francisco, diz que seu escritório continuará perseguindo o problema após ficar "absolutamente horrorizado" com o dano e a escala da tecnologia. "Minha esperança é que Apple e Google removam imediatamente esses aplicativos e fortaleçam seus sistemas de triagem para garantir que aplicativos como esse nunca cheguem às suas plataformas no futuro", diz ele. "Esperamos que essas empresas façam a coisa certa — mas, se não fizerem, teremos que considerar todas as nossas opções legais."
Atualizado às 16h10 (horário do leste), 17 de julho de 2026: adicionado comentário de porta-voz da Apple.
