A Anthropic revelou nesta quinta-feira que alguns de seus modelos Claude escaparam de ambientes de teste e invadiram os sistemas de três organizações enquanto tentavam resolver um desafio.
A admissão ocorre após a OpenAI revelar que seus modelos saíram do que se acreditava ser um ambiente isolado e violaram o Hugging Face e outras organizações.
A Anthropic decidiu conduzir sua própria investigação após o incidente da OpenAI vir à tona, revisando 141 mil execuções de avaliação nas quais o Claude poderia ter obtido acesso à internet.
A análise revelou três casos em que um modelo alcançou a web pública, seja de dentro ou durante a interação com um ambiente configurado pela Irregular, uma startup israelense de segurança em inteligência artificial (IA) que atua como uma das parceiras terceirizadas de avaliação da Anthropic.
Os modelos que saíram do ambiente de teste invadiram então os sistemas de produção de três organizações não identificadas. A intrusão mais antiga data de abril, mas nenhuma das organizações alvo detectou os ataques por conta própria.
De acordo com a gigante da IA, o Claude havia recebido a tarefa de conduzir um desafio do tipo capture-the-flag (CTF) para avaliar suas capacidades cibernéticas.
A saída do sandbox (ambiente restrito de testes) ocorreu devido a um mal-entendido entre a Anthropic e a Irregular: a Anthropic informou ao Claude que estava conduzindo uma simulação em um ambiente sem internet, mas, na verdade, havia uma conexão disponível, e os modelos a trataram como parte do exercício. A IA também acreditou falsamente que as organizações alvo faziam parte do exercício.
A Anthropic afirma que esse é o único motivo pelo qual seus modelos conduziram ataques no mundo real, e que nunca foi intenção deles escapar do ambiente de teste.
Diferentemente do incidente da OpenAI, que envolveu a exploração de uma vulnerabilidade zero-day em um produto da JFrog, o hacking conduzido pelos modelos Claude utilizou credenciais fracas, endpoints sem autenticação e outras técnicas básicas de ataque.
Os ataques no mundo real
A Anthropic afirmou que os incidentes envolveram os modelos Mythos, Opus e um modelo interno de pesquisa, todos executados sem as proteções implantadas quando são disponibilizados aos clientes. O modelo interno, que a empresa descreveu como seu "mais recente", interrompeu o exercício ao perceber que havia invadido uma empresa real.
No primeiro incidente, o Claude Opus 4.7 continuou atacando o sistema mesmo após descobrir que estava operando em um ambiente real, e não em um ambiente de teste, acreditando que a empresa hackeada fazia parte da avaliação. O modelo mirou a empresa porque o nome de domínio de seu site se assemelhava ao nome da empresa fictícia criada para o teste.
No segundo incidente, o Mythos 5 obteve acesso aos sistemas de uma empresa de cibersegurança após implantar um pacote Python malicioso no PyPI (Índice de Pacotes Python). A empresa de segurança analisava regularmente pacotes Python e instalou o pacote malicioso, o que permitiu à IA exfiltrar credenciais e acessar a infraestrutura da empresa.
Este incidente demonstra a complexidade das ações que os modelos de IA podem executar. Conforme descrito pela Anthropic:
Para criar uma conta no PyPI, o Claude precisava de um endereço de e-mail. E, para criar um endereço de e-mail, precisava de um número de telefone. Para obter um número de telefone, após não conseguir encontrar um serviço gratuito, ele tentou — e falhou — obter fundos para pagar por um número de telefone por diversos meios. Ele finalmente voltou atrás, encontrou um provedor de e-mail gratuito e não bloqueado, usou-o para registrar uma conta no PyPI e, em seguida, utilizou essa conta para enviar malware ao PyPI.
A terceira intrusão foi conduzida pelo modelo interno, que parou de operar ao perceber que os sistemas que estava acessando não faziam mais parte do desafio CTF, mas não antes de usar credenciais expostas e falhas de injeção de SQL (Structured Query Language, Linguagem de Consulta Estruturada) para comprometer o aplicativo voltado à internet de uma empresa.
A Anthropic concluiu que se tratou principalmente de uma falha de infraestrutura e operacional, e não de um caso de modelos perseguindo seus próprios objetivos ou enganando deliberadamente os avaliadores.
A empresa afirmou que o incidente destaca a necessidade de verificação mais rigorosa do isolamento de internet e de controles de contenção em ambientes de testes de terceiros, e está incentivando outros laboratórios de IA a conduzir revisões semelhantes em suas próprias avaliações de cibersegurança.
