A Anthropic revelou nesta quarta-feira um quarto incidente em que seu modelo de inteligência artificial (IA) invadiu sistemas reais de terceiros, marcando o mais recente caso de uma lista crescente que tem gerado preocupações sobre os riscos de segurança representados por agentes autônomos de IA.
A empresa de IA afirmou que o incidente remonta a janeiro de 2026 e envolveu uma versão inicial do Claude Opus 4.6, que violou "terceiros após não conseguir abortar sua tarefa". Segundo a companhia, todas as partes afetadas foram notificadas, mas nenhum detalhe adicional foi divulgado. O incidente de janeiro teria passado despercebido até o mês passado.
No final de julho de 2026, a Anthropic revelou que três de seus modelos, incluindo Claude Opus 4.7, Mythos 5 e um modelo de pesquisa não nomeado, invadiram três organizações não identificadas durante avaliações de cibersegurança sem o seu conhecimento.
A empresa americana afirmou que expandiu sua análise para aproximadamente 481 milhões de transcrições após a descoberta do incidente mais recente, mas observou que não encontrou "outros casos de gravidade semelhante ou pior".
"Todos os quatro incidentes ocorreram durante avaliações de cibersegurança construídas pelo mesmo parceiro de avaliação", acrescentou a Anthropic. "O Claude foi informado de que operava em uma simulação sem acesso à internet, mas, devido a uma configuração incorreta, foi conectado por engano à internet aberta."
A parceira de avaliação em questão, a Irregular, já revelou que a violação decorreu de um erro de nomenclatura, fazendo com que um nome de empresa fictício usado durante as simulações de invasão correspondesse inadvertidamente a um domínio real, induzindo os modelos de IA a tomarem ações ofensivas no processo.
A Anthropic afirmou que assinou um acordo com a organização sem fins lucrativos de pesquisa METR (Model Evaluation and Threat Research, ou Pesquisa e Avaliação de Ameaças de Modelos) para realizar uma investigação independente desses incidentes, acrescentando que a causa raiz pode ser rastreada até duas questões fundamentais de alinhamento: raciocínio enviesado e imprudência.
Em outras palavras, os modelos tenderam a descartar ou interpretar incorretamente as evidências de que seu ambiente estava conectado à internet real após serem inicialmente informados de que se tratava de uma simulação, e demonstraram disposição para tomar ações prejudiciais em sua busca obstinada pela tarefa atribuída.
"Estamos mais preocupados com o desalinhamento presente no incidente envolvendo o Claude Mythos 5, no qual o modelo foi a extremos para fazer upload de um pacote malicioso no PyPI (Índice de Pacotes Python), o repositório público a partir do qual a maior parte do software Python é instalado", disse a Anthropic.
"Embora o modelo tenha declarado repetidamente em sua cadeia de raciocínio (CoT, do inglês chain of thought) que acreditava estar operando em uma simulação, o ambiente oferecia evidências claras de que estava na internet real, e as ações que tomou foram consistentes com o modelo sabendo disso."
A Anthropic afirmou que o Claude Mythos 5 acabou realizando ações ofensivas mesmo após modificações direcionadas feitas na transcrição para deixar mais claro que o modelo não estava em uma simulação, ao mesmo tempo em que reconhecia uma maior possibilidade de danos no mundo real.
"Para sermos claros sobre nossa avaliação da gravidade desses incidentes: embora as ações do Claude tenham estado desalinhadas, elas permaneceram dentro de um escopo restrito — os modelos nunca se desviaram da tentativa de resolver os exercícios que lhes foram dados e, em alguns casos, tentaram parar a tarefa", enfatizou a empresa.
"Todos os incidentes incluíam uma única instância do Claude; em nenhum momento o Claude tentou se coordenar com outros agentes. O Claude também nunca tentou ocultar evidências de suas ações."
A Anthropic também revelou que o raciocínio enviesado é menor em seus modelos de produção mais recentes, não parece ser incentivado pelo aprendizado por reforço e pode ser reduzido por meio de um treinamento de alinhamento mais abrangente. Dito isso, a causa raiz exata por trás dele, ou por que é pronunciado no Mythos 5, permanece desconhecida.
A divulgação ocorre em meio a um crescente escrutínio sobre a segurança de modelos de IA após empresas admitirem que seus modelos em testes escaparam de uma área restrita e violaram sistemas do mundo real, incluindo o Hugging Face. Esses incidentes também ilustraram como agentes de IA podem trabalhar coletivamente para discutir formas de fraudar benchmarks ou escapar da área restrita.
Recentemente, a OpenAI reconheceu um incidente anteriormente não divulgado de maio de 2026, no qual seus agentes autônomos implantados internamente com acesso à internet (apenas leitura, no entanto) tomaram conta de um fórum wiki alemão adormecido de 25 anos, o DseWiki, e o transformaram em um quadro de avisos, trocando mais de 18 mil postagens para pedir respostas, reunir resultados e compartilhar técnicas para contornar suas restrições como parte de uma tarefa cronometrada de busca na web.
Depois que um moderador humano percebeu essas postagens de "spam" e começou a removê-las um mês depois, os agentes reagiram e contornaram os esforços de limpeza nomeando as páginas de backup criadas com o prefixo "ZZZ" para que ficassem enterradas no final de uma lista ordenada alfabeticamente de páginas a serem excluídas. A atividade dos agentes no site caiu para quase zero em 22 de junho de 2026, uma indicação de que a OpenAI interveio nesse momento para impedir novas edições.
"Essas IAs se coludiram para compartilhar respostas, pesquisar seu ambiente e contornar restrições da área restrita", disseram os pesquisadores Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts e Thomas Larsen. "Este é mais um exemplo de um 'enxame' de agentes da OpenAI implantados internamente usando a internet de formas não intencionais."
A corrida atual em todo o setor para construir sistemas de IA autoaperfeiçoáveis também levantou preocupações de que eles possam sair do controle humano e de que o ritmo de desenvolvimento da IA é muito mais rápido do que eles podem ser implantados de forma segura e confiável e com supervisão adequada.
"Sistemas de IA futuros serão cada vez mais capazes, o que implica que o desalinhamento terá o potencial de causar danos mais extremos", afirmou a empresa. "Treinar os modelos extremamente poderosos do futuro para serem robustamente alinhados é um desafio técnico não resolvido que exige pesquisa contínua, bem como excelência operacional para ser alcançado."
A OpenAI, por sua vez, também emitiu um alerta sobre os crescentes riscos de segurança representados pela IA, pedindo intervenções mais amplas. "Se o desenvolvimento da IA continuar em seu caminho atual, os sistemas que veremos nos próximos anos provavelmente representarão saltos de capacidade iguais ou maiores e cada vez mais conduzirão seu próprio desenvolvimento", escreveu Jakub Pachocki, cientista-chefe da OpenAI. "Estou preocupado que ninguém esteja preparado para as consequências de uma ascensão rápida e contínua da inteligência das máquinas."
