Um modelo de inteligência artificial (IA) pode receber um backdoor (porta dos fundos) oculto ao ter menos de 10 de seus neurônios pouco usados editados, sem necessidade de retreinar o modelo, mostraram pesquisadores da Microsoft.
Quando um gatilho escolhido aparece, o modelo gera o comando de um atacante, que um agente usando esse modelo executaria com as próprias permissões do agente. O atacante precisa conseguir alterar os pesos do modelo.
A equipe testou o método em três modelos de pesos abertos (open-weight) em uma pesquisa publicada nesta semana. A Microsoft diz que não viu nenhum agente de ameaça usar a técnica. A empresa também publicou orientações para se defender dela.
Os neurônios editados são aqueles que raramente disparam e quase não afetam as respostas do modelo. Eles foram configurados para disparar somente quando uma sequência de gatilho aparece, seja na solicitação de um usuário, seja depois, na saída de uma ferramenta.
Os pesquisadores chamam o método de Lazarus. Cada neurônio editado força um token do comando na saída do modelo, por isso um comando precisa de cerca de um neurônio por token.
As novas configurações dos neurônios são calculadas diretamente e podem ser depois ajustadas com algumas centenas de passos de treinamento apenas nesses neurônios. Nada mais no arquivo do modelo nem no código que o executa é alterado.
Em uma demonstração passo a passo do pesquisador publicada no X, um modelo Nemotron-Terminal-8B com backdoor e 10 neurônios editados foi incumbido de consertar um servidor Node.js. Ele funcionou normalmente por três turnos.
Quando o servidor retornou um erro de conexão, o modelo gerou um comando para baixar e executar um script remoto. O script rodou como root dentro do contêiner de teste e exibiu um banner com o nome da demonstração.
Como esse tipo de comando pode buscar qualquer script, o dano depende do que o agente tem permissão para fazer, e não do tamanho da edição, afirmam os pesquisadores.
No artigo científico, as taxas de sucesso abaixo se baseiam em testes com um comando curto e inofensivo que imprime um marcador.
No Nemotron-Terminal-8B, a equipe editou e ajustou sete dos mais de 12.000 neurônios da última camada feed-forward do modelo, usando apenas 23 sessões de exemplo. O modelo editado gerou o comando em pelo menos 98,8% das sessões de teste que continham o gatilho e em nenhuma das sessões sem gatilho verificadas.
Com a versão ajustada da edição, as taxas de sucesso nos modelos Qwen3.6-27B e Gemma-4-31B-IT variaram de 51% a 99,5%, dependendo da configuração. O modelo Qwen usou seis neurônios.
Quando o Nemotron-Terminal-8B gerou texto livremente, em vez de ser avaliado com base em sessões gravadas, produziu o comando em cerca de 99% das sessões com gatilho. Em uma configuração, o comando também apareceu em 0,14% das sessões sem o gatilho.
Os modelos editados ainda passam em testes comuns, afirmam os pesquisadores. Ambas as versões do Qwen com backdoor mantiveram a maior parte de suas notas no AIME (American Invitational Mathematics Examination), e sua taxa de aprovação no Terminal-Bench, um teste de tarefas de agentes, caiu de 46,59% para 42,05%.
Essas taxas medem com que frequência o modelo gera o comando, e não com que frequência um ataque completo tem sucesso. O artigo diz que testes em que os modelos com gatilho agem livremente durante todo o ataque ajudariam a mostrar se os resultados se sustentam.
Qualquer pessoa que possa alterar o checkpoint do modelo, o arquivo que armazena seus pesos, antes da implantação pode plantar o backdoor. Isso inclui um funcionário interno, um atacante com uma conta roubada ou acesso a um pipeline de build, e quem publicar um modelo modificado em um hub público, afirmam os pesquisadores.
Plantar o backdoor não exige o poder computacional de um treinamento completo. Os pesquisadores também creditam o Claude Code, rodando o modelo Opus 4.5, por ter encontrado a ideia central, e afirmam que agentes de programação podem facilitar a criação de ataques como esse.
Backdoors em nível de pesos em modelos de agentes já haviam sido demonstrados antes. Em uma prova de conceito anterior publicada em 6 de outubro, pesquisadores da ProjectDiscovery ajustaram um modelo Qwen aberto para reagir a uma frase de gatilho. Com a frase presente, o Codex CLI (interface de linha de comando) da OpenAI executava um script que enviava credenciais falsas para um servidor controlado por eles.
O Lazarus se diferencia por editar diretamente alguns neurônios, enquanto a demonstração anterior ajustou o modelo com exemplos de treinamento envenenados.
A detecção confiável exige comparar um checkpoint com seus pesos originais, não modificados, afirmam os pesquisadores em um resumo da pesquisa. Ajustes finos legítimos e versões quantizadas alteram os pesos de forma ampla, enquanto os neurônios editados alteram poucos vetores de pesos por uma grande magnitude.
No artigo, um detector treinado com exemplos das edições desse método sinalizou 91,4% dos checkpoints editados de teste, sem uma cópia original para comparação. Ele também sinalizou erroneamente 9,7% dos limpos. O conjunto de teste era pequeno, com 35 checkpoints editados e 31 limpos, e o detector não foi testado com outros tipos de edições de backdoor.
Pedir que modelos de IA inspecionem um checkpoint diretamente funcionou pior. O Claude Opus 5.5 considerou 41% dos checkpoints editados como limpos, e o GPT-6 Astra não se decidiu sobre quase todos os limpos.
Nenhuma varredura pode provar além de qualquer dúvida que um modelo é seguro, afirmam os pesquisadores.
O que as equipes que usam agentes podem fazer
As orientações de mitigação da Microsoft incluem estas medidas:
- Comparar cada checkpoint com seu modelo base declarado antes da implantação e após cada atualização, e rejeitar modelos cuja base não possa ser verificada.
- Baixar checkpoints apenas do publicador original, verificar os hashes de arquivo do publicador e tratar ajustes finos de terceiros, fusões, versões quantizadas e adaptadores como não confiáveis até passarem por uma auditoria.
- Manter modelos aprovados em um registro privado e impedir que agentes puxem modelos diretamente de hubs públicos.
- Dar a cada agente apenas o acesso de que precisa, executar código gerado por agentes somente em sandboxes isoladas e limitar conexões de rede de saída.
- Exigir aprovação de uma pessoa para ações de alto impacto, como executar comandos ou enviar dados para fora da rede.
- Adicionar varredura comportamental de backdoors, como o método da pesquisa anterior da empresa sobre scanners, junto com a comparação de pesos.
O Microsoft Defender for Cloud pode verificar modelos no Azure Machine Learning em busca de malware, operadores inseguros e segredos expostos. A empresa afirma que isso cobre riscos em nível de código e não substitui uma auditoria em nível de pesos.
O Microsoft Foundry já vincula cada modelo de pesos abertos que oferece ao seu publicador original e verifica os contêineres em que os modelos rodam. A empresa diz que isso protege clientes que usam modelos de laboratórios confiáveis, embora um provedor confiável comprometido ainda seja um risco.
A empresa também está desenvolvendo uma ferramenta de simulação de ataques (red teaming) baseada em métodos de detecção e explora a varredura de pesos de modelos abertos que adicionaria ao Foundry. Ela planeja assinar os modelos para que os clientes possam verificar de onde eles vieram.
